Türklingel mit Gesichtserkennug

Hallo miteinander!

ich möchte Euch hier mal meine Projektidee für den Winter vorstellen. Dieser Thread dient vor allem auch als digitaler Notizblock
Über den Sommer habe ich meine Gartenmauer saniert (Putz abschlagen, XPS Drauf, Netzen, Spachteln, Bedecken mit Dachziegeln, Abdichten, Silikatputz drauf). War ein sehr langer Weg, aber ich bin zufrieden damit. Status quo:

In die Maueröffnung rechts kommt noch ein Gartentor von Brix oder Guardi.

Gestern ist dieses Spielzeug angekommen, eine Doorbird D1101v

Der weiße Taster wird noch durch ein gravierte Schild ersetzt.

Für alle die Doorbird nicht kennen: dabei handelt es sich um eine Videotürklingel. An und für sich nichts besonderes, aber diese hat eine offene API und ist daher zB in OH oder HA ohne Probleme einzubinden. Weiters funktioniert die Audio/Video Kommunikation auch OHNE Cloud. Darüber hinaus hat sie ein Relais um zb einen Türöffner zu steuern. Strom via POE oder Trafo, WIFI und LAN. Natürlich gibt es auch noch andere Modelle, die bereits einen RFID oder Fingerprint Leser haben. Die kosten aber einerseits gut das doppelte (kostet die DV1101v bereits € 650), andererseits wollte ich etwas zum öffnen der Türe und einschalten der Wegbeleuchtung ohne meine Hände benutzen zu müssen. Faulheit? Nein, aber wenn ich meinen Finger oder einen Chip auf den Sensor legen muss, kann ich auch gleich die Türe mit dem Schlüssel aufsperren. Vor allem wenn ich beide Hände voll habe ist das (Fingerprint, Schlüssel, RFID) unpraktisch.

Zum Testen (weder das Tor ist bestellt, noch ist die Doorbird eingebaut, fehlende Zeit ) habe ich bereits vor einiger Zeit einen ESP32 als presence detection in einen Unterputzkasten in der Mauer verbaut. Software hier. Der reagiert auf mein Handy und mein Mifit Armband. Komme ich in die Nähe der Mauer und wenn es dunkel ist dreht sich die Wegbeleuchtung auf (via MQTT, OH, entsprechenden Rules und Shelly). Später sollte so das Tor geöffnet werden. Das funktioniert soweit, ist aber langweilig, da es funktioniert. Außerdem ist es nicht ausfallsicher, da die Akkus leer sein könnten. Weiters erkennt er nicht, ob ich gerade hereinkomme oder hinausgehe (was sich aber mit einem zweiten ESP32 lösen lässt).

Daher muss das ganze via Gesichtserkennung funktionieren. Glücklicherweise habe ich auch schon ein entsprechendes Projekt gefunden, nämlich das da. Geplant ist, dass ein RPI4 mit OpenCV den live stream der doorbird überwacht und wenn er ein Gesischt erkennt via mqtt den Namen der Person als string an OH weiterreicht und OH, wenn mein Gesicht erkannt wurde die Türe öffnet bzw. das Licht aufdreht wenn es dunkel ist.

Als zweiter schritt ist dann geplant, dass ich die Gesichter von Personen, die mich öfter besuchen anlerne (natürlich mit deren Einverständnis). Wenn die Klingel gedrückt wird und ein Gesicht erkannt wird, soll es nicht nur "Ding-Dong" machen, sondern Alexa soll sagen wer vor der Türe steht.

Ich halte Euch am laufenden über den Fortschritt. Kann aber leider etwas dauern

Das ganze ist etwas verkürzt widergegeben. Der "Unterputzkasten" ist tatsächlich einIP65 Sicherungskasten für 12 Hutschienen Module [Anzeige]. Dort kommen 230V an die weiterverteilt werden (Selly, Steckdosen, Licht...). Unter anderem auch zu diesem Trafo [Anzeige], der die 5 volt an den ESP weiterleitet der da drin sitzt [Anzeige]. Von dem Sicherungskasten gehen noch einige Leerverrohrungen zu unterschiedlichsten Auslässen weg, sodass ich noch andere ESPs oder anderes Spielzeug versorgen kann

Spannungsversorgung des ESP ist also gegeben
In dem Sicherungskasten kommt auch eine CAT 6 leitung an, die ich bis zur Doorbirg weitergezogen habe

Memo für mich:
Alternative mit online Gesichtserkennung
https://github.com/tulamidan/openHabAzureFaceIdent

Fraglich, ob ich das moralisch vertreten kann. Selber bin ich drauf aus, dass ja nix in irgend eine cloud kommt und dann soll ich irgendwelche MS Services zur Gesichtserkennung benutzen...

Stimmt, dafür gibts ja ein abgesetztes Sicherheitsrelais, dass im Hausinneren montiert wird.

Wobei ich je eher glaube, dass jemand einfach über die Mauer/das Tor steigt, bevor er die Doorbird ausbaut und die Drähte kurzschließt. Und gegen das "über die Mauer steigen" hilft auch kein Sicherheitsrelais, sondern nur mein Hund

Um Interessierten die unnötige Arbeit zu ersparen: Ich wollte die Gesichtserkennung via Azure mit meinen Fotos mal ausprobieren. Nach einer Tortur an Registrierungen und Projekterstellungen hat sich ergeben, dass die Gesichtserkennung mittels Azure nur mehr einem eingeschränkten Personenkreis zur Verfügung steht. Siehe hier. Ich nehme mal an auch aus Datenschutzgründen. Find ich eigentlich in Ordnung, daher offline (moralisches Dilemma erledigt )

@sveni_lee Zugangssysteme und Video Türklingeln gibts viele. Ich habe aber nur die Doorbird gefunden, die eine offene API aufweist und auch ohne cloud funktioniert

Update:

Ich habe am Wochenende ein wenig mit der doorbird spielen können und bin mit der Gesichtserkennung ein großes Stück weiter. Die Gesichtserkennung funktioniert unabhängig von der doorbird, ihr braucht nur einen rtsp stream von irgendeiner IP Kamera.

Realisiert wird das ganze mit

• Frigate, ein NVR
• DeepStack und/oder CompreFace, die eigentiche Gesichtserkennung
• Double Take, dem Bindeglied zwischen Frigate und DeepStack bzw. CompreFace; Direkt in Double Take können auch Gesichter angelernt werden

Und ja: gibts alles als Docker Container

Funktionsprinzip: Frigate erkennt, wenn eine Person im Kamerasichtfeld auftaucht und macht einen Foto. Dieses Foto und die Information, dass eine Person aufgetaucht ist wird mittels mqtt geteilt. Double Take hat das topic von Frigate subscribed und erkennt daher wann eine Person im Kamerasichtfeld war. Double Take gibt das Bild zur Identifizierung an DeepStack oder/und CompreFace weiter. Das Ergebnis der Analyse der Gesichtserkennung published Double Take dann via mqtt, also den Namen, den man beim einlernen angegeben hat. Das kann dann zb OH abgreifen und Alexa sagen lassen WER gerade geläutet hat. Da freut sich der Nerd

Das funktioniert erstaunlich gut und schnell, wenngleich ich noch nicht viel testen konnte, da es dunkel wurde und die Nachtsicht der doorbird nicht besonders ist.

Im Moment verwende ich noch DeepStack, wobei im Web die meißten zu CompreFace gewechselt haben, da das angeblich bessere Ergebisse erzielt. CompreFace läuft nicht auf ARM sondern nur auf x86. DeepStack schon, laut wiki soll es auch auf einem Raspi laufen, das habe ich aber nicht getestet.

Funktioniert immer noch ohne Probleme
Ich musste mich ein wenig spielen mit dem Prozentsatz und der Auflösung, ab wann eine Person identifiziert wird, das haut aber inzwiscen auch hin.
Für die Erkennung mit mit Hauben und/oder Sonnenbrillen sollte man die Personen mit Haube und/oder Sonnenbrille trainieren.
Lediglich am nachmittag bei tiefstehender Sonne und direktem Sonnenlicht in die Kamera muss man die Kamera beschatten. Da sieht man aber auch so auf der Kamera nix (Position von mir nicht gut gewählt)
Der Zeitraum zwischen vor die Kamera treten und öffnen der Türe beläuft sich auf 0 bis 2 Sekunden

Ich bin auch auf CompreFace umgestiegen und betreibe die gesichtserkennung auf einer eigenen ubuntu Maschine an der auch ein Google coral dranhängt. Wobei letzterer eigentlich unnötig ist