DeepLook

Funktion

DeepLook ist eine innovative Plattform, die Gemini-Modelle nutzt, um Videoüberwachung und Analysen um Funktionen auf der Basis generativer KI zu ergänzen. Diese Funktionen reichen von der Steuerung der Benutzeroberfläche per Chat oder Sprachbefehl bis hin zur intelligenten Videoanalyse und Ereigniserkennung auf den Kameras. DeepLook kann Aufgaben mit natürlicher Sprache ausführen, z. B. Kameras schnell öffnen, auf Aufnahmen zugreifen und Videos exportieren, ohne Menüs und schwer zu findende Widgets verwenden zu müssen. Vor allem ist es mithilfe von Vision Analytics möglich, Fragen an Livekameras zu stellen, vergangene Aufnahmen zusammenzufassen, Objekte zu erkennen und sogar eine Familie darüber zu informieren, wie es einer allein lebenden Person geht. Außerdem können satzbasierte Ereignisse ausgelöst werden, z. B. „Ist jemand gestürzt?“ „Benachrichtigen, wenn eine Waffe erscheint“ oder Situationsanalyse im Rahmen der Betreuung von Erwachsenen, z. B. Überwachung von älteren Menschen.

DeepLook kann Nutzer außerdem benachrichtigen, wenn registrierte Ereignisse auftreten, und manuelle oder automatische PTZ-Bewegungen an Kameras ausführen, z. B. die Kamera automatisch auf ein bestimmtes Objekt im Frame ausrichten.
 
Das System arbeitet aufgrund des Kosten-Nutzen-Verhältnisses hauptsächlich mit Gemini-Flash. Das Parsen von Befehlen basiert stark auf dem Vertex AI-Funktionsaufruf. Die Bildanalyse funktioniert mit Video-Snippets und gekachelten Bildmosaiken, die über Prompts an die Modell-API gesendet werden. DeepLook wird in einer Webversion und als Android-App verfügbar sein. Der Server kann auf Firebase App Host und Cloud Run ausgeführt werden. Dabei wird ein Agent verwendet, der die Kameras lokal verbindet und als Brücke zwischen ihnen und dem Server dient.