DeepLook

Działanie

DeepLook to innowacyjna platforma, która wykorzystuje modele Gemini do dodawania funkcji generatywnej AI do nadzoru wideo i analizy. Funkcje te obejmują m.in. sterowanie interfejsem użytkownika za pomocą czatu lub głosu oraz inteligentną analizę wideo i wykrywanie zdarzeń w kamerach. DeepLook może wykonywać zadania za pomocą języka naturalnego, np. szybko otwierać kamery, uzyskiwać dostęp do nagrań i eksportować filmy bez korzystania z menu i trudno do znalezienia widżetów. Co najważniejsze, dzięki analizie Vision można zadawać pytania i otrzymywać odpowiedzi na żywo na podstawie nagrań z kamer, podsumowywać wcześniejsze nagrania, wykrywać obiekty, a nawet informować rodzinę o tym, jak radzi sobie samotnie żyjąca osoba. Dodatkowo może ono wywoływać zdarzenia oparte na zdaniach, takie jak „Czy ktoś spadł?”. „Ostrzeżenie, gdy pojawi się broń” lub analiza sytuacji w kontekście opieki nad dorosłymi, np. monitorowanie osób starszych.

DeepLook może też ostrzegać użytkowników, gdy wystąpią zarejestrowane zdarzenia, i wykonywać ręczne lub automatyczne ruchy PTZ w przypadku kamer, np. automatyczne wyśrodkowywanie kamery na określonym obiekcie w ramce.
 
System działa głównie z Gemini Flash ze względu na stosunek kosztów do korzyści. Analizowanie poleceń w dużej mierze opiera się na wywoływaniu funkcji Vertex AI. Analiza obrazu działa z fragmentami wideo i mozaiką obrazów przesyłanymi za pomocą promptów do interfejsu modelowego API. DeepLook będzie dostępny w wersji na urządzenia mobilne i na komputery. Serwer może działać na Firebase App Host i Cloud Run, korzystając z agenta, który łączy kamery lokalnie, pełniąc rolę łącznika między nimi a serwerem.