DeepLook

Descrizione

DeepLook è una piattaforma innovativa che utilizza i modelli Gemini per aggiungere funzionalità di IA generativa alla videosorveglianza e all'analisi. Queste funzionalità vanno dal controllo dell'interfaccia utente tramite chat o comandi vocali all'analisi video intelligente e al rilevamento di eventi sulle videocamere. DeepLook può eseguire attività utilizzando il linguaggio naturale, ad esempio aprire rapidamente le videocamere, accedere alle registrazioni ed esportare i video senza utilizzare menu e widget difficili da trovare. Soprattutto, tramite Vision Analytics è possibile rispondere a domande sulle videocamere in diretta, riassumere le registrazioni passate, rilevare oggetti e persino comunicare a una famiglia come sta una persona che vive da sola. Inoltre, può attivare eventi basati su frasi, ad esempio "Qualcuno è caduto?". "Avvisa se viene visualizzata un'arma" o analisi situazionale nel contesto della cura degli adulti, ad esempio il monitoraggio degli anziani.

Inoltre, DeepLook può avvisare gli utenti in caso di eventi registrati ed eseguire movimenti PTZ manuali o automatici sulle videocamere, ad esempio centrare automaticamente la videocamera su un determinato oggetto del frame.
 
Il sistema funziona principalmente con Gemini-flash per il suo rapporto costi-benefici. L'analisi dei comandi si basa molto sulle chiamate di funzioni Vertex AI. L'analisi delle immagini funziona con snippet video e mosaici di immagini in riquadri inviati tramite prompt all'API del modello. DeepLook sarà disponibile per il web e Android. Il server può essere eseguito su Firebase App Host e Cloud Run, utilizzando un agente che connette le videocamere localmente, fungendo da ponte tra loro e il server.