DeepLook

O que faz?

O DeepLook é uma plataforma inovadora que usa modelos do Gemini para adicionar funcionalidades de IA generativa à vigilância por vídeo e à análise. Essas funcionalidades variam de controle da interface da IU por chat ou voz a análise de vídeo inteligente e detecção de eventos nas câmeras. O DeepLook pode realizar tarefas usando linguagem natural, como abrir rapidamente câmeras, acessar gravações e exportar vídeos sem usar menus e widgets difíceis de encontrar. O mais importante é que, com a Análise de visão, é possível fazer perguntas e respostas em câmeras ao vivo, resumir gravações anteriores, detectar objetos e até informar a uma família como está uma pessoa que mora sozinha. Além disso, ele pode acionar eventos baseados em frases, como "Alguém caiu?". "Alertar se uma arma aparecer" ou análise situacional no contexto de cuidados com adultos, como monitorar idosos.

Além disso, o DeepLook pode alertar os usuários se eventos registrados ocorrerem e executar movimentos PTZ manuais ou automáticos nas câmeras, como centralizar automaticamente a câmera em um objeto de quadro determinado.
 
O sistema funciona principalmente com o Gemini-flash devido à relação custo-benefício. A análise de comandos depende muito da chamada de função da Vertex AI. A análise de imagem funciona com snippets de vídeo e mosaicos de imagens enviados por comandos à API do modelo. O DeepLook terá versões para Web e Android. O servidor pode ser executado no Firebase App Host e no Cloud Run, usando um agente que conecta as câmeras localmente, servindo como uma ponte entre elas e o servidor.