DeepLook

Qué hace

DeepLook es una plataforma innovadora que emplea modelos de Gemini para agregar funciones de IA generativa a la vigilancia y el análisis de video. Estas funcionalidades van desde el control de la interfaz de la IU por chat o voz hasta el análisis de video inteligente y la detección de eventos en las cámaras. DeepLook puede realizar tareas con lenguaje natural, como abrir cámaras rápidamente, acceder a grabaciones y exportar videos sin usar menús ni widgets difíciles de encontrar. Lo más importante es que, a través de las estadísticas de Vision, es posible realizar preguntas y respuestas en cámaras en vivo, resumir grabaciones anteriores, detectar objetos y hasta informar a una familia cómo está una persona que vive sola. Además, puede activar eventos basados en oraciones, como "¿Se cayó alguien?". "Alerta si aparece un arma" o análisis de situaciones en el contexto de la atención a adultos, como la supervisión de personas mayores.

Además, DeepLook puede alertar a los usuarios si ocurren eventos registrados y ejecutar movimientos PTZ manuales o automáticos en las cámaras, como centrar automáticamente la cámara en un objeto de marco determinado.
 
El sistema funciona principalmente con Gemini-flash debido a su relación costo-beneficio. El análisis de comandos depende en gran medida de las llamadas a funciones de Vertex AI. El análisis de imágenes funciona con fragmentos de video y mosaicos de imágenes enviados a través de instrucciones a la API del modelo. DeepLook tendrá versiones para la Web y Android. El servidor se puede ejecutar en Firebase App Host y Cloud Run con un agente que conecta las cámaras de forma local y funciona como puente entre ellas y el servidor.