DeepLook

Description

DeepLook est une plate-forme innovante qui utilise des modèles Gemini pour ajouter des fonctionnalités d'IA générative à la surveillance vidéo et à l'analyse. Ces fonctionnalités vont du contrôle de l'interface utilisateur via le chat ou la voix à l'analyse vidéo intelligente et à la détection d'événements sur les caméras. DeepLook peut effectuer des tâches à l'aide du langage naturel, comme ouvrir rapidement des caméras, accéder aux enregistrements et exporter des vidéos sans utiliser de menus ni de widgets difficiles à trouver. Plus important encore, grâce aux données analytiques Vision, vous pouvez poser des questions aux caméras en direct, résumer les enregistrements passés, détecter des objets et même informer une famille de l'état d'une personne vivant seule. De plus, il peut déclencher des événements basés sur des phrases, comme "Est-ce que quelqu'un est tombé ?", "Alerte en cas d'apparition d'une arme" ou analyse de la situation dans le cadre de la prise en charge des adultes, comme la surveillance des personnes âgées.

De plus, DeepLook peut alerter les utilisateurs en cas d'événements enregistrés et exécuter des mouvements PTZ manuels ou automatiques sur les caméras, comme le centrage automatique de la caméra sur un objet de cadre déterminé.
 
Le système fonctionne principalement avec Gemini-flash en raison de son rapport coût-bénéfice. L'analyse des commandes repose fortement sur l'appel de fonction Vertex AI. L'analyse d'images fonctionne avec des extraits vidéo et des mosaïques d'images en mosaïque envoyés à l'API du modèle via des requêtes. Deep Look sera disponible sur le Web et sur Android. Le serveur peut s'exécuter sur Firebase App Host et Cloud Run, à l'aide d'un agent qui connecte les caméras en local et sert de pont entre elles et le serveur.