SecondEye

Description

SecondEye est un assistant visuel interactif et enseignable. Il peut être utilisé pour diverses tâches et cas d'utilisation liés à la vision. Il peut également être entraîné à effectuer des tâches de vision personnalisées sans entraînement ni programmation. Le tout de manière interactive et itérée.
SecondEye ne peut actuellement être créé qu'avec Gemini en raison des fonctionnalités uniques du modèle suivant:
1. Détection d'objets avec la possibilité de renvoyer des positions de cadre de délimitation précises
2. Prise en charge des vidéos natives avec la possibilité de renvoyer des informations avec code temporel
3. Grande fenêtre de contexte
SecondEye exploite ces fonctionnalités pour proposer ces expériences d'IA uniques et totalement nouvelles:
• Pour les images (à l'aide de la fonctionnalité 1):
◦ Définitions d'objets annotées
◦ Poser des questions sur une partie spécifique d'une image
◦ Amélioration:
▪ Recherche d'objets
▪ Questions sur la réparation ou l'assemblage
▪ Demandes de commentaires visuels
◦ Enseigner au modèle une partie annotée d'une image
• Pour la vidéo (à l'aide de la fonctionnalité 2):
◦ Expérience de recherche vidéo améliorée
• Pour la vidéo en direct de la caméra (à l'aide de la fonctionnalité 3):
◦ Analyse vidéo personnalisée en temps réel
◦ Enseigner au modèle quelque chose avec une vidéo
◦ Assistance visuelle en temps réel pour les personnes ayant une déficience visuelle, avec la possibilité de mémoriser des visages, des objets et des lieux pour les reconnaître plus tard
• Pour le partage d'écran en direct (à l'aide de la fonctionnalité 3):
◦ Enseigner un workflow au modèle
◦ Assistance IT ou programmation
◦ Améliorer la navigation sur le Web et l'expérience informatique globale pour les personnes ayant une déficience visuelle