SecondEye

Descrizione

SecondEye è un assistente visivo interattivo e insegnabile. Può essere utilizzato per una serie di attività e casi d'uso relativi alla visione. Inoltre, può essere addestrato a svolgere attività di visione personalizzate senza addestramento o programmazione. Il tutto in modo interattivo e iterativo.
SecondEye può essere creato al momento solo con Gemini grazie alle seguenti funzionalità uniche del modello:
1. Rilevamento degli oggetti con la possibilità di restituire posizioni precise dei riquadri di delimitazione
2. Supporto dei video nativi con la possibilità di restituire informazioni con timestamp
3. Finestra di contesto ampia
SecondEye sfrutta queste funzionalità per offrire esperienze di IA uniche e totalmente nuove:
• Per le immagini (utilizzando la funzionalità n. 1):
◦ Definizioni di oggetti annotati
◦ Domande su una parte specifica di un'immagine
◦ Miglioramento:
▪ Ricerca di oggetti
▪ Domande su come riparare o assemblare
▪ Richieste di feedback visivo
◦ Insegnare al modello qualcosa con un video
• Per i video (utilizzando la funzionalità n. 2):
◦ Esperienza di ricerca video migliorata
• Per i video della videocamera in diretta (utilizzando la funzionalità n. 3):
◦ Analisi video in tempo reale personalizzata
◦ Insegnare al modello qualcosa con un video
◦ Assistenza visiva in tempo reale per persone con disabilità visive, con la possibilità di memorizzare volti, oggetti e luoghi per il riconoscimento futuro.
• Per la condivisione in tempo reale dello schermo (utilizzando la funzionalità 3):
◦ Insegnare al modello un flusso di lavoro
◦ Assistenza IT o di programmazione.
◦ Migliorare la navigazione web e l'esperienza generale con il computer per le persone con disabilità visive