SmartVision

Descrizione

SmartVision è un assistente mobile per persone con disabilità visive
/difficoltà visive che offre loro accessibilità,
indipendenza e assistenza avanzate nella vita quotidiana. Questo assistente mobile sfrutta la tecnologia per offrire un'ampia gamma di funzionalità e funzioni personalizzate per le esigenze delle persone con disabilità visive, con l'obiettivo di semplificare le attività quotidiane e consentire una maggiore partecipazione alla vita sociale.
Questa app per Android offre funzionalità come Rilevamento oggetti, Riepiloga documenti, Modalità Lettura, Rilevamento volti, Scansiona prodotti. Le funzionalità di rilevamento degli oggetti e di riepilogo dei documenti vengono create utilizzando l'API Gemini.In particolare, la funzionalità di rilevamento degli oggetti utilizza il modello Gemini-1.5-Flash perché è più veloce rispetto a Gemini-1.5-Pro. Per utilizzare la funzionalità di rilevamento degli oggetti, l'utente dovrà indossare un berretto intelligente con un modulo della videocamera abilitato al Wi-Fi. Le immagini scattate da questa fotocamera verranno visualizzate nell'app mobile e inviate all'API Gemini remota per descrivere l'immagine acquisita in tempo reale dall'API Gemini. La descrizione verrà letta o annunciata all'utente utilizzando la funzionalità di sintesi vocale per comodità dell'utente con disabilità visive. Inoltre, i documenti di riepilogo(solo PDF) vengono creati utilizzando il modello Gemini-1.5-pro. Per utilizzare questa funzionalità, l'utente deve selezionare un documento PDF presente nella memoria dello smartphone e impostare un prompt di testo (ad esempio, per riassumere il documento PDF in 150 parole). L'API Gemini riassumerà i contenuti di testo presenti nel PDF e li annuncerà all'utente.