Blind Nav

Descrizione

Ho creato l'app che aiuta le persone con disabilità a orientarsi nei loro dintorni. L'app ha tre modalità principali: "Modalità di navigazione", che guida l'utente nell'ambiente, "Modalità assistente", che aiuta l'utente a chiedere informazioni specifiche sul suo ambiente e infine "Modalità Lettura", che aiuta l'utente a leggere qualsiasi cosa, ad esempio libri o cartelli.
L'API Gemini AI è stata utilizzata in tre file del progetto e ogni file è allocato a ciascuna delle modalità sopra indicate.
In questo modo, la fotocamera del cellulare dell'utente acquisisce i frame/le immagini in tempo reale e li invia alla casella di input di Gemini, che li trasforma in prompt come output man mano che ogni modello viene addestrato. I prompt di output vengono visualizzati sull'overlay e, con l'aiuto della tecnologia TTS (text to speech), le persone cieche possono sentire la voce e navigare facilmente.