SmartVision

Description

SmartVision est un assistant mobile destiné aux utilisateurs ayant une déficience visuelle. Il leur offre une meilleure accessibilité, une plus grande indépendance et une assistance pour leur quotidien.

Cet assistant mobile s'appuie sur la technologie pour proposer un large éventail de fonctionnalités adaptées aux besoins des personnes déficientes visuelles. L'objectif est de faciliter leurs tâches quotidiennes et de favoriser leur participation à la société.
Cette application Android propose des fonctionnalités telles que la détection d'objets, le résumé de documents, le mode Lecture, la détection de visages et le scan de produits. Les fonctionnalités Détecter des objets et Résumer des documents sont créées à l'aide de l'API Gemini.En particulier, Détecter des objets utilise le modèle Gemini-1.5-Flash, car il est plus rapide que le modèle Gemini-1.5-Pro. Pour utiliser la fonctionnalité de détection d'objets, l'utilisateur doit porter une casquette connectée équipée d'un module photo compatible avec le Wi-Fi. Les images prises avec cette caméra s'affichent dans l'application mobile et sont envoyées à l'API Gemini distante pour décrire l'image capturée en temps réel par l'API Gemini. La description est lue ou annoncée à l'utilisateur à l'aide de la fonctionnalité de synthèse vocale pour faciliter la vie des utilisateurs malvoyants. De plus, les documents récapitulatifs(PDF uniquement) sont créés à l'aide du modèle Gemini-1.5-pro. Pour utiliser cette fonctionnalité, l'utilisateur doit sélectionner un document PDF stocké dans la mémoire du téléphone et définir un texte d'invite (par exemple, pour résumer le document PDF en 150 mots). L'API Gemini résume le contenu textuel du PDF et l'annonce à l'utilisateur.