Navegación ciega

Qué hace

Compilé la app que ayuda a las personas con discapacidades a navegar por su entorno. La app tiene los 3 modos principales: "Modo de navegación", que guía al usuario sobre su entorno, "Modo de asistente", que ayuda al usuario a preguntar cualquier cosa específica sobre su entorno, y, por último, "Modo de lectura", que ayuda al usuario a leer cualquier cosa, como libros o carteles.
La API de Gemini AI se usó en tres archivos del proyecto y cada archivo se asignó a cada modo anterior.
Por lo tanto, la cámara del teléfono celular del usuario captura los fotogramas o las imágenes en tiempo real y, luego, los envía al cuadro de entrada de Gemini. Luego, Gemini crea las instrucciones como un resultado a medida que se entrenan cada uno de los modelos. Luego, las instrucciones de salida se muestran en la superposición y, con la ayuda de TTS (texto a voz), las personas ciegas pueden escuchar esa voz y navegar fácilmente.