Vínculo de mirada

Qué hace

La esclerosis lateral amiotrófica (ELA) es una enfermedad devastadora que le quita al paciente la capacidad de moverse y hablar. Como voluntario en asociaciones de ALS durante los veranos de la escuela secundaria, me di cuenta de que algunos pacientes solo pueden comunicarse con los ojos y la tecnología de accesibilidad, que tiene muchas limitaciones, como el costo y la eficiencia. Con la API de Google Gemini, mi app gratuita en varios idiomas llamada "Gaze Link" ayuda a los pacientes con ALS a comunicarse con los ojos de forma independiente, precisa y eficiente.

Primero, reconozco el rostro y los ojos del usuario con Google ML Kit y OpenCV. Después de una calibración y ajustes de configuración de 30 segundos, el usuario puede comenzar a escribir palabras en el teclado multilingüe de Gaze Link con 6 gestos oculares. Sin embargo, la escritura con los ojos puede ser un proceso muy lento para oraciones largas.

Para mejorar la velocidad de entrada de texto, usé un modelo Gemini 1.5 Flash para generar la oración que el paciente quería decir en función de las palabras clave y el contexto. Primero, Gaze Link transcribirá la voz del cuidador en texto, como "¿Está bien la temperatura de la habitación?". Luego, el paciente escribirá palabras clave como "caliente, aire acondicionado, dos" con los ojos. El modelo de Gemini usará la información para generar una oración adecuada, como "Tengo calor, ¿puedes bajar el aire acondicionado 2 grados?", en menos de un segundo. El modelo y el teclado también funcionan con español y chino. Los experimentos con 30 personas muestran que el modelo puede ahorrar hasta el 85% de las pulsaciones de teclas del usuario y hacer que Gaze Link sea 7 veces más eficaz que las tradicionales pizarras de transferencia electrónica.