Ligação de olhar

O que faz?

A esclerose lateral amiotrófica, ou ELA, é uma doença devastadora que tira a capacidade de se mover e falar do paciente. Como voluntário em associações de ELA durante os verões do ensino médio, percebi que alguns pacientes só conseguem se comunicar com os olhos e com tecnologia adaptativa, que tem muitas limitações, como custo e eficiência. Meu app sem custo financeiro e multilíngue, chamado "Gaze Link", é baseado na API Google Gemini e ajuda pacientes com ELA a se comunicarem com os olhos de forma independente, precisa e eficiente.

Primeiro, reconheço o rosto e os olhos do usuário com o Google ML Kit e o OpenCV. Após 30 segundos de calibração e ajustes de configuração, o usuário pode começar a digitar palavras no teclado multilíngue do Gaze Link com seis gestos oculares. No entanto, a digitação ocular pode ser um processo muito lento para frases longas.

Para melhorar a taxa de entrada de texto, usei um modelo Gemini 1.5 Flash para gerar a frase pretendida do paciente com base em palavras-chave e no contexto. Primeiro, o Gaze Link vai transcrever a voz do cuidador em texto, como "A temperatura do ambiente está boa?". Em seguida, o paciente vai digitar palavras-chave como "quente, ar-condicionado, dois" com os olhos. O modelo do Gemini vai usar as informações para gerar uma frase adequada, como "Estou com calor, você pode diminuir o ar-condicionado em 2 graus?", em menos de um segundo. O modelo e o teclado também funcionam com espanhol e chinês. Os experimentos com 30 pessoas mostram que o modelo pode economizar até 85% das teclas do usuário e tornar o Gaze Link sete vezes mais eficaz do que as placas de transferência eletrônica tradicionais.