Link allo sguardo

Descrizione

La sclerosi laterale amiotrofica (SLA) è una malattia devastante che priva il paziente della capacità di muoversi e parlare. Come volontario nelle associazioni per la SLA durante le estati del liceo, ho capito che alcuni pazienti possono comunicare solo con gli occhi e con la tecnologia per la disabilità, che presenta molti limiti, come il costo e l'efficienza. Basata sull'API Google Gemini, la mia app multilingue senza costi "Gaze Link" aiuta i pazienti affetti da SLA a comunicare con gli occhi in modo indipendente, accurato ed efficiente.

Innanzitutto, riconosco il volto e gli occhi dell'utente con Google ML Kit e OpenCV. Dopo una calibrazione e regolazioni delle impostazioni di 30 secondi, l'utente può iniziare a digitare le parole sulla tastiera multilingue di Gaze Link con sei gesti oculari. Tuttavia, la digitazione con gli occhi può essere un processo molto lento per le frasi lunghe.

Per migliorare il tasso di inserimento di testo, ho utilizzato un modello Gemini 1.5 Flash per generare la frase voluta dal paziente in base alle parole chiave e al contesto. Innanzitutto, Gaze Link trascriverà la voce del caregiver in un testo come "La temperatura della stanza va bene?". Poi, il paziente digiterà parole chiave come "caldo, aria condizionata, due" con gli occhi. Il modello Gemini utilizzerà le informazioni per generare una frase adatta come "Ho caldo, puoi abbassare l\'aria condizionata di 2 gradi?" in meno di un secondo. Il modello e la tastiera funzionano anche con spagnolo e cinese. Gli esperimenti condotti su 30 persone dimostrano che il modello può far risparmiare fino all'85% delle battute degli utenti e rendere Gaze Link 7 volte più efficace delle tradizionali schede di trasferimento elettronico.