Lien de regard

Description

La sclérose latérale amyotrophique (SLA) est une maladie dévastatrice qui prive le patient de la capacité de bouger et de parler. En tant que bénévole dans des associations de la SLA pendant les étés de mon lycée, j'ai réalisé que certains patients ne pouvaient communiquer qu'avec leurs yeux et des technologies d'assistance, qui présentent de nombreuses limites, comme les coûts et l'efficacité. Basée sur l'API Google Gemini, mon application sans frais multilingue appelée "Gaze Link" aide les patients atteints de la maladie de Charcot à communiquer de manière indépendante, précise et efficace avec leurs yeux.

Tout d'abord, je reconnais le visage et les yeux de l'utilisateur avec Google ML Kit et OpenCV. Après un calibrage et des réglages de 30 secondes, l'utilisateur peut commencer à saisir des mots sur le clavier multilingue de Gaze Link à l'aide de six gestes des yeux. Cependant, la saisie par œil peut être un processus très lent pour les phrases longues.

Pour améliorer le taux de saisie de texte, j'ai utilisé un modèle Gemini 1.5 Flash pour générer la phrase souhaitée par le patient en fonction des mots clés et du contexte. Tout d'abord, Gaze Link transcrira la voix de la personne aidante en texte, par exemple "La température de la pièce est-elle correcte ?". Ensuite, le patient saisira des mots clés comme "chaud, climatisation, deux" avec ses yeux. Le modèle Gemini utilisera ces informations pour générer une phrase appropriée, comme "J'ai chaud, pouvez-vous baisser la température de 2 degrés ?" en moins d'une seconde. Le modèle et le clavier sont également compatibles avec l'espagnol et le chinois. Des tests réalisés auprès de 30 personnes montrent que le modèle peut économiser jusqu'à 85% des frappes des utilisateurs et rendre Gaze Link sept fois plus efficace que les claviers de transfert d'argent électroniques traditionnels.