Gaze Link

Funktion

Amyotrophe Lateralsklerose (ALS) ist eine verheerende Krankheit, die die Patienten daran hindert, sich zu bewegen und zu sprechen. Als ich in den Sommerferien der High School in ALS-Vereinen ehrenamtlich tätig war, habe ich festgestellt, dass einige Patienten nur mit ihren Augen und Hilfstechnologien kommunizieren können, was viele Einschränkungen wie Kosten und Effizienz mit sich bringt. Mit der Google Gemini API hilft meine kostenlose mehrsprachige App „Gaze Link“ ALS-Patienten, unabhängig, genau und effizient mit ihren Augen zu kommunizieren.

Zuerst erkenne ich mit Google ML Kit und OpenCV das Gesicht und die Augen des Nutzers. Nach einer 30-sekündigen Kalibrierung und Anpassung der Einstellungen kann der Nutzer mit sechs Augengesten Wörter auf der mehrsprachigen Tastatur von Gaze Link eingeben. Bei langen Sätzen kann das Tippen mit den Augen jedoch sehr langsam sein.

Um die Eingaberate zu verbessern, habe ich ein Gemini 1.5-Flash-Modell verwendet, um den beabsichtigten Satz des Patienten anhand von Keywords und dem Kontext zu generieren. Zuerst transkribiert Gaze Link die Stimme der Pflegekraft in Text wie „Ist die Raumtemperatur in Ordnung?“. Dann tippt der Patient mit seinen Augen Keywords wie „heiß, Klimaanlage, zwei“ ein. Das Gemini-Modell verwendet die Informationen, um in weniger als einer Sekunde einen geeigneten Satz wie „Mir ist heiß, können Sie die Klimaanlage um 2 Grad herunterdrehen?“ zu generieren. Das Modell und die Tastatur funktionieren auch mit Spanisch und Chinesisch. Tests mit 30 Personen haben gezeigt, dass das Modell bis zu 85% der Tastenanschläge der Nutzer einsparen und Gaze Link siebenmal effektiver machen kann als herkömmliche E-Transfer-Boards.