Gaze Link

Zastosowanie

Stwardnienie zanikowe boczne, czyli ALS, to wyniszczająca choroba, która pozbawia pacjenta zdolności do poruszania się i mówienia. Podczas wolontariatu w stowarzyszeniach ALS w latach szkolnych zdałem sobie sprawę, że niektórzy pacjenci mogą komunikować się tylko za pomocą oczu i technologii wspomagającej, co wiąże się z wielkimi ograniczeniami, takimi jak koszty i skuteczność. Moja bezpłatna aplikacja wielojęzyczna „Gaze Link” korzysta z interfejsu Google Gemini API, aby pomagać pacjentom z ALS w komunikowaniu się za pomocą oczu w sposób niezależny, dokładny i wydajny.

Najpierw rozpoznaję twarz i oczy użytkownika za pomocą Google ML Kit i OpenCV. Po 30-sekundowej kalibracji i dostrojeniu ustawień użytkownik może zacząć pisać na wielojęzycznej klawiaturze Gaze Link za pomocą 6 gestyk oczu. Jednak w przypadku długich zdań pisanie na podstawie wzroku może być bardzo czasochłonne.

Aby zwiększyć skuteczność wprowadzania tekstu, użyliśmy modelu Gemini 1.5 Flash do wygenerowania zdania pacjenta na podstawie słów kluczowych i kontekstu. Najpierw usługa Gaze Link przekształci głos opiekuna w tekst, np. „Czy temperatura w pokoju jest odpowiednia?”. Następnie pacjent za pomocą oczu wpisze słowa kluczowe, takie jak „gorąco”, „klimatyzacja”, „dwa”. Model Gemini wykorzysta te informacje, aby w mniej niż sekundę wygenerować odpowiednie zdanie, np. „Mam ciepło. Czy możesz zmniejszyć klimatyzację o 2 stopnie?”. Model i klawiatura działają też w językach hiszpańskim i chińskim. Eksperymenty przeprowadzone z udziałem 30 osób wykazały, że model może zaoszczędzić użytkownikom nawet 85% kliknięć i uczynić usługę Gaze Link 7 razy skuteczniejszą niż tradycyjne tablice E-transfer.