Bakış Bağlantısı

Ne işe yarar?

Amyotrofik Lateral Skleroz (ALS), hastanın hareket etme ve konuşma yeteneğini elinden alan yıkıcı bir hastalıktır. Lise yıllarımda yaz aylarında ALS derneklerinde gönüllü olarak çalışırken bazı hastaların yalnızca gözleriyle ve yardımcı teknolojilerle iletişim kurabileceğini fark ettim. Bu teknolojilerin maliyet ve verimlilik gibi birçok sınırlaması vardı. Google Gemini API ile desteklenen ve ücretsiz olan çok dilli uygulamam "Gaze Link", ALS hastalarının gözlerini kullanarak bağımsız, doğru ve etkili bir şekilde iletişim kurmasına yardımcı oluyor.

Öncelikle Google ML Kit ve OpenCV ile kullanıcının yüzünü ve gözlerini tanıyorum. 30 saniyelik bir kalibrasyon ve ayar düzenlemesinden sonra kullanıcı, Gaze Link'in çok dilli klavyesine 6 göz hareketiyle kelime yazmaya başlayabilir. Ancak gözle yazma, uzun cümleler için çok yavaş bir süreç olabilir.

Metin giriş hızını artırmak için, anahtar kelimelere ve bağlama göre hastanın amaçladığı cümleyi oluşturmak üzere bir Gemini 1.5 Flash modeli kullandım. Öncelikle Bakış Bağlantısı, bakıcının sesini "Oda sıcaklığı uygun mu?" gibi metne dönüştürür. Ardından hasta, "sıcak, klima, iki" gibi anahtar kelimeleri gözleriyle yazar. Gemini modeli, bir saniyeden kısa sürede "Sıcak, klimayı 2 derece düşürebilir misiniz?" gibi uygun bir cümle oluşturmak için bu bilgileri kullanır. Model ve klavye İspanyolca ve Çince ile de çalışır. 30 kişiyle yapılan denemeler, modelin kullanıcı tuş vuruşlarının% 85'ine kadar tasarruf sağlayabileceğini ve Bakış Bağlantısı'nı geleneksel e-transfer panolarına kıyasla 7 kat daha etkili hale getirebileceğini gösteriyor.