رابط النظر

وظيفتها

التصلب الجانبي الضموري (ALS) هو مرض مدمِّر يفقد المريض قدرته على الحركة والتحدث. عندما كنت متطوّعًا في جمعيات مرض التصلب الجانبي الضموري خلال فصول الصيف في المدرسة الثانوية، لاحظت أنّ بعض المرضى لا يمكنهم التواصل إلا بأعينهم وباستخدام التكنولوجيا المساعِدة التي لها العديد من القيود، مثل التكلفة والكفاءة. باستخدام Google Gemini API، يساعد تطبيقي المجاني المتعدّد اللغات المُسمى "Gaze Link" مرضى ALS على التواصل باستخدام عيونهم بشكل مستقل ودقيق وفعّال.

أولاً، أتعرّف على وجه المستخدم وعينه باستخدام Google ML Kit وOpenCV. بعد 30 ثانية من معايرة الجهاز وضبط الإعدادات، يمكن للمستخدم بدء كتابة الكلمات على لوحة المفاتيح المتعددة اللغات في Gaze Link باستخدام 6 إيماءات للعين. ومع ذلك، قد تكون الكتابة بالعين عملية بطيئة جدًا في حال استخدام جمل طويلة.

لتحسين معدّل إدخال النص، استخدمتُ نموذج Gemini 1.5 Flash لإنشاء الجملة التي يريدها المريض استنادًا إلى الكلمات الرئيسية والسياق. أولاً، سيحوّل تطبيق Gaze Link صوت المُعتني إلى نص مثل "هل درجة حرارة الغرفة مناسبة؟". بعد ذلك، سيكتب المريض الكلمات الرئيسية مثل "حار، مكيف هواء، اثنان" باستخدام عينيه. سيستخدم نموذج Gemini المعلومات لإنشاء جملة مناسبة في أقل من ثانية، مثل "أشعر بالحرارة، هل يمكنك خفض درجة حرارة جهاز التكييف بمقدار درجة أو درجتين؟". يعمل النموذج ولوحة المفاتيح أيضًا باللغتَين الإسبانية والصينية. أظهرت التجارب التي أجريناها على 30 شخصًا أنّ هذا النموذج يمكن أن يوفر ما يصل إلى% 85 من ضغطات المفاتيح التي يُجريها المستخدمون، وأنّه يجعل Gaze Link أكثر فعالية بسبع مرات من لوحات النقل الإلكتروني التقليدية.