رابط النظر

وظيفتها

مرض التصلب الجانبي الضموري (ALS) هو مرض مدمِّر يفقد المريض قدرته على الحركة والتحدث. عندما كنت متطوّعًا في جمعيات مرض التصلب الجانبي الضموري خلال فصول الصيف في المدرسة الثانوية، لاحظت أنّ بعض المرضى لا يمكنهم التواصل إلا بأعينهم وباستخدام التكنولوجيا المساعِدة التي لها العديد من القيود، مثل التكلفة والكفاءة. باستخدام Google Gemini API، يساعد تطبيقي المجاني المتعدّد اللغات المُسمى "Gaze Link" مرضى ALS على التواصل باستخدام أعينهم بشكل مستقل ودقيق وفعّال.

أولاً، أتعرّف على وجه المستخدم وعينه باستخدام Google ML Kit وOpenCV. بعد 30 ثانية من معايرة الجهاز وضبط الإعدادات، يمكن للمستخدم بدء كتابة الكلمات على لوحة مفاتيح Gaze Link المتعددة اللغات باستخدام 6 إيماءات للعين. ومع ذلك، يمكن أن تكون الكتابة بالعين عملية بطيئة جدًا في حالة الجمل الطويلة.

لتحسين معدّل إدخال النص، استخدمتُ نموذج Gemini 1.5 Flash لإنشاء الجملة التي يريدها المريض استنادًا إلى الكلمات الرئيسية والسياق. أولاً، سيحوّل تطبيق Gaze Link صوت المُعتني إلى نص مثل "هل درجة حرارة الغرفة مناسبة؟". بعد ذلك، سيكتب المريض الكلمات الرئيسية مثل "حار، مكيّف، اثنان" باستخدام عينيه. سيستخدم نموذج Gemini المعلومات لإنشاء جملة مناسبة في أقل من ثانية، مثل "أشعر بالحرارة، هل يمكنك خفض درجة حرارة جهاز التكييف بمقدار درجة أو درجتين؟". يعمل النموذج ولوحة المفاتيح أيضًا باللغتَين الإسبانية والصينية. أظهرت التجارب التي أجريناها على 30 شخصًا أنّ هذا النموذج يمكن أن يوفر ما يصل إلى% 85 من ضغطات المفاتيح التي يُجريها المستخدمون، وأنّه يجعل Gaze Link أكثر فعالية بسبع مرات من لوحات النقل الإلكتروني التقليدية.