קישור למבט

תיאור

ניוון שרירים צדדי (ALS) הוא מחלה קשה שמובילה לכך שהחולה לא יכול לזוז ולדבר. כמתנדב באגודות ALS במהלך הקיצים בתיכון, הבנתי שחלק מהחולים יכולים לתקשר רק באמצעות העיניים וטכנולוגיה מסייעת, שיש לה מגבלות רבות כמו עלות ויעילות. האפליקציה החינמית שלי, Gaze Link, זמינה בכמה שפות ומבוססת על Google Gemini API. היא עוזרת לחולי ALS לתקשר באמצעות העיניים באופן עצמאי, מדויק ויעיל.

קודם כול, אני מזהה את הפנים והעיניים של המשתמש באמצעות Google ML Kit ו-OpenCV. אחרי 30 שניות של כיול והתאמת הגדרות, המשתמש יכול להתחיל להקליד מילים באמצעות 6 תנועות עיניים במקלדת הרב-לשונית של Gaze Link. עם זאת, הקלדה בעזרת העיניים יכולה להיות תהליך איטי מאוד כשכותבים משפטים ארוכים.

כדי לשפר את קצב הזנת הטקסט, השתמשתי במודל Gemini 1.5 Flash כדי ליצור את המשפט שהחולה התכוון לומר על סמך מילות מפתח וההקשר. קודם, Gaze Link יתרגם את הקול של המטפל/ת לטקסט כמו "האם טמפרטורת החדר מתאימה?". לאחר מכן, המטופל/ת יתכתבו באמצעות העיניים באמצעות מילות מפתח כמו "חם, מזגן, שתיים". מודל Gemini ישתמש במידע הזה כדי ליצור משפט מתאים תוך פחות משנייה, למשל "חם לי, אפשר להוריד את הטמפרטורה במזגן ב-2 מעלות?". המודל והמקלדת פועלים גם בספרדית ובסינית. ניסויים עם 30 אנשים הראו שהמודל יכול לחסוך עד 85% מהקלידות של המשתמשים, ולהפוך את Gaze Link ליעילה פי 7 מלוחות העברה אלקטרונית רגילים.