لینک نگاه

کاری که انجام می دهد

اسکلروز جانبی آمیوتروفیک یا ALS یک بیماری ویرانگر است که توانایی حرکت و صحبت کردن را از بیمار می گیرد. به عنوان یک داوطلب در انجمن های ALS در تابستان های دبیرستان، متوجه شدم که برخی از بیماران فقط می توانند با چشم و فناوری کمکی خود ارتباط برقرار کنند، که محدودیت های زیادی مانند هزینه و کارایی دارد. برنامه چند زبانه رایگان من با نام «Gaze Link» که توسط Google Gemini API پشتیبانی می‌شود، به بیماران ALS کمک می‌کند تا مستقل، دقیق و کارآمد با چشمان خود ارتباط برقرار کنند.

ابتدا صورت و چشم های کاربر را با Google ML Kit و OpenCV می شناسم. پس از 30 ثانیه کالیبراسیون و تنظیمات تنظیمات، کاربر می تواند با 6 حرکت چشم شروع به تایپ کلمات روی صفحه کلید چند زبانه Gaze Link کند. با این حال، تایپ چشمی برای جملات طولانی می تواند فرآیند بسیار کندی باشد.

برای بهبود نرخ ورود متن، از یک مدل فلش جمینی 1.5 برای تولید جمله مورد نظر بیمار بر اساس کلمات کلیدی و زمینه استفاده کردم. ابتدا، Gaze Link صدای سرایدار را به متنی مانند «دمای اتاق خوب است؟» رونویسی می کند. سپس، بیمار کلمات کلیدی مانند "hot, AC, two" را با چشمان خود تایپ می کند. مدل Gemini از این اطلاعات برای تولید جمله مناسبی مانند "من داغ هستم، می توانید AC را 2 درجه کم کنید؟" استفاده می کند. در کمتر از یک ثانیه مدل و کیبورد با زبان های اسپانیایی و چینی نیز کار می کند. آزمایش‌ها با 30 نفر نشان می‌دهد که این مدل می‌تواند تا 85 درصد از ضربه‌های کلید کاربر صرفه‌جویی کند و Gaze Link را 7 برابر مؤثرتر از تابلوهای سنتی انتقال الکترونیکی کند.