Gaze Link

यह क्या करता है

एमायोट्रॉफ़िक लेटरल स्क्लेरोसिस या एएलएस एक गंभीर बीमारी है. इससे मरीज़ चलने-फिरने और बोलने की क्षमता खो देता है. हाई स्कूल के दौरान, गर्मियों के सीज़न में ALS एसोसिएशन में वॉलंटियर के तौर पर काम करते हुए, मुझे पता चला कि कुछ मरीज़ सिर्फ़ अपनी आंखों और सहायक टेक्नोलॉजी की मदद से ही बातचीत कर सकते हैं. इस टेक्नोलॉजी की लागत और परफ़ॉर्मेंस से जुड़ी कई समस्याएं हैं. Google Gemini API की मदद से काम करने वाला मेरा ऐप्लिकेशन “Gaze Link”, कई भाषाओं में उपलब्ध है और इसे बिना किसी शुल्क के इस्तेमाल किया जा सकता है. यह ऐप्लिकेशन, एएलएस (अमीयोट्रॉफ़िक लेटरल स्केलेरोसिस) के मरीजों को अपनी आंखों से स्वतंत्र, सटीक, और असरदार तरीके से बातचीत करने में मदद करता है.

सबसे पहले, मैं Google ML Kit और OpenCV की मदद से उपयोगकर्ता के चेहरे और आंखों की पहचान करता हूं. 30 सेकंड के कैलिब्रेशन और सेटिंग में बदलाव करने के बाद, उपयोगकर्ता Gaze Link के कई भाषाओं वाले कीबोर्ड पर, छह आंख के जेस्चर से शब्द टाइप कर सकता है. हालांकि, लंबे वाक्यों के लिए, आंख से टाइप करने की प्रोसेस बहुत धीमी हो सकती है.

टेक्स्ट डालने की दर को बेहतर बनाने के लिए, मैंने Gemini 1.5 Flash मॉडल का इस्तेमाल किया. इससे, कीवर्ड और कॉन्टेक्स्ट के आधार पर, मरीज़ के बोले गए वाक्य को जनरेट किया जा सकता है. सबसे पहले, Gaze Link, देखभाल करने वाले की आवाज़ को टेक्स्ट में बदल देगा. जैसे, “क्या कमरे का तापमान ठीक है?”. इसके बाद, मरीज अपनी आंखों से “गर्म, एसी, दो” जैसे कीवर्ड टाइप करेगा. Gemini मॉडल, इस जानकारी का इस्तेमाल करके एक सेकंड से भी कम समय में, “मुझे गर्मी लग रही है, क्या एसी को दो डिग्री कम किया जा सकता है?” जैसा कोई वाक्य जनरेट करेगा. यह मॉडल और कीबोर्ड, स्पैनिश और चाइनीज़ भाषा के साथ भी काम करता है. 30 लोगों के साथ किए गए प्रयोगों से पता चला है कि यह मॉडल, उपयोगकर्ता के 85% तक कीस्ट्रोक बचा सकता है. साथ ही, Gaze Link को ई-ट्रांसफ़र बोर्ड के मुकाबले सात गुना ज़्यादा असरदार बना सकता है.