তাকান লিঙ্ক

এটা কি করে

অ্যামিওট্রফিক ল্যাটারাল স্ক্লেরোসিস, বা ALS, একটি বিধ্বংসী রোগ যা রোগীর নড়াচড়া এবং কথা বলার ক্ষমতা কেড়ে নেয়। হাই স্কুলের গ্রীষ্মকালে ALS অ্যাসোসিয়েশনের একজন স্বেচ্ছাসেবক হিসাবে, আমি বুঝতে পেরেছিলাম যে কিছু রোগী শুধুমাত্র তাদের চোখ এবং সহায়ক প্রযুক্তির মাধ্যমে যোগাযোগ করতে পারে, যার খরচ এবং দক্ষতার মতো অনেক সীমাবদ্ধতা রয়েছে। Google Gemini API দ্বারা চালিত, “Gaze Link” নামের আমার বিনামূল্যের বহু-ভাষা অ্যাপ ALS রোগীদের তাদের চোখের সাথে স্বাধীনভাবে, নির্ভুলভাবে এবং দক্ষতার সাথে যোগাযোগ করতে সাহায্য করে।

প্রথমে, আমি Google ML Kit এবং OpenCV দিয়ে ব্যবহারকারীর মুখ এবং চোখ চিনতে পারি। 30-সেকেন্ডের ক্রমাঙ্কন এবং সেটিং সামঞ্জস্যের পরে, ব্যবহারকারী 6টি চোখের অঙ্গভঙ্গি সহ Gaze Link-এর বহু-ভাষা কীবোর্ডে শব্দ টাইপ করা শুরু করতে পারে৷ যাইহোক, চোখের টাইপিং দীর্ঘ বাক্যের জন্য একটি খুব ধীর প্রক্রিয়া হতে পারে।

টেক্সট-এন্ট্রি রেট উন্নত করতে, কীওয়ার্ড এবং প্রসঙ্গের উপর ভিত্তি করে রোগীর উদ্দেশ্যমূলক বাক্য তৈরি করতে আমি জেমিনি 1.5 ফ্ল্যাশ মডেল ব্যবহার করেছি। প্রথমত, গেজ লিংক তত্ত্বাবধায়কের ভয়েসকে টেক্সটে প্রতিলিপি করবে যেমন "ঘরের তাপমাত্রা ঠিক আছে?" তারপর, রোগী তাদের চোখ দিয়ে "hot, AC, two" এর মত কীওয়ার্ড টাইপ করবে। মিথুন মডেল একটি উপযুক্ত বাক্য তৈরি করতে তথ্য ব্যবহার করবে যেমন "আমি গরম, আপনি কি এসি 2 ডিগ্রি কমিয়ে দিতে পারেন?" এক সেকেন্ডের নিচে। মডেল এবং কীবোর্ড স্প্যানিশ এবং চীনা ভাষায়ও কাজ করে। 30 জনের সাথে পরীক্ষাগুলি দেখায় যে মডেলটি ব্যবহারকারীর কীস্ট্রোকগুলির 85% পর্যন্ত সংরক্ষণ করতে পারে এবং গেজ লিঙ্ককে ঐতিহ্যগত ই-ট্রান্সফার বোর্ডের চেয়ে 7x বেশি কার্যকর করতে পারে।