Link Tatapan

Fungsinya

Amyotrophic Lateral Sclerosis, atau ALS, adalah penyakit yang menghancurkan yang menghilangkan kemampuan pasien untuk bergerak dan berbicara. Sebagai sukarelawan di asosiasi ALS selama musim panas di sekolah menengah, saya menyadari bahwa beberapa pasien hanya dapat berkomunikasi dengan mata dan teknologi pendukung, yang memiliki banyak batasan seperti biaya dan efisiensi. Dengan Google Gemini API, aplikasi multibahasa gratis saya yang bernama “Gaze Link” membantu pasien ALS berkomunikasi dengan mata mereka secara mandiri, akurat, dan efisien.

Pertama, saya mengenali wajah dan mata pengguna dengan Google ML Kit dan OpenCV. Setelah kalibrasi dan penyesuaian setelan selama 30 detik, pengguna dapat mulai mengetik kata-kata di keyboard multibahasa Gaze Link dengan 6 gestur mata. Namun, proses mengetik dengan mata bisa sangat lambat untuk kalimat yang panjang.

Untuk meningkatkan kecepatan entri teks, saya menggunakan model Gemini 1.5 Flash untuk membuat kalimat yang diinginkan pasien berdasarkan kata kunci dan konteks. Pertama, Gaze Link akan mentranskripsikan suara pengasuh menjadi teks seperti “Apakah suhu ruangannya sudah pas?”. Kemudian, pasien akan mengetik kata kunci seperti “panas, AC, dua” dengan matanya. Model Gemini akan menggunakan informasi tersebut untuk menghasilkan kalimat yang sesuai seperti “Saya kepanasan, bisakah Anda menurunkan suhu AC 2 derajat?” dalam waktu kurang dari satu detik. Model dan keyboard juga berfungsi dengan bahasa Spanyol dan China. Eksperimen dengan 30 orang menunjukkan bahwa model ini dapat menghemat hingga 85% penekanan tombol pengguna dan membuat Gaze Link 7x lebih efektif daripada papan E-transfer tradisional.