Gaze Link

การทำงาน

โรคกล้ามเนื้อเสื่อมด้านข้างหรือ ALS เป็นโรคร้ายแรงที่ทำให้ผู้ป่วยไม่สามารถเคลื่อนไหวและพูดได้ ในฐานะอาสาสมัครในสมาคม ALS ในช่วงปิดเทอมฤดูร้อนของโรงเรียนมัธยมปลาย ฉันตระหนักว่าผู้ป่วยบางรายสื่อสารได้โดยใช้เพียงดวงตาและเทคโนโลยีความช่วยเหลือ ซึ่งมีข้อจำกัดหลายประการ เช่น ค่าใช้จ่ายและประสิทธิภาพ แอปแบบหลายภาษาที่ให้บริการฟรีชื่อ "Gaze Link" ของฉันทำงานด้วย Google Gemini API ซึ่งช่วยให้ผู้ป่วย ALS สื่อสารด้วยสายตาได้อย่างอิสระ แม่นยำ และมีประสิทธิภาพ

ขั้นแรก เราจะจดจำใบหน้าและดวงตาของผู้ใช้ด้วย Google ML Kit และ OpenCV หลังจากการปรับเทียบและการตั้งค่า 30 วินาที ผู้ใช้จะเริ่มพิมพ์คำบนแป้นพิมพ์หลายภาษาของ Gaze Link ด้วยท่าทางสัมผัสด้วยสายตา 6 แบบได้ อย่างไรก็ตาม การพิมพ์ด้วยสายตาอาจทํางานช้ามากสําหรับประโยคที่ยาว

เราใช้โมเดล Gemini 1.5 Flash เพื่อสร้างประโยคที่ผู้ป่วยต้องการตามคีย์เวิร์ดและบริบทเพื่อปรับปรุงอัตราการป้อนข้อความ ก่อนอื่น Gaze Link จะถอดเสียงของผู้ดูแลเป็นข้อความ เช่น "อุณหภูมิห้องพอดีไหม" จากนั้นผู้ป่วยจะพิมพ์คีย์เวิร์ด เช่น "ร้อน, แอร์, 2" ด้วยสายตา โมเดล Gemini จะใช้ข้อมูลเพื่อสร้างประโยคที่เหมาะสม เช่น "ฉันร้อน ปรับแอร์ให้เย็นลง 2 องศาได้ไหม" ภายในเวลาไม่ถึง 1 วินาที โมเดลและแป้นพิมพ์ยังใช้กับภาษาสเปนหรือจีนได้ด้วย การทดสอบกับผู้ใช้ 30 คนแสดงให้เห็นว่ารูปแบบนี้ช่วยประหยัดการกดแป้นพิมพ์ของผู้ใช้ได้สูงสุด 85% และทำให้ Gaze Link มีประสิทธิภาพมากกว่าแผงโอนอีเมลแบบดั้งเดิมถึง 7 เท่า