Liên kết bằng ánh mắt

Ý nghĩa

Bệnh Amyotrophic Lateral Sclerosis (ALS) hay còn gọi là bệnh teo cơ bên là một căn bệnh tàn phá khiến bệnh nhân mất khả năng di chuyển và nói. Khi làm tình nguyện viên trong các hiệp hội ALS vào mùa hè thời trung học, tôi nhận thấy một số bệnh nhân chỉ có thể giao tiếp bằng mắt và công nghệ hỗ trợ, công nghệ này có nhiều hạn chế như chi phí và hiệu quả. Được cung cấp bởi API Google Gemini, ứng dụng đa ngôn ngữ miễn phí của tôi có tên "Gaze Link" giúp bệnh nhân ALS giao tiếp độc lập, chính xác và hiệu quả bằng mắt.

Đầu tiên, tôi nhận dạng khuôn mặt và mắt của người dùng bằng Bộ công cụ học máy của Google và OpenCV. Sau 30 giây hiệu chỉnh và điều chỉnh chế độ cài đặt, người dùng có thể bắt đầu nhập từ trên bàn phím đa ngôn ngữ của Gaze Link bằng 6 cử chỉ mắt. Tuy nhiên, đối với các câu dài, việc nhập bằng mắt có thể diễn ra rất chậm.

Để cải thiện tốc độ nhập văn bản, tôi đã sử dụng mô hình Gemini 1.5 Flash để tạo câu mà bệnh nhân muốn nói dựa trên từ khoá và ngữ cảnh. Trước tiên, Gaze Link sẽ chép lời của người chăm sóc thành văn bản như "Nhiệt độ phòng có ổn không?". Sau đó, bệnh nhân sẽ nhập các từ khoá như "nóng, điều hòa, hai" bằng mắt. Mô hình Gemini sẽ sử dụng thông tin này để tạo một câu phù hợp như "Tôi nóng quá, bạn có thể giảm nhiệt độ điều hoà xuống 2 độ không?" trong vòng chưa đến một giây. Mô hình và bàn phím này cũng hoạt động với tiếng Tây Ban Nha và tiếng Trung. Các thử nghiệm với 30 người cho thấy rằng mô hình này có thể tiết kiệm đến 85% số lần nhấn phím của người dùng và giúp Gaze Link hiệu quả hơn 7 lần so với bảng chuyển đổi điện tử truyền thống.