Nemo Speak AAC

Ý nghĩa

Nemo Speak AAC cho phép những người đã mất khả năng giao tiếp do đột quỵ hoặc bệnh thoái hoá thần kinh giao tiếp lại bằng ngôn ngữ tự nhiên thông qua ứng dụng di động của chúng tôi.
Khi được cung cấp ngữ cảnh về cuộc sống của một người, Gemini đặc biệt giỏi trong việc dự đoán những gì người đó sẽ nói để trả lời một câu hỏi bằng lời nói. Chúng tôi đã đóng gói Gemini vào một giao diện rất đơn giản mà những người mắc chứng rối loạn giao tiếp có thể sử dụng. Điều này giúp cải thiện đáng kể tốc độ, độ phức tạp và tính cụ thể của câu trả lời mà một người có thể tạo ra so với các thiết bị hỗ trợ giao tiếp truyền thống. Đây là một bước tiến lớn trong công nghệ AAC và tôi tin rằng công nghệ này sẽ trở thành tiêu chuẩn trong 6 đến 12 tháng tới.
Chúng tôi hiện sử dụng SDK API Gemini cho Flutter để hiển thị các câu trả lời phù hợp nhất cho một câu hỏi được đặt ra. Chúng tôi cũng có một nguyên mẫu của dịch vụ Tạo dữ liệu tăng cường truy xuất. Chúng tôi dự định tích hợp dịch vụ này với ứng dụng của mình và triển khai trong tuần này trên Google Cloud Platform. Dịch vụ này sử dụng VertexAI, LangChain, ChromaDB và Gemini để trả lời các câu hỏi về cuộc sống của người bị chứng mất ngôn ngữ. Chúng tôi rất hài lòng với kết quả đạt được. Phương pháp này hoạt động hiệu quả và chính xác hơn nhiều so với hệ thống RAG hiện tại mà ứng dụng sử dụng.