Nemo Speak AAC

การทำงาน

Nemo Speak AAC ช่วยให้ผู้ที่สูญเสียความสามารถในการสื่อสารจากโรคหลอดเลือดสมองหรือโรคระบบประสาทเสื่อมสามารถสื่อสารอีกครั้งโดยใช้ภาษาที่เป็นธรรมชาติผ่านแอปบนอุปกรณ์เคลื่อนที่ของเรา
เมื่อได้รับบริบทเกี่ยวกับชีวิตของบุคคล Gemini จะคาดคะเนสิ่งที่บุคคลนั้นจะพูดเพื่อตอบคำถามที่เป็นคำพูดได้ดีมาก เราได้บรรจุ Gemini ไว้ในอินเทอร์เฟซที่ใช้งานง่ายมากซึ่งผู้ที่มีปัญหาการสื่อสารสามารถใช้ได้จริง ซึ่งช่วยปรับปรุงความเร็ว ความซับซ้อน และความเฉพาะเจาะจงของคำตอบที่ผู้ใช้สร้างได้อย่างมากเมื่อเทียบกับอุปกรณ์ AAC แบบดั้งเดิม นี่เป็นก้าวกระโดดครั้งใหญ่ในเทคโนโลยี AAC และเราเชื่อว่าจะกลายเป็นมาตรฐานในอีก 6-12 เดือนข้างหน้า
ปัจจุบันเราใช้ gemini api sdk สําหรับ Flutter เพื่อแสดงคําตอบที่เกี่ยวข้องที่สุดสําหรับคําถามที่ถาม นอกจากนี้ เรายังมีต้นแบบของบริการการสร้างข้อความที่เพิ่มประสิทธิภาพการดึงข้อมูล ซึ่งมีแผนที่จะผสานรวมกับแอปของเราและนำไปใช้งานใน Google Cloud Platform ภายในสัปดาห์นี้ บริการนี้ใช้ VertexAI, LangChain, ChromaDB และ Gemini เพื่อตอบคําถามเกี่ยวกับชีวิตของผู้ที่เป็นโรคนี้ เราพึงพอใจกับผลลัพธ์ที่ได้ ซึ่งมีประสิทธิภาพและแม่นยำกว่าระบบ RAG ที่ใช้อยู่ในตอนนี้มาก