Nemo Speak AAC

用途

透過 Nemo Speak AAC，中風或神經退化性疾病患者就能透過自然語言，使用行動應用程式再次進行溝通。
Gemini 在提供使用者生活背景資訊後，就能非常準確地預測使用者會如何回應口語問題。我們將 Gemini 整合至非常簡單的介面，讓有溝通障礙的使用者也能輕鬆操作。與傳統 AAC 裝置相比，Gemini 可大幅提升使用者回應的速度、複雜度和具體性。這是 AAC 技術的重大進展，我相信這項技術將在未來 6 到 12 個月內成為標準。
我們目前使用 Flutter 的 gemini api sdk，針對提問顯示最相關的回應。我們也開發了 Retrieval Augmented Generation 服務的原型，並打算在本週內將其整合至應用程式，並在 Google Cloud Platform 上部署。這項服務會使用 Vertex AI、LangChain、ChromaDB 和 Gemini，回答有關失語症患者生活相關的問題。我們對成效感到非常滿意。相較於應用程式目前使用的 RAG 系統，這項功能的效能和準確度都大幅提升。