Nemo Speak AAC

作用

借助 Nemo Speak AAC，因中风或神经退行性疾病而失去沟通能力的用户可以使用我们的移动应用再次以自然语言进行交流。
在获得与用户生活相关的情境信息后，Gemini 非常擅长预测用户对口头问题的回答。我们将 Gemini 打包到一个非常简单的界面中，让患有语言障碍的人也能实际使用。与传统的 AAC 设备相比，用户可以生成的回答的速度、复杂性和具体性显著提高。这是 AAC 技术的一次巨大飞跃，我相信它将在未来 6-12 个月内成为标准。
目前，我们使用适用于 Flutter 的 Gemini API SDK 来显示与用户提出的问题最相关的回答。我们还开发了增强型检索生成服务的原型，计划将其集成到我们的应用中，并在本周内在 Google Cloud Platform 上部署。该服务使用 VertexAI、LangChain、ChromaDB 和 Gemini 来回答与失语人士生活相关的问题。我们对取得的成效非常满意。与应用目前使用的 RAG 系统相比，该系统的性能更高效、更准确。