Nemo Speak AAC

機能

Nemo Speak AAC は、脳卒中や神経変性疾患によりコミュニケーション能力を失った人が、Google のモバイルアプリを使用して自然言語で再びコミュニケーションできるようにするものです。
Gemini は、ユーザーの生活に関するコンテキストが与えられると、ユーザーが音声で質問された場合に何と答えるかを非常に正確に予測できます。Google は、Gemini を、コミュニケーション障がいのあるユーザーが実際に使用できる非常にシンプルなインターフェースにパッケージ化しました。これにより、ユーザーが生成できる回答の速度、複雑さ、特定性が従来の AAC デバイスと比べて大幅に向上しています。これは AAC 技術の大きな進歩であり、今後 6 ～ 12 か月以内に標準になると思います。
現在、Google は Flutter 用 gemini api sdk を使用して、質問に最も関連性の高いレスポンスを表示しています。また、Retrieval Augmented Generation サービスのプロトタイプも用意しており、アプリに統合して今週中に Google Cloud Platform にデプロイする予定です。このサービスは、VertexAI、LangChain、ChromaDB、Gemini を使用して、失語症の人の生活に関する質問に回答します。結果に大変満足しています。アプリで使用されている現在の RAG システムよりもはるかに効率的で正確なパフォーマンスを発揮します。