Nemo Speak AAC

Asystent AI, który pomaga osobom po udarze odzyskać zdolność mówienia.

Działanie

Nemo Speak AAC umożliwia osobom, które utraciły zdolność do komunikacji z powodu udaru lub choroby neurodegeneracyjnej, odzyskanie możliwości porozumiewania się w języku naturalnym za pomocą naszej aplikacji mobilnej.
Gdy Gemini ma kontekst dotyczący życia danej osoby, potrafi wyjątkowo dobrze przewidzieć, co ta osoba powiedziałaby w odpowiedzi na zadane pytanie. Gemini jest dostępny w bardzo prostym interfejsie, z którego mogą korzystać osoby z zaburzeniami komunikacji. W porównaniu z tradycyjnymi urządzeniami AAC znacznie zwiększa szybkość, złożoność i specyficzność odpowiedzi, które może generować użytkownik. To ogromny krok naprzód w technologii AAC i uważam, że stanie się standardem w ciągu 6–12 miesięcy.
Obecnie używamy interfejsu API gemini SDK dla Fluttera, aby wyświetlać najbardziej trafne odpowiedzi na zadane pytanie. Mamy też prototyp usługi wyszukiwania rozszerzonego generowania, którą planujemy zintegrować z naszą aplikacją i wdrożyć w ciągu tygodnia w Google Cloud Platform. Ta usługa korzysta z VertexAI, LangChain, ChromaDB i Gemini, aby odpowiadać na pytania dotyczące życia osób z afazją. Jesteśmy bardzo zadowoleni z tych wyników. Jest on znacznie wydajniejszy i dokładniejszy niż obecny system RAG używany przez aplikację.

Utworzone za pomocą

  • Flutter
  • Firebase

Zespół

Autor:

Matthew Bonshor, Olivier Preston

Od

Kanada