Nemo Speak AAC

Un assistant IA qui aide les personnes ayant subi un AVC à parler à nouveau

Description

Nemo Speak AAC permet aux personnes qui ont perdu la capacité de communiquer à la suite d'un accident vasculaire cérébral ou d'une maladie neurodégénérative de communiquer à nouveau dans un langage naturel à l'aide de notre application mobile.
Lorsqu'on lui fournit le contexte de la vie d'une personne, Gemini est particulièrement efficace pour prédire ce qu'elle dirait en réponse à une question orale. Nous avons intégré Gemini dans une interface très simple que les personnes souffrant de troubles de la communication peuvent utiliser. Cela améliore considérablement la vitesse, la complexité et la spécificité des réponses qu'une personne peut générer par rapport aux appareils de communication alternative traditionnels. Il s'agit d'un énorme progrès dans la technologie AAC, qui deviendra probablement la norme dans les 6 à 12 prochains mois.
Nous utilisons actuellement le SDK de l'API Gemini pour Flutter afin d'afficher les réponses les plus pertinentes à une question posée. Nous avons également un prototype d'un service de génération avancée de récupération que nous prévoyons d'intégrer à notre application et de déployer d'ici la fin de la semaine sur Google Cloud Platform. Ce service utilise Vertex AI, LangChain, ChromaDB et Gemini pour répondre aux questions sur la vie de la personne souffrant d'aphasie. Nous sommes très satisfaits de nos résultats. Il est beaucoup plus efficace et précis que le système de classification par niveau d'importance actuel utilisé par l'application.

Conçu avec

  • Flutter
  • Firebase

Équipe

Par

Matthew Bonshor, Olivier Preston

De

Canada