Nemo Speak AAC

Funktion

Mit Nemo Speak AAC können Menschen, die aufgrund eines Schlaganfalls oder einer neurodegenerativen Erkrankung ihre Kommunikationsfähigkeit verloren haben, mithilfe unserer mobilen App wieder in natürlicher Sprache kommunizieren.
Wenn Gemini Kontext zum Leben einer Person erhält, kann es außergewöhnlich gut vorhersagen, was diese Person als Antwort auf eine gesprochene Frage sagen würde. Wir haben Gemini in eine sehr einfache Benutzeroberfläche verpackt, die Menschen mit Kommunikationsstörungen tatsächlich nutzen können. Im Vergleich zu herkömmlichen AAC-Geräten können sie damit deutlich schneller, komplexer und spezifischer antworten. Das ist ein großer Fortschritt bei der AAC-Technologie und wird meiner Meinung nach in den nächsten 6 bis 12 Monaten zum Standard werden.
Wir verwenden derzeit das Gemini API SDK für Flutter, um die relevantesten Antworten auf eine gestellte Frage zu präsentieren. Wir haben auch einen Prototyp eines Dienstes zur erweiterten Generierung von Inhalten, den wir in unsere App einbinden und innerhalb der Woche auf der Google Cloud Platform bereitstellen möchten. Bei diesem Dienst werden Vertex AI, LangChain, ChromaDB und Gemini verwendet, um Fragen zum Leben der aphasischen Person zu beantworten. Wir sind sehr zufrieden mit den Ergebnissen. Es ist viel effizienter und genauer als das aktuelle RAG-System, das in der App verwendet wird.