Textbooks Are All You Need (TAAYN-chan)

Funktion

Textbooks Are All You Need (Meet Taayn-chan) ist eine innovative, ARCore-gestützte interaktive Lehrbuch-App, die das Lernen revolutioniert, indem sie Bildungsinhalte zum Leben erweckt. Die App kombiniert Augmented Reality, die Gemini API und fortschrittliche Sprachtechnologie, um eine immersive, personalisierte und humorvolle Lernumgebung zu schaffen.
Im Mittelpunkt der App steht Taayn-chan, ein AR-Avatar, der als freundlicher, intelligenter Tutor und Guide dient. Dieser Avatar wird über die Kamera des Geräts im physischen Raum des Nutzers angezeigt und vermittelt ein Gefühl von Präsenz und Interaktion. Wenn Nutzer Taayn-chan Fragen zu den Inhalten des Lehrbuchs stellen, gibt er personalisierte Antworten mit AR-Figuren, die aus dem Buch herausspringen, was das Lernen ansprechender und interaktiver macht.
Das Hauptmerkmal der App ist die Einbindung in die Gemini API, die die KI-Funktionen von Taayn-chan unterstützt. Die Spracherkennung erfolgt lokal auf dem Gerät mit whisper.cpp, während die Text-zu-Sprache-Funktion von der ElevenLabs API bereitgestellt wird, um reibungslose und natürliche Unterhaltungen zu ermöglichen.
Die Persönlichkeit und das Wissen von Taayn-chan basieren auf einem Referenzkontext-Cache von Gemini, der seine Anweisungen und den Inhalt des Lehrbuchs enthält. So kann er ein einheitliches Verhalten und eine korrekte Informationsübermittlung aufrechterhalten.
TAAYN ist derzeit ein Prototyp und verwendet Lehrbücher und Inhalte, die entweder Open Source oder gemeinfrei sind. Alle werden mit den entsprechenden Berechtigungen verwendet.