Textbooks Are All You Need (TAAYN-chan)

Description

Textbooks Are All You Need (Meet Taayn-chan) est une application de manuels interactifs innovante, optimisée par ARCore, qui révolutionne l'apprentissage en donnant vie aux contenus éducatifs. L'application combine la réalité augmentée, l'API Gemini et une technologie vocale avancée pour créer un environnement d'apprentissage immersif, personnalisé et amusant.
Au cœur de l'application se trouve Taayn-chan, un avatar de RA qui sert de tuteur et de guide sympathique et intelligent. Cet avatar apparaît dans l'espace physique de l'utilisateur via la caméra de son appareil, ce qui crée un sentiment de présence et d'engagement. Lorsque les utilisateurs posent des questions à Taayn-chan sur le contenu du manuel, il fournit des réponses personnalisées avec des personnages en RA qui sortent du livre, ce qui rend l'expérience d'apprentissage plus attrayante et interactive.
La principale caractéristique de l'application est son intégration à l'API Gemini, qui alimente les fonctionnalités d'IA de Taayn-chan. La conversion de la parole en texte est effectuée localement sur l'appareil à l'aide de whisper.cpp, tandis que la conversion de texte en parole est fournie par l'API ElevenLabs, ce qui garantit des conversations fluides et naturelles.
La personnalité et les connaissances de Taayn-chan reposent sur un cache de contexte de référence de Gemini contenant ses instructions et le contenu du manuel. Cela lui permet de maintenir un comportement cohérent et de fournir des informations précises.
Actuellement en phase de prototypage, TAAYN utilise des manuels et des contenus en open source ou dans le domaine public, tous utilisés avec les autorisations appropriées.