Textbooks Are All You Need (TAAYN-chan)

Qué hace

Textbooks Are All You Need (Meet Taayn-chan) es una innovadora app de libros de texto interactivos mejorada con ARCore que revoluciona el aprendizaje, ya que da vida al contenido educativo. La app combina la realidad aumentada, la API de Gemini y la tecnología de voz avanzada para crear un entorno de aprendizaje inmersivo, personalizado y divertido.
En su esencia, la app presenta a Taayn-chan, un avatar de RA que actúa como guía y tutor amigable e inteligente. Este avatar aparece en el espacio físico del usuario a través de la cámara de su dispositivo, lo que crea una sensación de presencia y participación. Cuando los usuarios le hacen preguntas a Taayn-chan sobre el contenido del libro de texto, este proporciona respuestas personalizadas con figuras de RA que salen del libro, lo que hace que la experiencia de aprendizaje sea más atractiva e interactiva.
La función clave de la app es su integración con la API de Gemini, que potencia las capacidades de IA de Taayn-chan. La función de voz a texto se realiza de forma local en el dispositivo con whisper.cpp, mientras que la función de texto a voz la proporciona la API de ElevenLabs, lo que garantiza conversaciones fluidas y naturales.
La personalidad y el conocimiento de Taayn-chan se basan en una caché de contexto de referencia de Gemini que contiene sus instrucciones y el contenido del libro de texto. Esto le permite mantener un comportamiento coherente y una entrega de información precisa.
Actualmente, TAAYN es un prototipo que usa libros de texto y contenido de código abierto o de dominio público, todos con los permisos adecuados.