Textbooks Are All You Need (TAAYN-chan)

O que faz?

Textbooks Are All You Need (Conheça Taayn-chan) é um aplicativo inovador de livro didático interativo aprimorado pelo ARCore que revoluciona o aprendizado ao dar vida ao conteúdo educacional. O app combina realidade aumentada, a API Gemini e tecnologia de voz avançada para criar um ambiente de aprendizagem imersivo, personalizado e divertido.
O app tem como base Taayn-chan, um avatar de RA que serve como tutor e guia amigável e inteligente. Esse avatar aparece no espaço físico do usuário pela câmera do dispositivo, criando uma sensação de presença e engajamento. Quando os usuários fazem perguntas a Taayn-chan sobre o conteúdo do livro didático, ele fornece respostas personalizadas com figuras de RA que aparecem no livro, tornando a experiência de aprendizado mais envolvente e interativa.
O principal recurso do app é a integração com a API Gemini, que alimenta os recursos de IA de Taayn-chan. A conversão de voz em texto é realizada localmente no dispositivo usando whisper.cpp, enquanto a conversão de texto em voz é fornecida pela API ElevenLabs, garantindo conversas suaves e naturais.
A personalidade e o conhecimento de Taayn-chan são baseados em um cache de contexto de referência do Gemini que contém as instruções e o conteúdo do livro didático. Isso permite que ele mantenha um comportamento consistente e forneça informações precisas.
Atualmente um protótipo, o TAAYN usa livros didáticos e conteúdo de código aberto ou de domínio público, todos usados com as permissões adequadas.