Textbooks Are All You Need (TAAYN-chan)

Descrizione

Textbooks Are All You Need (Meet Taayn-chan) è un'innovativa app di libri di testo interattivi con ARCore che rivoluziona l'apprendimento dando vita ai contenuti didattici. L'app combina la realtà aumentata, l'API Gemini e la tecnologia vocale avanzata per creare un ambiente di apprendimento immersivo, personalizzato e divertente.
Al suo centro, l'app presenta Taayn-chan, un avatar AR che funge da tutor e guida amichevole e intelligente. Questo avatar viene visualizzato nello spazio fisico dell'utente tramite la fotocamera del suo dispositivo, creando un senso di presenza e coinvolgimento. Quando gli utenti pongono domande a Taayn-chan sui contenuti dei libri di testo, l'assistente fornisce risposte personalizzate con figure AR che appaiono nel libro, rendendo l'esperienza di apprendimento più coinvolgente e interattiva.
La funzionalità principale dell'app è l'integrazione con l'API Gemini, che supporta le funzionalità di IA di Taayn-chan. La conversione da voce a testo viene eseguita localmente sul dispositivo utilizzando whisper.cpp, mentre la conversione da testo a voce è fornita dall'API ElevenLabs, garantendo conversazioni fluide e naturali.
La personalità e le conoscenze di Taayn-chan si basano su una cache del contesto di riferimento di Gemini contenente le sue istruzioni e i contenuti del libro di testo. In questo modo, può mantenere un comportamento coerente e fornire informazioni accurate.
Attualmente un prototipo, TAAYN utilizza libri di testo e contenuti open source o di dominio pubblico, tutti utilizzati con le autorizzazioni appropriate.