Textbooks Are All You Need (TAAYN-chan)

Działanie

Textbooks Are All You Need (Meet Taayn-chan) to innowacyjna aplikacja z interaktywną książką opartą na ARCore, która rewolucjonizuje naukę, ożywiając treści edukacyjne. Aplikacja łączy rzeczywistość rozszerzoną, interfejs Gemini API i zaawansowaną technologię głosową, aby stworzyć wciągające, spersonalizowane i zabawne środowisko edukacyjne.
W aplikacji występuje Taayn-chan, czyli avatar AR, który pełni rolę przyjaznego, inteligentnego nauczyciela i przewodnika. Ten awatar pojawia się w fizycznym otoczeniu użytkownika dzięki kamerze urządzenia, co tworzy poczucie obecności i zaangażowania. Gdy użytkownicy zadadzą Taayn-chanowi pytania dotyczące treści podręcznika, otrzymają spersonalizowane odpowiedzi z postaciami AR, które wyłaniają się z książki, co czyni naukę bardziej angażująca i interaktywną.
Główną funkcją aplikacji jest integracja z interfejsem Gemini API, która umożliwia korzystanie z funkcji AI Taayn-chana. Przekształcanie mowy na tekst odbywa się lokalnie na urządzeniu za pomocą biblioteki whisper.cpp, a przekształcanie tekstu na mowę – za pomocą interfejsu ElevenLabs API, co zapewnia płynne i naturalne rozmowy.
Osobowość i wiedza Taayn-chana są oparte na referencyjnym kontekście z Gemini, który zawiera jego instrukcje i treści podręcznika. Pozwala to zachować spójne zachowanie i dostarczać prawidłowe informacje.
TAAYN jest obecnie prototypem, który korzysta z podręczników i treści typu open source lub domeny publicznej, używanych z odpowiednimi uprawnieniami.