Textbooks Are All You Need (TAAYN-chan)

Fungsinya

Textbooks Are All You Need (Meet Taayn-chan) adalah aplikasi buku teks interaktif inovatif yang ditingkatkan dengan ARCore yang merevolusi pembelajaran dengan menghidupkan konten pendidikan. Aplikasi ini menggabungkan augmented reality, Gemini API, dan teknologi suara lanjutan untuk menciptakan lingkungan belajar yang imersif, dipersonalisasi, dan lucu.
Pada intinya, aplikasi ini menampilkan Taayn-chan, avatar AR yang berfungsi sebagai tutor dan pemandu yang ramah dan cerdas. Avatar ini muncul di ruang fisik pengguna melalui kamera perangkat mereka, sehingga menciptakan rasa kehadiran dan interaksi. Saat pengguna mengajukan pertanyaan kepada Taayn-chan tentang konten buku teks, ia memberikan jawaban yang dipersonalisasi dengan figur AR yang muncul dari buku, sehingga pengalaman belajar menjadi lebih menarik dan interaktif.
Fitur utama aplikasi ini adalah integrasinya dengan Gemini API, yang mendukung kemampuan AI Taayn-chan. Speech-to-text dilakukan secara lokal di perangkat menggunakan whisper.cpp, sedangkan text-to-speech disediakan oleh ElevenLabs API, sehingga memastikan percakapan yang lancar dan alami.
Kepribadian dan pengetahuan Taayn-chan didasarkan pada cache konteks referensi dari Gemini yang berisi petunjuknya dan konten buku teks. Hal ini memungkinkannya mempertahankan perilaku yang konsisten dan pengiriman informasi yang akurat.
Saat ini masih berupa prototipe, TAAYN menggunakan buku teks dan konten yang bersifat open source atau dalam domain publik, semuanya digunakan dengan izin yang sesuai.