Textbooks Are All You Need (TAAYN-chan)

Ne işe yarar?

Textbooks Are All You Need (Meet Taayn-chan), eğitim içeriklerini canlandırarak öğrenmede devrim yaratan, ARCore ile geliştirilmiş yenilikçi bir etkileşimli ders kitabı uygulamasıdır. Uygulama, artırılmış gerçekliği, Gemini API'yi ve gelişmiş ses teknolojisini birleştirerek sürükleyici, kişiselleştirilmiş ve eğlenceli bir öğrenme ortamı oluşturur.
Uygulamanın merkezinde, arkadaş canlısı, akıllı bir eğitmen ve rehber olarak hizmet veren AR avatarı Taayn-chan yer alır. Bu avatar, kullanıcının cihazının kamerası aracılığıyla kullanıcının fiziksel alanında gösterilerek varlık ve etkileşim hissi yaratır. Kullanıcılar Taayn-chan'a ders kitabı içeriği hakkında soru sorduğunda, Taayn-chan kitaptan çıkan AR figürlerle kişiselleştirilmiş yanıtlar vererek öğrenme deneyimini daha ilgi çekici ve etkileşimli hale getirir.
Uygulamanın en önemli özelliği, Taayn-chan'ın yapay zeka özelliklerini destekleyen Gemini API ile entegrasyonudur. Sesli metne dönüştürme işlemi, whisper.cpp kullanılarak cihazda yerel olarak gerçekleştirilirken metni sese dönüştürme işlemi ElevenLabs API tarafından sağlanır. Bu sayede sorunsuz ve doğal bir konuşma deneyimi sunulur.
Taayn-chan'ın kişiliği ve bilgisi, talimatlarını ve ders kitabı içeriklerini içeren Gemini referans bağlam önbelleğini temel alır. Bu sayede tutarlı bir davranış sergileyebilir ve doğru bilgiler verebilir.
Henüz prototip aşamasında olan TAAYN, açık kaynak veya herkese açık olan ders kitaplarını ve içerikleri kullanır. Bu içeriklerin tümü uygun izinlerle kullanılır.