Textbooks Are All You Need (TAAYN-chan)

وظيفتها

Textbooks Are All You Need (Meet Taayn-chan) هو تطبيق كتب دراسية تفاعلي مبتكر ومُحسَّن باستخدام ARCore، ويُحدث ثورة في التعلّم من خلال تحويل المحتوى التعليمي إلى واقع. يجمع التطبيق بين الواقع المعزّز وواجهة برمجة التطبيقات Gemini API وتكنولوجيا الصوت المتقدّمة لإنشاء بيئة تعليمية ممتعة ومخصّصة ومضحكة.
يعرض التطبيق في الأساس شخصية "تاين-شان"، وهي رمز بديل للواقع المعزّز يعمل كمعلّم ودليل ودود وذكي. تظهر هذه الصورة الرمزية في المساحة المادية للمستخدم من خلال كاميرا جهازه، ما يخلق شعورًا بالحضور والتفاعل. عندما يطرح المستخدمون أسئلة على "تاين تشان" حول محتوى الكتاب المدرسي، يقدّم إجابات مخصّصة باستخدام أشكال الواقع المعزّز التي تظهر من الكتاب، ما يجعل تجربة التعلّم أكثر تفاعلاً وتشويقًا.
تتمثل الميزة الرئيسية للتطبيق في دمجه مع Gemini API، ما يعزّز إمكانات الذكاء الاصطناعي في "تاين تشان". يتم تنفيذ ميزة تحويل الكلام إلى نص على الجهاز باستخدام whisper.cpp، بينما توفّر ElevenLabs API ميزة تحويل النص إلى كلام، ما يضمن إجراء محادثات سلسة وطبيعية.
تستند شخصية "تاين-شان" وخبراته إلى ذاكرة تخزين مؤقت للسياق المرجعي من Gemini تحتوي على تعليماته ومحتوى الكتب المدرسية. ويسمح له ذلك بالحفاظ على سلوك متّسق وتقديم معلومات دقيقة.
يستخدم TAAYN حاليًا الكتب المدرسية والمحتوى المفتوح المصدر أو المحتوى المتاح للجميع، ويتم استخدام كل ذلك باستخدام الأذونات المناسبة.