Textbooks Are All You Need (TAAYN-chan)

תיאור

Textbooks Are All You Need (Meet Taayn-chan) היא אפליקציה חדשנית של ספרי לימוד אינטראקטיביים עם תמיכה ב-ARCore, שמציגה תוכן חינוכי בצורה חיה ומהפכה את אופן הלמידה. האפליקציה משלבת מציאות רבודה, את ממשק ה-API של Gemini וטכנולוגיית קול מתקדמת כדי ליצור סביבה לימודית מעשירה, מותאמת אישית ומצחיקה.
במרכז האפליקציה נמצאת Taayn-chan, אווטאר ב-AR שמשמשת כמורה ומדריכה חכמה וידידותית. הדמות הזו מופיעה במרחב הפיזי של המשתמש באמצעות מצלמת המכשיר שלו, ויוצרת תחושה של נוכחות והתעניינות. כשמשתמשים שואלים את Taayn-chan שאלות על תוכן הלימוד, הוא מספק תשובות מותאמות אישית עם דמויות ב-AR שצצות מהספר, וכך חוויית הלמידה הופכת למעניינת ואינטראקטיבית יותר.
התכונה העיקרית של האפליקציה היא השילוב שלה עם Gemini API, שמפעיל את יכולות ה-AI של Taayn-chan. המרת הדיבור לטקסט מתבצעת באופן מקומי במכשיר באמצעות whisper.cpp, וההמרה של טקסט לדיבור מתבצעת על ידי ElevenLabs API, כדי להבטיח שיחות חלקות וטבעיות.
האופי והידע של Taayn-chan מבוססים על מטמון הקשר של Gemini שמכיל את ההוראות שלו ואת תוכן ספרי הלימוד. כך הוא יכול לשמור על התנהגות עקבית ולהעביר מידע מדויק.
נכון לעכשיו, TAAYN הוא אב טיפוס שמשתמש בספרי לימוד ובתוכן בקוד פתוח או בתוכן שזמין לציבור, והשימוש בכל הפריטים האלה מתבצע עם ההרשאות המתאימות.