کتاب های درسی تمام چیزی هستند که شما نیاز دارید (TAAYN-chan)

کاری که انجام می دهد

کتاب‌های درسی همه آن چیزی هستند که نیاز دارید (با Taayn-chan) یک برنامه کتاب درسی تعاملی با ARCore است که با زنده کردن محتوای آموزشی انقلابی در یادگیری ایجاد می‌کند. این برنامه واقعیت افزوده، API Gemini و فناوری صدای پیشرفته را برای ایجاد یک محیط یادگیری فراگیر، شخصی و طنز آمیز ترکیب می کند.
این برنامه در هسته خود دارای Taayn-chan است، یک آواتار AR که به عنوان یک معلم و راهنمای دوستانه و هوشمند عمل می کند. این آواتار از طریق دوربین دستگاه خود در فضای فیزیکی کاربر ظاهر می شود و حس حضور و درگیری را ایجاد می کند. هنگامی که کاربران در مورد محتوای کتاب درسی سؤالاتی از Taayn-chan می پرسند، او پاسخ های شخصی سازی شده با ارقام AR را ارائه می دهد که از کتاب بیرون می آیند و تجربه یادگیری را جذاب تر و تعاملی تر می کند.
ویژگی کلیدی این اپلیکیشن، ادغام آن با Gemini API است که قابلیت‌های هوش مصنوعی Taayn-chan را تقویت می‌کند. گفتار به نوشتار به صورت محلی روی دستگاه با استفاده از whisper.cpp انجام می‌شود، در حالی که تبدیل متن به گفتار توسط ElevenLabs API ارائه می‌شود و مکالمه‌های نرم و طبیعی را تضمین می‌کند.
شخصیت و دانش Taayn-chan بر اساس یک حافظه پنهان زمینه مرجع از Gemini است که حاوی دستورالعمل‌های او و محتوای کتاب درسی است. این به او اجازه می دهد تا رفتار ثابت و ارائه اطلاعات دقیق را حفظ کند.
TAAYN که در حال حاضر یک نمونه اولیه است، از کتاب‌های درسی و محتوایی استفاده می‌کند که منبع باز یا در حوزه عمومی هستند و همه با مجوزهای مناسب استفاده می‌شوند.