教科書就是你所需的一切 (TAAYN-chan)

用途

Textbooks Are All You Need (Meet Taayn-chan) 是一款創新的 ARCore 互動式教科書應用程式，透過讓教育內容「活起來」，徹底改變學習方式。這個應用程式結合了擴增實境、Gemini API 和先進語音技術，打造出充滿互動、個人化且幽默的學習環境。
這個應用程式的核心功能是 Taayn-chan，這是一個可提供友善、智慧教學和導覽服務的擴增實境虛擬人物。這個顯示圖片會透過裝置的相機顯示在使用者的實體空間中，營造出一種臨在感和互動感。當使用者向 Taayn-chan 詢問課本內容時，他會透過書中彈出的擴增實境人物提供個人化答案，讓學習體驗更具互動性和吸引力。
應用程式的主要特色是整合 Gemini API，為 Taayn-chan 提供 AI 功能。系統會使用 whisper.cpp 在裝置上執行語音轉文字，而 ElevenLabs API 則提供文字轉語音功能，確保對話流暢自然。
Taayn-chan 的個性和知識取決於 Gemini 的參考情境快取，其中包含他的指示和課本內容。這樣一來，他就能維持一致的行為，並提供正確的資訊。
TAAYN 目前是原型產品，使用的是開放原始碼或公共領域的課本和內容，且皆已取得適當授權。