Textbooks Are All You Need (TAAYN-chan)

作用

Textbooks Are All You Need（Meet Taayn-chan）是一款创新的 ARCore 增强型互动式教科书应用，通过让教育内容变得生动有趣，彻底改变了学习方式。该应用结合了增强现实、Gemini API 和先进的语音技术，打造了沉浸式、个性化且富有趣味的学习环境。
该应用的核心是 Taayn-chan，这是一个 AR 化身，可充当友好、智能的教师和导师。此头像会通过用户设备的摄像头显示在用户的物理空间中，从而营造出一种身临其境和互动感。当用户向 Taayn-chan 提出有关教科书内容的问题时，他会提供个性化回答，并在回答中使用从书本中弹出的 AR 人物，从而让学习体验更具吸引力和互动性。
该应用的一大特色是与 Gemini API 的集成，该 API 为 Taayn-chan 的 AI 功能提供支持。系统使用 whisper.cpp 在设备本地执行语音转文字，而 ElevenLabs API 提供语音转文字，从而确保对话顺畅自然。
Taayn-chan 的个性和知识基于 Gemini 中的参考上下文缓存，其中包含他的指令和教科书内容。这样，他就可以保持一致的行为并准确传达信息。
目前，TAAYN 只是一个原型，它使用的教科书和内容均为开源或公共领域内容，并且均已获得适当的使用权限。