Textbooks Are All You Need（TAAYN-chan）

機能

教科書だけでいい（Meet Taayn-chan）は、ARCore を活用した革新的なインタラクティブな教科書アプリです。教育コンテンツを仮想オブジェクトとして実体化することで、学習に革命をもたらします。このアプリは、拡張現実、Gemini API、高度な音声技術を組み合わせて、没入感のあるパーソナライズされたユーモラスな学習環境を実現しています。
アプリの中心となるのは、親しみやすく知的なチューター兼ガイドとして機能する AR アバター、Taayn ちゃんです。このアバターは、デバイスのカメラを通じてユーザーの物理空間に表示され、臨場感とエンゲージメントを生み出します。ユーザーが教科書の内容について Taayn-chan に質問すると、Taayn-chan は、書籍から飛び出す AR フィギュアを使ってパーソナライズされた回答を提供し、学習体験をより魅力的でインタラクティブなものにします。
このアプリの重要な機能は、Gemini API との統合です。この API により、Taayn-chan の AI 機能が強化されています。音声文字変換は whisper.cpp を使用してデバイス上でローカルに実行され、テキスト読み上げは ElevenLabs API によって提供されるため、スムーズで自然な会話が可能です。
Taayn-chan の性格と知識は、Gemini の参照コンテキスト キャッシュに基づいています。このキャッシュには、Taayn-chan の指示と教科書の内容が含まれています。これにより、一貫した動作と正確な情報提供を維持できます。
現在プロトタイプである TAAYN は、オープンソースまたはパブリック ドメインの教科書とコンテンツを使用しており、すべて適切な権限で使用されています。