Учебники — это все, что тебе нужно (TAAYN-chan)

Что он делает

Textbooks Are All You Need (знакомьтесь с Taayn-chan) — это инновационное интерактивное приложение-учебник на базе ARCore, которое производит революцию в обучении, оживляя образовательный контент. Приложение сочетает дополненную реальность, API Gemini и передовые голосовые технологии для создания иммерсивной, персонализированной и юмористической среды обучения.
В основе приложения лежит Taayn-chan, аватар дополненной реальности, который выступает в роли дружелюбного, умного наставника и гида. Этот аватар появляется в физическом пространстве пользователя через камеру его устройства, создавая ощущение присутствия и вовлеченности. Когда пользователи задают Taayn-chan вопросы о содержании учебника, он дает персонализированные ответы с помощью фигур дополненной реальности, которые выскакивают из книги, делая процесс обучения более увлекательным и интерактивным.
Ключевой особенностью приложения является его интеграция с API Gemini, который обеспечивает возможности искусственного интеллекта Taayn-chan. Речевой текст выполняется локально на устройстве с помощью whisper.cpp, в то время как текстовый текст предоставляется API ElevenLabs, что обеспечивает плавные и естественные разговоры.
Личность и знания Таайн-чана основаны на кэше контекста ссылок от Gemini, содержащем его инструкции и содержание учебника. Это позволяет ему поддерживать последовательное поведение и точную подачу информации.
В настоящее время TAAYN находится на этапе прототипа и использует учебники и контент, которые либо являются открытым исходным кодом, либо находятся в общественном достоянии, и все они используются с соответствующими разрешениями.