교과서만 있으면 돼 (TAAYN-chan)

기능

Textbooks Are All You Need (Meet Taayn-chan)는 교육 콘텐츠에 생명력을 불어넣어 학습에 혁신을 일으키는 혁신적인 ARCore 기반 양방향 교과서 앱입니다. 이 앱은 증강 현실, Gemini API, 고급 음성 기술을 결합하여 몰입도 높고 맞춤설정된 유머러스한 학습 환경을 제공합니다.
앱의 핵심은 친절하고 지적인 튜터이자 가이드 역할을 하는 AR 아바타인 타인짱입니다. 이 아바타는 기기의 카메라를 통해 사용자의 실제 공간에 표시되어 존재감과 참여도를 높입니다. 사용자가 교과서 콘텐츠에 관해 질문하면 Taayn-chan이 책에서 튀어나오는 AR 인형을 통해 맞춤설정된 답변을 제공하여 학습 환경을 더욱 매력적이고 양방향적으로 만듭니다.
이 앱의 핵심 기능은 Taayn-chan의 AI 기능을 지원하는 Gemini API와의 통합입니다. 음성 텍스트 변환은 whisper.cpp를 사용하여 기기에서 로컬로 실행되며, 텍스트 음성 변환은 ElevenLabs API에서 제공하므로 원활하고 자연스러운 대화를 보장할 수 있습니다.
Taayn-chan의 성격과 지식은 안내와 교과서 콘텐츠가 포함된 Gemini의 참조 컨텍스트 캐시를 기반으로 합니다. 이를 통해 일관된 동작과 정확한 정보 전달을 유지할 수 있습니다.
현재 프로토타입인 TAAYN은 오픈소스 또는 퍼블릭 도메인에 속하며 모두 적절한 권한으로 사용되는 교과서와 콘텐츠를 사용합니다.