Sách giáo khoa là tất cả những gì bạn cần (TAAYN-chan)

Ý nghĩa

Textbooks Are All You Need (Meet Taayn-chan) là một ứng dụng sách giáo khoa tương tác, cải tiến bằng ARCore, giúp cách học trở nên mới mẻ bằng cách đưa nội dung giáo dục vào cuộc sống. Ứng dụng này kết hợp công nghệ thực tế tăng cường, API Gemini và công nghệ giọng nói tiên tiến để tạo ra một môi trường học tập sống động, phù hợp với từng cá nhân và hài hước.
Cốt lõi của ứng dụng là Taayn-chan, một hình đại diện AR đóng vai trò là người hướng dẫn và gia sư thân thiện, thông minh. Hình đại diện này xuất hiện trong không gian thực của người dùng thông qua máy ảnh của thiết bị, tạo cảm giác hiện diện và tương tác. Khi người dùng đặt câu hỏi cho Taayn-chan về nội dung sách giáo khoa, Taayn-chan sẽ cung cấp câu trả lời được cá nhân hoá bằng các hình ảnh AR bật lên từ sách, giúp trải nghiệm học tập trở nên hấp dẫn và tương tác hơn.
Tính năng chính của ứng dụng là tích hợp với API Gemini, giúp hỗ trợ các tính năng AI của Taayn-chan. Tính năng chuyển lời nói sang văn bản được thực hiện cục bộ trên thiết bị bằng whisper.cpp, còn tính năng chuyển văn bản sang lời nói được cung cấp bởi API ElevenLabs, đảm bảo cuộc trò chuyện diễn ra suôn sẻ và tự nhiên.
Tính cách và kiến thức của Taayn-chan dựa trên bộ nhớ đệm ngữ cảnh tham chiếu của Gemini, chứa hướng dẫn và nội dung sách giáo khoa của cậu. Điều này cho phép anh duy trì hành vi nhất quán và cung cấp thông tin chính xác.
Hiện là một nguyên mẫu, TAAYN sử dụng sách giáo khoa và nội dung nguồn mở hoặc thuộc phạm vi công cộng, tất cả đều được sử dụng với các quyền thích hợp.