Textbooks Are All You Need (TAAYN-chan)

การทำงาน

Textbooks Are All You Need (Meet Taayn-chan) เป็นแอปหนังสือเรียนแบบอินเทอร์แอกทีฟที่ปรับปรุงด้วย ARCore ซึ่งจะปฏิวัติการเรียนรู้ด้วยการนำเนื้อหาทางการศึกษามาสู่ชีวิต แอปนี้รวมเทคโนโลยีความจริงเสริม, Gemini API และเทคโนโลยีเสียงขั้นสูงเข้าด้วยกันเพื่อสร้างสภาพแวดล้อมการเรียนรู้ที่สมจริง ปรับเปลี่ยนในแบบของคุณ และสนุกสนาน
หัวใจหลักของแอปคือ Taayn-chan ซึ่งเป็นอวาตาร์ AR ที่ทำหน้าที่เป็นติวเตอร์และไกด์ที่ฉลาดและใจดี โดยรูปโปรไฟล์นี้จะปรากฏในพื้นที่จริงของผู้ใช้ผ่านกล้องของอุปกรณ์ ซึ่งสร้างความรู้สึกถึงการมีอยู่และการมีส่วนร่วม เมื่อผู้ใช้ถามคำถามเกี่ยวกับเนื้อหาตำราเรียน Taayn-chan จะตอบคำถามที่ปรับให้เหมาะกับผู้ใช้ด้วยรูปภาพ AR ที่ปรากฏขึ้นจากหนังสือ ทำให้ประสบการณ์การเรียนรู้มีความน่าสนใจและโต้ตอบมากขึ้น
ฟีเจอร์หลักของแอปคือการผสานรวมกับ Gemini API ซึ่งช่วยเพิ่มศักยภาพ AI ของ Taayn-chan การแปลงคำพูดเป็นข้อความจะดำเนินการในอุปกรณ์โดยใช้ whisper.cpp ส่วนการอ่านออกเสียงข้อความมาจาก ElevenLabs API เพื่อให้การสนทนาเป็นไปอย่างราบรื่นและเป็นธรรมชาติ
บุคลิกและความรู้ของ Taayn-chan นั้นอิงตามแคชบริบทอ้างอิงจาก Gemini ซึ่งมีวิธีการและเนื้อหาตำราของเขา ซึ่งช่วยให้เขาคงลักษณะการทำงานที่สอดคล้องกันและการส่งข้อมูลที่ถูกต้องได้
ปัจจุบัน TAAYN เป็นโปรโตไทป์ที่ใช้ตำราเรียนและเนื้อหาที่เป็นโอเพนซอร์สหรืออยู่ในสาธารณสมบัติ โดยทั้งหมดใช้สิทธิ์ที่เหมาะสม