Textbooks Are All You Need (TAAYN-chan)

यह क्या करता है

Textbooks Are All You Need (Meet Taayn-chan), ARCore की मदद से बेहतर बनाया गया एक नया इंटरैक्टिव टेक्स्टबुक ऐप्लिकेशन है. यह शिक्षा से जुड़े कॉन्टेंट को ज़िंदा बनाकर, सीखने-सिखाने के तरीके में क्रांति लाता है. इस ऐप्लिकेशन में ऑगमेंटेड रिएलिटी (एआर), Gemini API, और बेहतर आवाज़ की पहचान करने वाली टेक्नोलॉजी का इस्तेमाल किया गया है. इससे, इस ऐप्लिकेशन में सीखने का माहौल मज़ेदार, दिलचस्प, और उपयोगकर्ता के हिसाब से बनाया गया है.
इस ऐप्लिकेशन में Taayn-chan नाम का एक एआर अवतार है, जो एक दोस्ताना, बुद्धिमान ट्यूटर और गाइड के तौर पर काम करता है. यह अवतार, उपयोगकर्ता के डिवाइस के कैमरे की मदद से, उसके फ़िज़िकल स्पेस में दिखता है. इससे, उपयोगकर्ता को यह महसूस होता है कि वह मीटिंग में मौजूद है और उसमें दिलचस्पी ले रहा है. जब उपयोगकर्ता, Taayn-chan से टेक्स्टबुक के कॉन्टेंट के बारे में सवाल पूछते हैं, तो वह किताब से पॉप-आउट होने वाले एआर फ़िगर की मदद से, उनके हिसाब से जवाब देता है. इससे, सीखने का अनुभव ज़्यादा दिलचस्प और इंटरैक्टिव बन जाता है.
ऐप्लिकेशन की मुख्य सुविधा, Gemini API के साथ इंटिग्रेशन है. इससे Taayn-chan में एआई की सुविधाएं काम करती हैं. बोली को टेक्स्ट में बदलने की सुविधा, डिवाइस पर ही whisper.cpp का इस्तेमाल करके दी जाती है. वहीं, टेक्स्ट को बोली में बदलने की सुविधा, ElevenLabs API की मदद से दी जाती है. इससे, आसानी से और स्वाभाविक तरीके से बातचीत की जा सकती है.
Taayn-chan की शैली और जानकारी, Gemini के रेफ़रंस कॉन्टेक्स्ट कैश मेमोरी पर आधारित होती है. इसमें उसके निर्देश और टेक्स्टबुक का कॉन्टेंट शामिल होता है. इससे, यह रोबोट एक जैसा व्यवहार करता है और सही जानकारी देता है.
फ़िलहाल, TAAYN एक प्रोटोटाइप है. यह ओपन-सोर्स या सार्वजनिक डोमेन वाली किताबों और कॉन्टेंट का इस्तेमाल करता है. इनका इस्तेमाल, ज़रूरी अनुमतियों के साथ किया जाता है.