AI Edge RAG SDK, एलएलएम इन्फ़्रेंस एपीआई के साथ, रीट्रिवल ऑगमेंटेड जनरेशन (आरएजी) पाइपलाइन बनाने के लिए बुनियादी कॉम्पोनेंट उपलब्ध कराता है. आरएजी पाइपलाइन, एलएलएम को उपयोगकर्ता से मिले डेटा का ऐक्सेस देती है. इसमें अपडेट की गई, संवेदनशील या डोमेन के हिसाब से जानकारी शामिल हो सकती है. आरएजी से जानकारी पाने की अतिरिक्त सुविधाओं की मदद से, एलएलएम खास इस्तेमाल के उदाहरणों के लिए ज़्यादा सटीक और संदर्भ के हिसाब से जवाब जनरेट कर सकते हैं.
AI Edge RAG SDK, Android के लिए उपलब्ध है. इसे पूरी तरह से डिवाइस पर चलाया जा सकता है. एसडीके का इस्तेमाल शुरू करने के लिए, Android गाइड में दिए गए निर्देशों का पालन करें. इसमें, RAG का इस्तेमाल करके सैंपल ऐप्लिकेशन को लागू करने के बारे में बुनियादी जानकारी दी गई है.
आरएजी पाइपलाइन
AI Edge RAG SDK की मदद से RAG पाइपलाइन सेट अप करने के लिए, ये मुख्य चरण पूरे करने होते हैं:
- डेटा इंपोर्ट करें: टेक्स्ट वाला वह डेटा दें जिसका इस्तेमाल एलएलएम, आउटपुट जनरेट करते समय करेगा.
- डेटा को बांटना और इंडेक्स करना: डेटा को छोटे-छोटे हिस्सों में बांटकर, डेटाबेस में इंडेक्स करें.
- एंबेडिंग जनरेट करना: वेक्टर डेटाबेस में सेव करने के लिए, एम्बेडर का इस्तेमाल करके चंक को वेक्टर में बदलें.
- जानकारी पाना: यह तय करें कि उपयोगकर्ता के प्रॉम्प्ट का जवाब देने के लिए, काम की जानकारी की पहचान कैसे की जाएगी और उसे कैसे वापस पाया जाएगा. किसी दिए गए प्रॉम्प्ट के लिए, जानकारी पाने वाला कॉम्पोनेंट, वेक्टर डेटाबेस में खोज करता है, ताकि काम की जानकारी का पता लगाया जा सके.
- एलएलएम की मदद से टेक्स्ट जनरेट करना: वेक्टर डेटाबेस से मिली जानकारी के आधार पर, आउटपुट टेक्स्ट जनरेट करने के लिए लार्ज लैंग्वेज मॉडल का इस्तेमाल करें.
मुख्य मॉड्यूल
एआई एज आरएजी एसडीके, आरएजी पाइपलाइन के लिए ये मुख्य मॉड्यूल और एपीआई उपलब्ध कराता है:
- लैंग्वेज मॉडल: ओपन-प्रॉम्प्ट एपीआई वाले एलएलएम मॉडल, जो लोकल (डिवाइस पर) या सर्वर पर आधारित होते हैं. यह एपीआई, LanguageModel इंटरफ़ेस पर आधारित है.
- टेक्स्ट एम्बेडिंग मॉडल: स्ट्रक्चर्ड और अनस्ट्रक्चर्ड टेक्स्ट को सिमैंटिक सर्च के लिए एम्बेडिंग वेक्टर में बदलें. यह एपीआई, Embedder इंटरफ़ेस पर आधारित है.
- वेक्टर स्टोर: वेक्टर स्टोर में, डेटा के हिस्सों से मिले एम्बेडिंग और मेटाडेटा होते हैं. मिलते-जुलते चंक या सटीक मिलान पाने के लिए, इससे क्वेरी की जा सकती है. यह एपीआई, VectorStore इंटरफ़ेस पर आधारित है.
- सिमैंटिक मेमोरी: यह क्वेरी के आधार पर, सबसे ज़्यादा काम के टॉप-k चंक को वापस पाने के लिए, सिमैंटिक रिट्रीवर के तौर पर काम करती है. यह एपीआई, SemanticMemory इंटरफ़ेस पर आधारित है.
- टेक्स्ट चंकिंग: यह सुविधा, उपयोगकर्ता के डेटा को छोटे-छोटे हिस्सों में बांटती है, ताकि इंडेक्सिंग की प्रोसेस को आसान बनाया जा सके. यह एपीआई, TextChunker इंटरफ़ेस पर आधारित है.
SDK टूल, चेन उपलब्ध कराता है. ये चेन, RAG के कई कॉम्पोनेंट को एक ही पाइपलाइन में जोड़ती हैं. चेन का इस्तेमाल करके, डेटा वापस पाने और क्वेरी मॉडल को व्यवस्थित किया जा सकता है. यह एपीआई, Chain इंटरफ़ेस पर आधारित है. शुरू करने के लिए, जानकारी वापस पाने और अनुमान लगाने वाली चेन या जानकारी वापस पाने वाली चेन को आज़माएं.