AI Edge RAG SDK टूल, LLM इंफ़रेंस एपीआई की मदद से, रीट्रिवल ऑगमेंटेड जनरेशन (आरएजी) पाइपलाइन बनाने के लिए बुनियादी कॉम्पोनेंट उपलब्ध कराता है. आरएजी पाइपलाइन, एलएलएम को उपयोगकर्ता से मिले डेटा का ऐक्सेस देती है. इसमें अपडेट की गई, संवेदनशील या डोमेन से जुड़ी जानकारी शामिल हो सकती है. आरएजी की मदद से, जानकारी हासिल करने की नई सुविधाओं के साथ, एलएलएम, खास इस्तेमाल के उदाहरणों के लिए ज़्यादा सटीक और संदर्भ के हिसाब से जवाब जनरेट कर सकते हैं.
AI Edge RAG SDK, Android के लिए उपलब्ध है और इसे डिवाइस पर पूरी तरह से चलाया जा सकता है. Android गाइड में दिए गए निर्देशों का पालन करके, SDK टूल का इस्तेमाल शुरू करें. इसमें, RAG का इस्तेमाल करके सैंपल ऐप्लिकेशन को बुनियादी तौर पर लागू करने का तरीका बताया गया है.
RAG Pipeline
AI Edge RAG SDK टूल की मदद से, RAG पाइपलाइन सेट अप करने के लिए ये मुख्य चरण अपनाएं:
- डेटा इंपोर्ट करें: टेक्स्ट वाला ऐसा डेटा दें जिसका इस्तेमाल एलएलएम, आउटपुट जनरेट करते समय करेगा.
- डेटा को बांटना और इंडेक्स करना: डेटा को डेटाबेस में इंडेक्स करने के लिए, छोटे-छोटे हिस्सों में बांटें.
- एम्बेड जनरेट करना: वेक्टर डेटाबेस में सेव करने के लिए, चंक को वेक्टर में बदलने के लिए एम्बेडर का इस्तेमाल करें.
- जानकारी हासिल करना: बताएं कि उपयोगकर्ता के प्रॉम्प्ट का जवाब देने के लिए, काम की जानकारी की पहचान कैसे की जाती है और उसे कैसे हासिल किया जाता है. किसी प्रॉम्प्ट के लिए, रीट्रिवल कॉम्पोनेंट, काम की जानकारी की पहचान करने के लिए वेक्टर डेटाबेस में खोज करता है.
- एलएलएम की मदद से टेक्स्ट जनरेट करना: वेक्टर डेटाबेस से मिली जानकारी के आधार पर आउटपुट टेक्स्ट जनरेट करने के लिए, लार्ज लैंग्वेज मॉडल का इस्तेमाल करें.
मुख्य मॉड्यूल
AI Edge RAG SDK, RAG प्रोसेस के लिए ये मुख्य मॉड्यूल और एपीआई उपलब्ध कराता है:
- लैंग्वेज मॉडल: ये एलएलएम मॉडल, ओपन-प्रॉम्प्ट एपीआई के साथ काम करते हैं. ये स्थानीय (डिवाइस पर) या सर्वर-आधारित हो सकते हैं. यह एपीआई, LanguageModel इंटरफ़ेस पर आधारित है.
- टेक्स्ट एम्बेडिंग मॉडल: सेमैनटिक सर्च के लिए, स्ट्रक्चर्ड और अनस्ट्रक्चर्ड टेक्स्ट को एम्बेडिंग वैक्टर में बदलें. यह एपीआई, Embedder इंटरफ़ेस पर आधारित है.
- वेक्टर स्टोर: वेक्टर स्टोर में, डेटा चंक से मिले एम्बेड और मेटाडेटा सेव किए जाते हैं. मिलते-जुलते चंक या एग्ज़ैक्ट मैच पाने के लिए, इसकी क्वेरी की जा सकती है. यह एपीआई, VectorStore इंटरफ़ेस पर आधारित है.
- सिमेंटिक मेमोरी: किसी क्वेरी के हिसाब से, सबसे ज़्यादा काम के टुकड़े पाने के लिए, सिमेंटिक रीट्रिवर के तौर पर काम करता है. यह एपीआई, SemanticMemory इंटरफ़ेस पर आधारित है.
- टेक्स्ट को छोटे-छोटे हिस्सों में बांटना: इंडेक्स करने में आसानी हो, इसके लिए उपयोगकर्ता के डेटा को छोटे-छोटे हिस्सों में बांटता है. यह एपीआई, TextChunker इंटरफ़ेस पर आधारित है.
SDK टूल, चेन उपलब्ध कराता है. यह चेन, एक ही लाइन में कई RAG कॉम्पोनेंट को जोड़ती है. डेटा को वापस पाने और क्वेरी मॉडल को ऑर्केस्ट्रेट करने के लिए, चेन का इस्तेमाल किया जा सकता है. यह एपीआई, Chain इंटरफ़ेस पर आधारित है. शुरू करने के लिए, डेटा हासिल करने और अनुमान लगाने की चेन या डेटा हासिल करने की चेन आज़माएं.