AI Edge RAG SDK LLM ইনফারেন্স API এর সাথে একটি পুনরুদ্ধার অগমেন্টেড জেনারেশন (RAG) পাইপলাইন নির্মাণের জন্য মৌলিক উপাদান প্রদান করে। একটি RAG পাইপলাইন LLM-কে ব্যবহারকারী-প্রদত্ত ডেটাতে অ্যাক্সেস প্রদান করে, যার মধ্যে আপডেট করা, সংবেদনশীল বা ডোমেন-নির্দিষ্ট তথ্য অন্তর্ভুক্ত থাকতে পারে। RAG থেকে অতিরিক্ত তথ্য পুনরুদ্ধার ক্ষমতার সাথে, LLMগুলি নির্দিষ্ট ব্যবহারের ক্ষেত্রে আরও সঠিক এবং প্রসঙ্গ-সচেতন প্রতিক্রিয়া তৈরি করতে পারে।
AI Edge RAG SDK Android এর জন্য উপলব্ধ এবং এটি সম্পূর্ণরূপে অন-ডিভাইস চালানো যেতে পারে। অ্যান্ড্রয়েড গাইড অনুসরণ করে SDK ব্যবহার শুরু করুন, যা আপনাকে RAG ব্যবহার করে একটি নমুনা অ্যাপ্লিকেশনের প্রাথমিক বাস্তবায়নের মাধ্যমে নিয়ে যায়।
RAG পাইপলাইন
AI Edge RAG SDK এর সাথে একটি RAG পাইপলাইন সেট আপ করার জন্য নিম্নলিখিত মূল পদক্ষেপগুলি রয়েছে:
- ডেটা আমদানি করুন : আউটপুট তৈরি করার সময় LLM ব্যবহার করবে এমন পাঠ্য ডেটা সরবরাহ করুন৷
- ডেটা বিভক্ত করুন এবং সূচী করুন : একটি ডাটাবেসে সূচীকরণের জন্য ডেটাকে ছোট খণ্ডে ভাঙ্গুন।
- এমবেডিং তৈরি করুন : একটি ভেক্টর ডাটাবেসে সঞ্চয় করার জন্য খণ্ডগুলিকে ভেক্টরাইজ করতে একটি এমবেডার ব্যবহার করুন।
- তথ্য পুনরুদ্ধার করুন : সংজ্ঞায়িত করুন কিভাবে প্রাসঙ্গিক তথ্য সনাক্ত করা হয় এবং ব্যবহারকারীর প্রম্পটগুলিকে সম্বোধন করার জন্য পুনরুদ্ধার করা হয়। প্রদত্ত প্রম্পটের জন্য, পুনরুদ্ধার উপাদান প্রাসঙ্গিক তথ্য সনাক্ত করতে ভেক্টর ডাটাবেসের মাধ্যমে অনুসন্ধান করে।
- LLM দিয়ে টেক্সট জেনারেট করুন : ভেক্টর ডাটাবেস থেকে প্রাপ্ত তথ্যের উপর ভিত্তি করে আউটপুট টেক্সট তৈরি করতে একটি বড় ভাষা মডেল ব্যবহার করুন।
কী মডিউল
AI Edge RAG SDK RAG পাইপলাইনের জন্য নিম্নলিখিত কী মডিউল এবং API প্রদান করে:
- ভাষা মডেল : ওপেন-প্রম্পট API সহ এলএলএম মডেল, হয় স্থানীয় (অন-ডিভাইস) বা সার্ভার-ভিত্তিক। API LanguageModel ইন্টারফেসের উপর ভিত্তি করে।
- টেক্সট এমবেডিং মডেল : স্ট্রাকচার্ড এবং আনস্ট্রাকচার্ড টেক্সটকে সিমেন্টিক সার্চের জন্য এম্বেডিং ভেক্টরে রূপান্তর করুন। এপিআই এমবেডার ইন্টারফেসের উপর ভিত্তি করে।
- ভেক্টর স্টোর : ভেক্টর স্টোর ডেটা খণ্ড থেকে প্রাপ্ত এমবেডিং এবং মেটাডেটা ধারণ করে। অনুরূপ খণ্ড বা সঠিক মিল পেতে এটি জিজ্ঞাসা করা যেতে পারে। এপিআই ভেক্টরস্টোর ইন্টারফেসের উপর ভিত্তি করে।
- শব্দার্থক মেমরি : একটি ক্যোয়ারী দেওয়া টপ-কে প্রাসঙ্গিক অংশগুলি পুনরুদ্ধার করার জন্য একটি শব্দার্থক পুনরুদ্ধারকারী হিসাবে পরিবেশন করুন৷ API SemanticMemory ইন্টারফেসের উপর ভিত্তি করে।
- টেক্সট চঙ্কিং : সূচীকরণের সুবিধার্থে ব্যবহারকারীর ডেটাকে ছোট ছোট টুকরো করে বিভক্ত করে। API টেক্সটচাঙ্কার ইন্টারফেসের উপর ভিত্তি করে।
SDK চেইন সরবরাহ করে, যা একটি একক পাইপলাইনে একাধিক RAG উপাদানকে একত্রিত করে। আপনি পুনরুদ্ধার এবং অনুসন্ধান মডেল অর্কেস্ট্রেট করতে চেইন ব্যবহার করতে পারেন। এপিআই চেইন ইন্টারফেসের উপর ভিত্তি করে। শুরু করতে, পুনরুদ্ধার এবং অনুমান চেইন বা পুনরুদ্ধার চেইন চেষ্টা করুন।