এআই এজ RAG গাইড

AI Edge RAG SDK, LLM Inference API ব্যবহার করে একটি Retrieval Augmented Generation (RAG) পাইপলাইন তৈরি করার জন্য প্রয়োজনীয় মৌলিক উপাদানসমূহ প্রদান করে। একটি RAG পাইপলাইন LLM-কে ব্যবহারকারীর দেওয়া ডেটা ব্যবহারের সুযোগ করে দেয়, যার মধ্যে হালনাগাদকৃত, সংবেদনশীল বা ডোমেন-নির্দিষ্ট তথ্য অন্তর্ভুক্ত থাকতে পারে। RAG থেকে প্রাপ্ত অতিরিক্ত তথ্য পুনরুদ্ধার ক্ষমতার সাহায্যে, LLM নির্দিষ্ট ব্যবহারের ক্ষেত্রগুলোর জন্য আরও নির্ভুল এবং প্রাসঙ্গিক-সচেতন প্রতিক্রিয়া তৈরি করতে পারে।

AI Edge RAG SDK অ্যান্ড্রয়েডের জন্য উপলব্ধ এবং এটি ডিভাইসেই সম্পূর্ণরূপে চালানো যায়। অ্যান্ড্রয়েড গাইডটি অনুসরণ করে SDK-টি ব্যবহার শুরু করুন, যেখানে RAG ব্যবহার করে একটি নমুনা অ্যাপ্লিকেশনের প্রাথমিক বাস্তবায়ন ধাপে ধাপে দেখানো হয়েছে।

RAG পাইপলাইন

AI Edge RAG SDK ব্যবহার করে একটি RAG পাইপলাইন সেট আপ করার জন্য নিম্নলিখিত প্রধান ধাপগুলো অনুসরণ করতে হয়:

1. ডেটা আমদানি করুন : সেই পাঠ্য ডেটা প্রদান করুন যা এলএলএম আউটপুট তৈরি করার সময় ব্যবহার করবে।
2. ডেটা বিভক্ত ও সূচীবদ্ধ করুন : ডাটাবেসে সূচীবদ্ধ করার জন্য ডেটাকে ছোট ছোট খণ্ডে বিভক্ত করুন।
3. এমবেডিং তৈরি করুন : একটি ভেক্টর ডেটাবেসে সংরক্ষণের জন্য চাঙ্কগুলোকে ভেক্টরাইজ করতে একটি এমবেডার ব্যবহার করুন।
4. তথ্য পুনরুদ্ধার : ব্যবহারকারীর অনুরোধের উত্তর দেওয়ার জন্য প্রাসঙ্গিক তথ্য কীভাবে শনাক্ত ও পুনরুদ্ধার করা হবে তা নির্ধারণ করুন। একটি নির্দিষ্ট অনুরোধের জন্য, পুনরুদ্ধারকারী অংশটি প্রাসঙ্গিক তথ্য শনাক্ত করতে ভেক্টর ডেটাবেসে অনুসন্ধান করে।
5. এলএলএম (LLM) দিয়ে টেক্সট তৈরি করুন : ভেক্টর ডেটাবেস থেকে প্রাপ্ত তথ্যের উপর ভিত্তি করে আউটপুট টেক্সট তৈরি করতে একটি বৃহৎ ল্যাঙ্গুয়েজ মডেল ব্যবহার করুন।

মূল মডিউলগুলি

AI Edge RAG SDK, RAG পাইপলাইনের জন্য নিম্নলিখিত মূল মডিউল এবং API-গুলো প্রদান করে:

• ল্যাঙ্গুয়েজ মডেল : ওপেন-প্রম্পট এপিআই সহ এলএলএম মডেল, যা স্থানীয় (ডিভাইসে) অথবা সার্ভার-ভিত্তিক হতে পারে। এই এপিআইটি ল্যাঙ্গুয়েজমডেল ইন্টারফেসের উপর ভিত্তি করে তৈরি।
• টেক্সট এমবেডিং মডেল : সিমান্টিক সার্চের জন্য স্ট্রাকচার্ড এবং আনস্ট্রাকচার্ড টেক্সটকে এমবেডিং ভেক্টরে রূপান্তর করুন। এই এপিআইটি এমবেডার ইন্টারফেসের উপর ভিত্তি করে তৈরি।
• ভেক্টর স্টোর : ভেক্টর স্টোর ডেটা চাঙ্ক থেকে প্রাপ্ত এমবেডিং এবং মেটাডেটা ধারণ করে। অনুরূপ চাঙ্ক বা হুবহু মিল খুঁজে বের করার জন্য এটি কোয়েরি করা যায়। এর এপিআইটি VectorStore ইন্টারফেসের উপর ভিত্তি করে তৈরি।
• সিমান্টিক মেমোরি : একটি কোয়েরির ভিত্তিতে শীর্ষ-k প্রাসঙ্গিক অংশ পুনরুদ্ধার করার জন্য একটি সিমান্টিক রিট্রিভার হিসেবে কাজ করে। এই এপিআইটি SemanticMemory ইন্টারফেসের উপর ভিত্তি করে তৈরি।
• টেক্সট চাংকিং : ইন্ডেক্সিং সহজ করার জন্য ব্যবহারকারীর ডেটাকে ছোট ছোট অংশে বিভক্ত করে। এই এপিআইটি টেক্সটচাঙ্কার ইন্টারফেসের উপর ভিত্তি করে তৈরি।

এসডিকে-টি চেইন প্রদান করে, যা একাধিক RAG কম্পোনেন্টকে একটি একক পাইপলাইনে একত্রিত করে। আপনি রিট্রিভাল এবং কোয়েরি মডেল অর্কেস্ট্রেট করতে চেইন ব্যবহার করতে পারেন। এপিআই-টি চেইন ইন্টারফেসের উপর ভিত্তি করে তৈরি। শুরু করার জন্য, রিট্রিভাল অ্যান্ড ইনফারেন্স চেইন অথবা রিট্রিভাল চেইন ব্যবহার করে দেখুন।