এআই এজ RAG গাইড

AI Edge RAG SDK LLM ইনফারেন্স API ব্যবহার করে একটি Retrieval Augmented Generation (RAG) পাইপলাইন তৈরির মৌলিক উপাদান প্রদান করে। একটি RAG পাইপলাইন LLM-গুলিকে ব্যবহারকারী-প্রদত্ত ডেটাতে অ্যাক্সেস প্রদান করে, যার মধ্যে আপডেটেড, সংবেদনশীল বা ডোমেন-নির্দিষ্ট তথ্য অন্তর্ভুক্ত থাকতে পারে। RAG থেকে অতিরিক্ত তথ্য পুনরুদ্ধার ক্ষমতার সাহায্যে, LLM নির্দিষ্ট ব্যবহারের ক্ষেত্রে আরও সঠিক এবং প্রসঙ্গ-সচেতন প্রতিক্রিয়া তৈরি করতে পারে।

AI Edge RAG SDK অ্যান্ড্রয়েডের জন্য উপলব্ধ এবং এটি সম্পূর্ণরূপে ডিভাইসে চালানো যেতে পারে। অ্যান্ড্রয়েড নির্দেশিকা অনুসরণ করে SDK ব্যবহার শুরু করুন, যা আপনাকে RAG ব্যবহার করে একটি নমুনা অ্যাপ্লিকেশনের মৌলিক বাস্তবায়নের মাধ্যমে নিয়ে যায়।

আরএজি পাইপলাইন

AI Edge RAG SDK দিয়ে একটি RAG পাইপলাইন স্থাপনের ক্ষেত্রে নিম্নলিখিত গুরুত্বপূর্ণ পদক্ষেপগুলি অন্তর্ভুক্ত রয়েছে:

1. ডেটা আমদানি করুন : আউটপুট তৈরি করার সময় LLM যে টেক্সট ডেটা ব্যবহার করবে তা প্রদান করুন।
2. ডেটা বিভক্ত করুন এবং সূচী করুন : ডাটাবেসে ইনডেক্সিংয়ের জন্য ডেটা ছোট ছোট অংশে ভেঙে দিন।
3. এম্বেডিং তৈরি করুন : ভেক্টর ডাটাবেসে সংরক্ষণের জন্য খণ্ডগুলিকে ভেক্টরাইজ করতে একটি এম্বেডার ব্যবহার করুন।
4. তথ্য পুনরুদ্ধার করুন : ব্যবহারকারীর প্রম্পট মোকাবেলা করার জন্য প্রাসঙ্গিক তথ্য কীভাবে সনাক্ত করা এবং পুনরুদ্ধার করা হয় তা নির্ধারণ করুন। প্রদত্ত প্রম্পটের জন্য, পুনরুদ্ধার উপাদান প্রাসঙ্গিক তথ্য সনাক্ত করার জন্য ভেক্টর ডাটাবেসের মাধ্যমে অনুসন্ধান করে।
5. LLM ব্যবহার করে টেক্সট তৈরি করুন : ভেক্টর ডাটাবেস থেকে প্রাপ্ত তথ্যের উপর ভিত্তি করে আউটপুট টেক্সট তৈরি করতে একটি বৃহৎ ভাষার মডেল ব্যবহার করুন।

কী মডিউল

AI Edge RAG SDK RAG পাইপলাইনের জন্য নিম্নলিখিত মূল মডিউল এবং API প্রদান করে:

• ভাষা মডেল : ওপেন-প্রম্পট API সহ LLM মডেল, হয় স্থানীয় (ডিভাইস-ভিত্তিক) অথবা সার্ভার-ভিত্তিক। APIটি LanguageModel ইন্টারফেসের উপর ভিত্তি করে তৈরি।
• টেক্সট এম্বেডিং মডেল : শব্দার্থিক অনুসন্ধানের জন্য স্ট্রাকচার্ড এবং আনস্ট্রাকচার্ড টেক্সটকে এম্বেডিং ভেক্টরে রূপান্তর করুন। APIটি এম্বেডার ইন্টারফেসের উপর ভিত্তি করে তৈরি।
• ভেক্টর স্টোর : ভেক্টর স্টোরে ডেটা খণ্ড থেকে প্রাপ্ত এম্বেডিং এবং মেটাডেটা থাকে। অনুরূপ খণ্ড বা সঠিক মিল পেতে এটি জিজ্ঞাসা করা যেতে পারে। APIটি ভেক্টরস্টোর ইন্টারফেসের উপর ভিত্তি করে তৈরি।
• সিমান্টিক মেমোরি : একটি কোয়েরি দেওয়া হলে টপ-কে প্রাসঙ্গিক অংশগুলি পুনরুদ্ধারের জন্য সিমান্টিক রিট্রিভার হিসেবে কাজ করে। APIটি সিমান্টিক মেমোরি ইন্টারফেসের উপর ভিত্তি করে তৈরি।
• টেক্সট চাঙ্কিং : ইন্ডেক্সিং সহজতর করার জন্য ব্যবহারকারীর ডেটা ছোট ছোট টুকরোতে বিভক্ত করে। APIটি টেক্সটচাঙ্কার ইন্টারফেসের উপর ভিত্তি করে তৈরি।

SDK চেইন প্রদান করে, যা একটি একক পাইপলাইনে বেশ কয়েকটি RAG উপাদানকে একত্রিত করে। আপনি পুনরুদ্ধার এবং কোয়েরি মডেলগুলিকে সাজানোর জন্য চেইন ব্যবহার করতে পারেন। APIটি চেইন ইন্টারফেসের উপর ভিত্তি করে তৈরি। শুরু করতে, পুনরুদ্ধার এবং অনুমান শৃঙ্খল বা পুনরুদ্ধার শৃঙ্খল চেষ্টা করুন।