এআই এজ ফাংশন কলিং গাইড

AI Edge Function Calling SDK (FC SDK) হল একটি লাইব্রেরি যা ডেভেলপারদের ডিভাইসে LLM ব্যবহার করে ফাংশন কলিং ব্যবহার করতে সক্ষম করে। ফাংশন কলিং আপনাকে মডেলগুলিকে বহিরাগত সরঞ্জাম এবং API-এর সাথে সংযুক্ত করতে দেয়, যা মডেলগুলিকে বাস্তব-বিশ্বের ক্রিয়া সম্পাদন করার জন্য প্রয়োজনীয় পরামিতি সহ নির্দিষ্ট ফাংশনগুলিকে কল করতে সক্ষম করে।

শুধুমাত্র টেক্সট তৈরি করার পরিবর্তে, FC SDK ব্যবহার করে একটি LLM একটি ফাংশনে একটি কাঠামোগত কল তৈরি করতে পারে যা একটি ক্রিয়া সম্পাদন করে, যেমন হালনাগাদ তথ্য অনুসন্ধান করা, অ্যালার্ম সেট করা বা সংরক্ষণ করা।

AI Edge FC SDK অ্যান্ড্রয়েডের জন্য উপলব্ধ এবং LLM ইনফারেন্স API ব্যবহার করে এটি সম্পূর্ণরূপে ডিভাইসে চালানো যেতে পারে। অ্যান্ড্রয়েড গাইড অনুসরণ করে SDK ব্যবহার শুরু করুন, যা আপনাকে ফাংশন কলিং ব্যবহার করে একটি নমুনা অ্যাপ্লিকেশনের মৌলিক বাস্তবায়নের মাধ্যমে নিয়ে যায়।

ফাংশন কলিং পাইপলাইন

ফাংশন কলিং ক্ষমতা সহ একটি অন-ডিভাইস LLM সেট আপ করার জন্য নিম্নলিখিত গুরুত্বপূর্ণ পদক্ষেপগুলি প্রয়োজন:

1. ফাংশন ঘোষণার সংজ্ঞা দিন : LLM যে ফাংশনগুলিকে কল করতে পারে তার গঠন এবং প্যারামিটারগুলি আপনার অ্যাপ্লিকেশন কোডে সংজ্ঞায়িত করতে হবে। এর মধ্যে ফাংশনের নাম, প্যারামিটার এবং প্রকারগুলি নির্দিষ্ট করা অন্তর্ভুক্ত।
2. ফরম্যাট প্রম্পট এবং আউটপুট : ইনপুট এবং আউটপুট টেক্সটে প্রাকৃতিক ভাষা এবং ফাংশন কল থাকতে পারে। একজন ফরম্যাটার নিয়ন্ত্রণ করে কিভাবে ডেটা স্ট্রাকচার স্ট্রিং থেকে স্ট্রিংয়ে রূপান্তরিত হয়, যার ফলে LLM তথ্য যথাযথভাবে ফরম্যাট করতে সক্ষম হয়।
3. পার্স আউটপুট : একটি পার্সার সনাক্ত করে যে জেনারেট করা প্রতিক্রিয়াটিতে একটি ফাংশন কল রয়েছে কিনা এবং এটিকে একটি স্ট্রাকচার্ড ডেটা টাইপে পার্স করে যাতে অ্যাপ্লিকেশনটি ফাংশন কলটি কার্যকর করতে পারে।
4. প্রতিক্রিয়া পরীক্ষা করুন : যদি পার্সার একটি ফাংশন কল সনাক্ত করে, অ্যাপ্লিকেশনটি উপযুক্ত প্যারামিটার এবং স্ট্রাকচার্ড ডেটা টাইপ সহ ফাংশনটিকে কল করে। অন্যথায়, এটি প্রাকৃতিক ভাষার পাঠ্য ফেরত দেয়।

মূল উপাদান

FC SDK-তে নিম্নলিখিত মূল উপাদানগুলি রয়েছে:

• ইনফারেন্স ব্যাকএন্ড : একটি জেনারেটিভ এআই মডেলে ইনফারেন্স চালানোর জন্য একটি ইন্টারফেস। FC SDK LiterRT (TFLite) মডেলগুলিতে ইনফারেন্স চালানোর জন্য LLM ইনফারেন্স API ব্যবহার করে। API ইনফারেন্সব্যাকএন্ড ইন্টারফেস ব্যবহার করে।
• প্রম্পট ফর্ম্যাটার : জেনারেটিভ এআই মডেলের অনুরোধ এবং প্রতিক্রিয়া ফর্ম্যাটিং করার জন্য একটি ইন্টারফেস। FC SDK একটি ফর্ম্যাটার প্রদান করে যা ফাংশন ঘোষণাগুলিকে LLM দ্বারা প্রয়োজনীয় মডেল-নির্দিষ্ট ফর্ম্যাটে রূপান্তর করে এবং সেগুলিকে সিস্টেম প্রম্পটে সন্নিবেশ করায়। ফর্ম্যাটারটি ব্যবহারকারী এবং মডেলের পরিবর্তনগুলি নির্দেশ করার জন্য মডেল-নির্দিষ্ট টোকেনগুলিও পরিচালনা করে। API মডেলফরম্যাটার ইন্টারফেস ব্যবহার করে।
• আউটপুট পার্সার : FC SDK একটি পার্সার প্রদান করে যা মডেলের আউটপুট একটি ফাংশন কলের প্রতিনিধিত্ব করে কিনা তা সনাক্ত করে এবং অ্যাপ্লিকেশন দ্বারা ব্যবহারের জন্য এটিকে একটি ডেটা স্ট্রাকচারে পার্স করে। API মডেলফরম্যাটার ইন্টারফেস ব্যবহার করে।
• সীমাবদ্ধ ডিকোডিং : জেনারেট করা আউটপুট নির্দিষ্ট নিয়ম বা শর্তাবলী মেনে চলে তা নিশ্চিত করার জন্য সীমাবদ্ধতা তৈরি এবং পরিচালনা করার জন্য একটি ইন্টারফেস। সমর্থিত মডেলগুলির জন্য, FC SDK সীমাবদ্ধ ডিকোডিং ব্যবহার করার জন্য ইনফারেন্স ব্যাকএন্ড কনফিগার করবে, যা নিশ্চিত করে যে মডেলটি কেবল বৈধ ফাংশন নাম এবং প্যারামিটার আউটপুট করে। API ConstraintProvider ইন্টারফেস ব্যবহার করে।