এই নথিতে Google AI Edge Gallery অ্যাপ এবং MediaPipe LLM ইনফারেন্স API ব্যবহার করা সহ মোবাইল ডিভাইসে জেমা মডেল স্থাপন এবং চালানোর জন্য বিভিন্ন পদ্ধতি এবং সরঞ্জামের রূপরেখা দেওয়া হয়েছে।
একটি LiteRT সংস্করণে একটি সূক্ষ্ম-টিউনড জেমা মডেল রূপান্তর করার তথ্যের জন্য, রূপান্তর নির্দেশিকা দেখুন।
গুগল এআই এজ গ্যালারি অ্যাপ
এলএলএম ইনফারেন্স এপিআইগুলি কার্যকর দেখতে এবং আপনার টাস্ক বান্ডেল মডেল পরীক্ষা করতে, আপনি Google AI এজ গ্যালারি অ্যাপটি ব্যবহার করতে পারেন। এই অ্যাপটি অন-ডিভাইস এলএলএম-এর সাথে ইন্টারঅ্যাক্ট করার জন্য একটি ইউজার ইন্টারফেস প্রদান করে, আপনাকে এটি করার অনুমতি দেয়:
- মডেল আমদানি করুন: অ্যাপে আপনার কাস্টম
.taskমডেল লোড করুন। - পরামিতি কনফিগার করুন: তাপমাত্রা এবং টপ-কে মত সেটিংস সামঞ্জস্য করুন।
- টেক্সট তৈরি করুন: ইনপুট প্রম্পট এবং মডেলের প্রতিক্রিয়া দেখুন।
- পরীক্ষা কর্মক্ষমতা: মডেলের গতি এবং নির্ভুলতা মূল্যায়ন করুন।
আপনার নিজস্ব মডেল আমদানি করার নির্দেশাবলী সহ Google AI Edge Gallery অ্যাপটি কীভাবে ব্যবহার করবেন সে সম্পর্কে বিস্তারিত গাইডের জন্য, অ্যাপের ডকুমেন্টেশন পড়ুন।
মিডিয়াপাইপ এলএলএম
আপনি MediaPipe LLM ইনফারেন্স API এর সাথে মোবাইল ডিভাইসে জেমা মডেল চালাতে পারেন। LLM ইনফারেন্স এপিআই বৃহৎ ভাষার মডেলগুলির জন্য একটি মোড়ক হিসাবে কাজ করে, আপনাকে তথ্য পুনরুদ্ধার, ইমেল খসড়া তৈরি এবং নথির সংক্ষিপ্তকরণের মতো সাধারণ পাঠ্য-থেকে-টেক্সট প্রজন্মের কাজের জন্য ডিভাইসে জেমা মডেলগুলি চালাতে সক্ষম করে।
LLM ইনফারেন্স API নিম্নলিখিত মোবাইল প্ল্যাটফর্মগুলিতে উপলব্ধ:
আরও জানতে, MediaPipe LLM ইনফারেন্স ডকুমেন্টেশন পড়ুন।