AI এজ টর্চ জেনারেটিভ API হল একটি মোবাইল-অপ্টিমাইজ করা লাইব্রেরি যা ট্রান্সফরমার-ভিত্তিক PyTorch মডেলগুলিকে TF Lite ফর্ম্যাটে রূপান্তর করার জন্য, যা আপনাকে TF Lite এবং MediaPipe-এর সাথে ডিভাইসে ইমেজ এবং টেক্সট জেনারেশনের জন্য বড় ল্যাঙ্গুয়েজ মডেলগুলি (LLMs) রূপান্তর করতে সক্ষম করে। পরিকল্পিত GPU এবং NPU সমর্থন সহ AI এজ টর্চ জেনারেটিভ এপিআই বর্তমানে শুধুমাত্র সিপিইউ।
মোবাইল অ্যাপ ডেভেলপাররা এজ জেনারেটিভ API ব্যবহার করতে পারে PyTorch LLM-কে MediaPipe LLM ইনফারেন্স API- এর সাথে একীভূত করতে এমন অ্যাপ তৈরি করতে যা সেই রূপান্তরিত PyTorch মডেলগুলিকে সম্পূর্ণরূপে ডিভাইসে চালায়।
আরও তথ্যের জন্য, জেনারেটিভ টর্চ API GitHub রেপো দেখুন।