জেনারেটিভ PyTorch মডেল রূপান্তর করুন

AI Edge Torch Generative API হল ট্রান্সফরমার-ভিত্তিক PyTorch মডেলগুলিকে LiterRT ফর্ম্যাটে রূপান্তর করার জন্য একটি লাইব্রেরি, যা আপনাকে Litert-LM ব্যবহার করে ডিভাইসে ছবি এবং টেক্সট জেনারেশনের জন্য লার্জ ল্যাঙ্গুয়েজ মডেল (LLM) রূপান্তর করতে সক্ষম করে। AI Edge Torch Generative API বর্তমানে CPU এবং GPU সমর্থন করে, পরিকল্পিত NPU সমর্থন সহ।

ডেভেলপাররা জেনারেটিভ API ব্যবহার করে PyTorch LLM-গুলিকে LiteRT-LM- এর সাথে একীভূত করতে পারেন যাতে এমন অ্যাপ তৈরি করা যায় যা রূপান্তরিত PyTorch মডেলগুলিকে সম্পূর্ণরূপে ডিভাইসে চালায়।

আরও তথ্যের জন্য, জেনারেটিভ টর্চ API GitHub রেপো দেখুন।