AI এজ টর্চ হল একটি লাইব্রেরি যা আপনাকে PyTorch মডেলগুলিকে একটি .tflite ফর্ম্যাটে রূপান্তর করতে দেয়, আপনাকে সেই মডেলগুলিকে LiteRT এবং MediaPipe দিয়ে চালাতে সক্ষম করে৷ এটি বিশেষত মোবাইল অ্যাপ তৈরির ডেভেলপারদের জন্য সহায়ক যা সম্পূর্ণরূপে ডিভাইসে মডেল চালায়। এআই এজ টর্চ প্রাথমিক GPU এবং NPU সমর্থন সহ বিস্তৃত CPU কভারেজ অফার করে।
PyTorch মডেলগুলিকে LiteRT তে রূপান্তর করা শুরু করতে, Pytorch রূপান্তরকারী quickstart ব্যবহার করুন। আরও তথ্যের জন্য, এআই এজ টর্চ গিটহাব রেপো দেখুন।
আপনি যদি বিশেষভাবে Large Language Models (LLMs) বা ট্রান্সফরমার-ভিত্তিক মডেলগুলি রূপান্তর করেন, তাহলে Generative Torch API ব্যবহার করুন, যা মডেল অথরিং এবং কোয়ান্টাইজেশনের মতো ট্রান্সফরমার-নির্দিষ্ট রূপান্তর বিবরণ পরিচালনা করে।
রূপান্তর কর্মপ্রবাহ
নিম্নলিখিত পদক্ষেপগুলি একটি PyTorch মডেলের LiteRT-এ একটি সাধারণ এন্ড-টু-এন্ড রূপান্তর প্রদর্শন করে।
এআই এজ টর্চ আমদানি করুন
পাইটর্চ সহ AI এজ টর্চ ( ai-edge-torch ) পিপ প্যাকেজ আমদানি করে শুরু করুন৷
import ai_edge_torch
import torch
এই উদাহরণের জন্য, আমাদের নিম্নলিখিত প্যাকেজগুলিও প্রয়োজন:
import numpy
import torchvision
মডেলটি শুরু এবং রূপান্তর করুন
আমরা ResNet18 রূপান্তর করব, একটি জনপ্রিয় চিত্র স্বীকৃতি মডেল।
resnet18 = torchvision.models.resnet18(torchvision.models.ResNet18_Weights.IMAGENET1K_V1).eval()
PyTorch মডেল রূপান্তর করতে AI এজ টর্চ লাইব্রেরি থেকে convert পদ্ধতি ব্যবহার করুন।
sample_input = (torch.randn(1, 3, 224, 224),)
edge_model = ai_edge_torch.convert(resnet18.eval(), sample_input)
মডেল ব্যবহার করুন
Pytorch মডেল রূপান্তর করার পরে, আপনি নতুন রূপান্তরিত LiteRT মডেলের সাথে অনুমান চালাতে পারেন।
output = edge_model(*sample_inputs)
আপনি রূপান্তরিত মডেলটিকে .tflite ফরম্যাটে ভবিষ্যতে ব্যবহারের জন্য রপ্তানি এবং সংরক্ষণ করতে পারেন৷
edge_model.export('resnet.tflite')