مدل های PyTorch را به LiteRT تبدیل کنید

AI Edge Torch یک کتابخانه است که به شما امکان می دهد مدل های PyTorch را به فرمت .tflite تبدیل کنید و به شما امکان می دهد آن مدل ها را با LiteRT و MediaPipe اجرا کنید. این به ویژه برای توسعه‌دهندگانی که برنامه‌های موبایلی را ایجاد می‌کنند که مدل‌ها را کاملاً روی دستگاه اجرا می‌کنند مفید است. AI Edge Torch پوشش گسترده CPU را با پشتیبانی اولیه GPU و NPU ارائه می دهد.

برای شروع تبدیل مدل های PyTorch به LiteRT، از مبدل Pytorch Quickstart استفاده کنید. برای اطلاعات بیشتر، به مخزن AI Edge Torch GitHub مراجعه کنید.

اگر به طور خاص مدل‌های زبان بزرگ (LLM) یا مدل‌های مبتنی بر ترانسفورماتور را تبدیل می‌کنید، از Generative Torch API استفاده کنید، که جزئیات تبدیل خاص ترانسفورماتور مانند تالیف مدل و کمی‌سازی را مدیریت می‌کند.

گردش کار تبدیل

مراحل زیر یک تبدیل ساده از یک مدل PyTorch به LiteRT را نشان می دهد.

مشعل لبه هوش مصنوعی را وارد کنید

با وارد کردن بسته پیپ AI Edge Torch ( ai-edge-torch ) به همراه PyTorch شروع کنید.

import ai_edge_torch
import torch

برای این مثال، ما به بسته های زیر نیز نیاز داریم:

import numpy
import torchvision

مدل را مقداردهی اولیه و تبدیل کنید

ما ResNet18 ، یک مدل تشخیص تصویر محبوب را تبدیل خواهیم کرد.

resnet18 = torchvision.models.resnet18(torchvision.models.ResNet18_Weights.IMAGENET1K_V1).eval()

برای تبدیل مدل PyTorch از روش convert از کتابخانه AI Edge Torch استفاده کنید.

sample_input = (torch.randn(1, 3, 224, 224),)
edge_model = ai_edge_torch.convert(resnet18.eval(), sample_input)

از مدل استفاده کنید

پس از تبدیل مدل Pytorch، می توانید استنتاج ها را با مدل جدید LiteRT تبدیل شده اجرا کنید.

output = edge_model(*sample_inputs)

می توانید مدل تبدیل شده را در قالب .tflite صادر و ذخیره کنید تا در آینده استفاده کنید.

edge_model.export('resnet.tflite')