AI Edge Torch, PyTorch modellerini .tflite biçimine dönüştürerek bu modelleri TensorFlow Lite ve MediaPipe ile çalıştırmanızı sağlayan bir kitaplıktır.
Bu, modelleri tamamen cihaz üzerinde çalıştıran mobil uygulamalar oluşturan geliştiriciler için özellikle faydalıdır. AI Edge Torch, başlangıçtaki GPU ve NPU desteğiyle geniş CPU kapsamı sunar.
PyTorch modellerini TF Lite'a dönüştürmeye başlamak için Pytorch dönüştürücü hızlı başlangıç kılavuzunu kullanın. Daha fazla bilgi için AI Edge Torch GitHub deposuna bakın.
Özellikle Büyük Dil Modelleri (LLM) veya dönüştürücü tabanlı modelleri dönüştürüyorsanız model yazma ve niceleme gibi dönüştürücüye özgü dönüştürme ayrıntılarını işleyen Generative Torch API'yi kullanın.
Dönüşüm iş akışı
Aşağıdaki adımlarda, bir PyTorch modelinin TensorFlow Lite'a basit bir uçtan uca dönüşüm işlemi gösterilmektedir.
AI Edge Feneri İçe Aktarın
PyTorch ile birlikte AI Edge Torch (ai-edge-torch) pip paketini içe aktararak başlayın.
import ai_edge_torch
import torch
Bu örnek için aşağıdaki paketlere de ihtiyacımız var:
import numpy
import torchvision
Modeli başlatma ve dönüştürme
Popüler bir görüntü tanıma modeli olan ResNet18'i dönüştüreceğiz.
resnet18 = torchvision.models.resnet18(torchvision.models.ResNet18_Weights.IMAGENET1K_V1).eval()
PyTorch modelini dönüştürmek için AI Edge Torch kitaplığındaki convert yöntemini kullanın.
sample_input = (torch.randn(1, 3, 224, 224),)
edge_model = ai_edge_torch.convert(resnet18.eval(), sample_input)
Modeli kullanma
Pytorch modelini dönüştürdükten sonra, yeni dönüştürülmüş TF Lite modeliyle çıkarım yapabilirsiniz.
output = edge_model(*sample_inputs)
Dönüştürülen modeli ileride kullanmak üzere .tflite biçiminde dışa aktarabilir ve kaydedebilirsiniz.
edge_model.export('resnet.tflite')