PyTorch modellerini LiteRT'e dönüştürme

AI Edge Torch, PyTorch modellerini .tflite biçimi sayesinde bu modelleri LiteRT ve MediaPipe ile çalıştırabilirsiniz. Bu özellikle, model çalıştıran mobil uygulamalar oluşturan geliştiriciler için tamamen cihaz üzerinde. AI Edge Torch, başlangıçtaki GPU ile geniş CPU kapsamı sunar ve NPU desteği.

PyTorch modellerini LiteRT'e dönüştürmeye başlamak için Pytorch dönüştürücüyü kullanın hızlı başlangıç kılavuzumize bakın. Daha fazla bilgi için AI Edge Feneri'ne bakın GitHub deposu.

Özellikle Büyük Dil Modellerini (LLM) dönüştürüyorsanız dönüştürmek için Generative Torch API'yi kullanmalıdır. model yazma ve dönüşüm izleme gibi dönüştürücüye özel yardımcı olabilir.

Dönüşüm iş akışı

Aşağıdaki adımlar bir PyTorch'un uçtan uca dönüşümünü gösterir. LiteRT'i seçin.

AI Edge Fener'i içe aktar

İlk olarak, AI Edge Torch (ai-edge-torch) pip paketini ve PyTorch'a dokunun.

import ai_edge_torch
import torch

Bu örnekte, aşağıdaki paketleri de sağlamanız gerekir:

import numpy
import torchvision

Modeli başlatma ve dönüştürme

Dönüşüm gerçekleştireceğiz ResNet18, popüler bir görüntü tanıma modelidir.

resnet18 = torchvision.models.resnet18(torchvision.models.ResNet18_Weights.IMAGENET1K_V1).eval()

PyTorch'u dönüştürmek için AI Edge Torch kitaplığındaki convert yöntemini kullanın modeli.

sample_input = (torch.randn(1, 3, 224, 224),)
edge_model = ai_edge_torch.convert(resnet18.eval(), sample_input)

Modeli kullan

Pytorch modelini dönüştürdükten sonra, yeni dönüştürülmüş LiteRT modelidir.

output = edge_model(*sample_inputs)

Dönüştürülen modeli ileride kullanmak üzere .tflite biçiminde dışa aktarabilir ve kaydedebilirsiniz pek de iyi olmadığını unutmayın.

edge_model.export('resnet.tflite')