AI Edge Torch është një bibliotekë që ju lejon të konvertoni modelet e PyTorch në një format .tflite , duke ju mundësuar t'i ekzekutoni ato modele me LiteRT dhe MediaPipe. Kjo është veçanërisht e dobishme për zhvilluesit që krijojnë aplikacione celulare që ekzekutojnë modelet plotësisht në pajisje. AI Edge Torch ofron mbulim të gjerë të CPU-së, me mbështetje fillestare GPU dhe NPU.
Për të filluar konvertimin e modeleve PyTorch në LiteRT, përdorni konvertuesin Pytorch Quickstart . Për më shumë informacion, shihni repon e AI Edge Torch GitHub .
Nëse po konvertoni në mënyrë specifike Modele të Gjuhës së Madhe (LLM) ose modele të bazuara në transformator, përdorni Generative Torch API , i cili trajton detajet e konvertimit të transformatorëve specifikë, si autorizimi i modelit dhe kuantizimi.
Rrjedha e punës e konvertimit
Hapat e mëposhtëm demonstrojnë një konvertim të thjeshtë nga fundi në fund të një modeli PyTorch në LiteRT.
Importo AI Edge Torch
Filloni duke importuar paketën pip AI Edge Torch ( ai-edge-torch ), së bashku me PyTorch.
import ai_edge_torch
import torch
Për këtë shembull, ne kërkojmë gjithashtu paketat e mëposhtme:
import numpy
import torchvision
Inicializoni dhe konvertoni modelin
Ne do të konvertojmë ResNet18 , një model i njohur për njohjen e imazheve.
resnet18 = torchvision.models.resnet18(torchvision.models.ResNet18_Weights.IMAGENET1K_V1).eval()
Përdorni metodën convert nga biblioteka e AI Edge Torch për të kthyer modelin PyTorch.
sample_input = (torch.randn(1, 3, 224, 224),)
edge_model = ai_edge_torch.convert(resnet18.eval(), sample_input)
Përdorni modelin
Pas konvertimit të modelit Pytorch, mund të ekzekutoni konkluzionet me modelin e ri të konvertuar LiteRT.
output = edge_model(*sample_inputs)
Mund të eksportoni dhe ruani modelin e konvertuar në formatin .tflite për përdorim në të ardhmen.
edge_model.export('resnet.tflite')