AI Edge Torch를 사용하면 PyTorch 모델을 .tflite로 변환할 수 있습니다.
LiteRT 및 MediaPipe로 해당 모델을 실행할 수 있습니다.
이는 모델을 실행하는 모바일 앱을 만드는 개발자에게 특히 유용합니다.
온전히 기기에 있을 수 있습니다. AI Edge Torch는 초기 GPU로 광범위한 CPU 범위를 제공합니다.
및 NPU 지원이
포함됩니다
PyTorch 모델을 LiteRT로 변환하려면 Pytorch 변환기를 사용하세요. 빠른 시작을 참조하세요. 자세한 내용은 AI 에지 토치를 참조하세요. GitHub 저장소.
특히 대규모 언어 모델 (LLM)을 변환하거나 변환하려면 Generative Torch API를 사용하세요. 모델 작성 및 변환과 같은 변환기별 변환 세부정보를 처리합니다. 양자화에 대해 살펴봤습니다.
전환 워크플로
다음 단계는 PyTorch의 간단한 엔드 투 엔드 변환을 보여줍니다. 모델을 LiteRT로 변환했습니다.
AI Edge Torch 가져오기
먼저 AI Edge Torch (ai-edge-torch) pip 패키지를 가져옵니다.
PyTorch를 사용합니다.
import ai_edge_torch
import torch
이 예에서는 다음 패키지도 필요합니다.
import numpy
import torchvision
모델 초기화 및 변환
Google은 ResNet18 가장 많이 사용되는 이미지 인식 모델입니다
resnet18 = torchvision.models.resnet18(torchvision.models.ResNet18_Weights.IMAGENET1K_V1).eval()
AI Edge Torch 라이브러리의 convert 메서드를 사용하여 PyTorch를 변환합니다.
있습니다.
sample_input = (torch.randn(1, 3, 224, 224),)
edge_model = ai_edge_torch.convert(resnet18.eval(), sample_input)
모델 사용
Pytorch 모델을 변환한 후 새로운 변환된 LiteRT 모델입니다.
output = edge_model(*sample_inputs)
나중에 사용할 수 있도록 변환된 모델을 .tflite 형식으로 내보내고 저장할 수 있습니다.
사용합니다
edge_model.export('resnet.tflite')