PyTorch मॉडल को LiteRT में बदलें

AI Edge Torch, एक लाइब्रेरी है. इसकी मदद से PyTorch मॉडल को .tflite में बदला जा सकता है फ़ॉर्मैट की मदद से, उन मॉडल को LiteRT और MediaPipe के साथ इस्तेमाल किया जा सकता है. यह खास तौर पर उन डेवलपर के लिए बहुत मददगार है जो मॉडल पर चलने वाले मोबाइल ऐप्लिकेशन बनाते हैं एक ही जगह पर सेव हो जाता है. AI Edge Torch, पहले जीपीयू के साथ ज़्यादा सीपीयू कवरेज देता है और NPU की सुविधा देता है.

PyTorch मॉडल को LiteRT में बदलना शुरू करने के लिए, Pytorch कन्वर्टर का इस्तेमाल करें क्विकस्टार्ट. ज़्यादा जानकारी के लिए, AI Edge की टॉर्च देखें GitHub रेपो.

अगर खास तौर पर लार्ज लैंग्वेज मॉडल (एलएलएम) को कन्वर्ट किया जा रहा है या ट्रांसफ़ॉर्मर पर आधारित मॉडल, Generative Torch API का इस्तेमाल करें, जो ट्रांसफ़ॉर्मर-विशिष्ट रूपांतरण विवरण जैसे मॉडल लेखन और मात्रा देना.

कन्वर्ज़न वर्कफ़्लो

नीचे दिए गए चरणों में, PyTorch का आसानी से एंड-टू-एंड कन्वर्ज़न दिखाया गया है LiteRT के लिए मॉडल चुनें.

AI Edge टॉर्च इंपोर्ट करें

सबसे पहले, AI Edge Torch (ai-edge-torch) के पीआईपी पैकेज को इंपोर्ट करें PyTorch.

import ai_edge_torch
import torch

उदाहरण के लिए, हमें इन पैकेज की भी ज़रूरत है:

import numpy
import torchvision

मॉडल को शुरू करना और बदलना

हम फ़ॉर्मैट बदलेंगे ResNet18, एक लोकप्रिय इमेज पहचानने वाला मॉडल है.

resnet18 = torchvision.models.resnet18(torchvision.models.ResNet18_Weights.IMAGENET1K_V1).eval()

PyTorch को बदलने के लिए, एआई एज टॉर्च लाइब्रेरी में मौजूद convert तरीके का इस्तेमाल करें मॉडल.

sample_input = (torch.randn(1, 3, 224, 224),)
edge_model = ai_edge_torch.convert(resnet18.eval(), sample_input)

मॉडल का इस्तेमाल करना

Pytorch मॉडल को कन्वर्ट करने के बाद, नए फ़ॉर्मूले का इस्तेमाल करके अनुमान लगाए जा सकते हैं LiteRT मॉडल का फ़ॉर्मैट बदला गया.

output = edge_model(*sample_inputs)

बदले गए मॉडल को आने वाले समय के लिए, .tflite फ़ॉर्मैट में एक्सपोर्ट और सेव किया जा सकता है इस्तेमाल करें.

edge_model.export('resnet.tflite')