AI Edge Torch, एक लाइब्रेरी है. इसकी मदद से PyTorch मॉडल को .tflite फ़ॉर्मैट में बदला जा सकता है. इससे उन मॉडल को TensorFlow Lite और MediaPipe की मदद से चलाया जा सकता है.
यह खास तौर पर, ऐसे मोबाइल ऐप्लिकेशन बनाने वाले डेवलपर के लिए मददगार है जो मॉडल को पूरी तरह से डिवाइस पर चलाते हैं. AI Edge Torch, शुरुआती जीपीयू और एनपीयू के साथ काम करता है. इससे ज़्यादा सीपीयू कवरेज मिलते हैं.
PyTorch मॉडल को TF Lite में बदलना शुरू करने के लिए, Pytorch कन्वर्टर Quickstart का इस्तेमाल करें. ज़्यादा जानकारी के लिए, AI Edge Torch GitHub रेपो देखें.
अगर आपको खास तौर पर लार्ज लैंग्वेज मॉडल (एलएलएम) या ट्रांसफ़ॉर्मर पर आधारित मॉडल में बदलाव करना है, तो जनरेटिव टॉर्च एपीआई का इस्तेमाल करें. यह मॉडल ऑथरिंग और क्वांटाइज़ेशन जैसे ट्रांसफ़ॉर्मर से जुड़ी कन्वर्ज़न जानकारी को मैनेज करता है.
कन्वर्ज़न का वर्कफ़्लो
यहां दिया गया तरीका अपनाकर, PyTorch मॉडल को TensorFlow Lite में आसानी से बदला जा सकता है.
AI Edge टॉर्च इंपोर्ट करें
सबसे पहले, AI Edge Torch (ai-edge-torch) पीआईपी पैकेज के साथ-साथ PyTorch को इंपोर्ट करें.
import ai_edge_torch
import torch
इस उदाहरण के लिए, हमें इन पैकेज की भी ज़रूरत है:
import numpy
import torchvision
मॉडल को शुरू करें और उसे बदलें
हम ResNet18 को फ़ॉर्मैट करेंगे, जो कि इमेज पहचानने वाला एक लोकप्रिय मॉडल है.
resnet18 = torchvision.models.resnet18(torchvision.models.ResNet18_Weights.IMAGENET1K_V1).eval()
PyTorch मॉडल को बदलने के लिए, AI Edge Torch लाइब्रेरी में मौजूद convert तरीके का इस्तेमाल करें.
sample_input = (torch.randn(1, 3, 224, 224),)
edge_model = ai_edge_torch.convert(resnet18.eval(), sample_input)
मॉडल का इस्तेमाल करना
Pytorch मॉडल को बदलने के बाद, नए TF Lite मॉडल की मदद से अनुमान चलाए जा सकते हैं.
output = edge_model(*sample_inputs)
आने वाले समय में इस्तेमाल के लिए, बदले गए मॉडल को .tflite फ़ॉर्मैट में एक्सपोर्ट और सेव किया जा सकता है.
edge_model.export('resnet.tflite')