एआई Edge टॉर्च जनरेटिव एआई एपीआई ट्रांसफ़ॉर्मर-आधारित PyTorch मॉडल को LiteRT फ़ॉर्मैट का इस्तेमाल करता है, जिससे लार्ज लैंग्वेज मॉडल (एलएलएम) को LiteRT और MediaPipe की मदद से, डिवाइस पर इमेज और टेक्स्ट जनरेट करें. फ़िलहाल, AI Edge Torch Generative API सिर्फ़ सीपीयू के लिए इस्तेमाल किया जाता है. इसमें जीपीयू और एनपीयू के साथ काम करने की सुविधा पहले से मौजूद है.
मोबाइल ऐप्लिकेशन डेवलपर, PyTorch एलएलएम को इंटिग्रेट करने के लिए, Edge Generative API का इस्तेमाल कर सकते हैं MediaPipe एलएलएम के अनुमान के साथ एपीआई इस्तेमाल करके ऐसे ऐप्लिकेशन बनाएं उन PyTorch मॉडल को पूरी तरह से डिवाइस पर चलाना चाहिए.
ज़्यादा जानकारी के लिए, Generative Torc API GitHub देखें रेपो के बगल में बने बॉक्स को दिखाता है.