डिवाइस पर अनुमान लगाने के लिए, PyTorch के GenAI मॉडल को बदलना
AI Edge Torch Generative API, ज़्यादा परफ़ॉर्मेंस वाली लाइब्रेरी है. इसे ट्रांसफ़ॉर्मर पर आधारित PyTorch मॉडल को LiteRT/LiteRT-LM फ़ॉर्मैट में लिखने और बदलने के लिए डिज़ाइन किया गया है. इससे डेवलपर, जनरेटिव एआई मॉडल को आसानी से डिप्लॉय कर सकते हैं. खास तौर पर, डिवाइस पर टेक्स्ट और इमेज जनरेट करने के लिए लार्ज लैंग्वेज मॉडल (एलएलएम) को डिप्लॉय किया जा सकता है.
Torch Generative API, सीपीयू और जीपीयू पर मॉडल कन्वर्ज़न की सुविधा देता है. साथ ही, एनपीयू पर काम करने की सुविधा अभी डेवलपमेंट के चरण में है. Torch Generative API को LiteRT-LM के साथ जोड़कर, रिस्पॉन्सिव और निजता पर फ़ोकस करने वाले ऐप्लिकेशन बनाए जा सकते हैं. ये ऐप्लिकेशन, जनरेटिव मॉडल को पूरी तरह से डिवाइस पर चलाते हैं.
[[["समझने में आसान है","easyToUnderstand","thumb-up"],["मेरी समस्या हल हो गई","solvedMyProblem","thumb-up"],["अन्य","otherUp","thumb-up"]],[["वह जानकारी मौजूद नहीं है जो मुझे चाहिए","missingTheInformationINeed","thumb-down"],["बहुत मुश्किल है / बहुत सारे चरण हैं","tooComplicatedTooManySteps","thumb-down"],["पुराना","outOfDate","thumb-down"],["अनुवाद से जुड़ी समस्या","translationIssue","thumb-down"],["सैंपल / कोड से जुड़ी समस्या","samplesCodeIssue","thumb-down"],["अन्य","otherDown","thumb-down"]],["आखिरी बार 2025-12-22 (UTC) को अपडेट किया गया."],[],[]]
