डिवाइस पर अनुमान लगाने के लिए, PyTorch के GenAI मॉडल को बदलना
LiteRT Torch Generative API, परफ़ॉर्मेंस को बेहतर बनाने वाली लाइब्रेरी है. इसे ट्रांसफ़ॉर्मर पर आधारित PyTorch मॉडल को LiteRT/LiteRT-LM फ़ॉर्मैट में लिखने और बदलने के लिए डिज़ाइन किया गया है. इससे डेवलपर, जनरेटिव एआई मॉडल को आसानी से डिप्लॉय कर सकते हैं. खास तौर पर, लार्ज लैंग्वेज मॉडल (एलएलएम) को डिवाइस पर टेक्स्ट और इमेज जनरेट करने के लिए डिप्लॉय किया जा सकता है.
Torch Generative API, सीपीयू और जीपीयू पर मॉडल कन्वर्ज़न को सपोर्ट करता है. साथ ही, एनपीयू पर मॉडल कन्वर्ज़न की सुविधा अभी डेवलपमेंट के चरण में है. Torch Generative API को LiteRT-LM के साथ जोड़कर, रिस्पॉन्सिव और निजता पर फ़ोकस करने वाले ऐप्लिकेशन बनाए जा सकते हैं. ये ऐप्लिकेशन, जनरेटिव मॉडल को पूरी तरह से डिवाइस पर चलाते हैं.
[[["समझने में आसान है","easyToUnderstand","thumb-up"],["मेरी समस्या हल हो गई","solvedMyProblem","thumb-up"],["अन्य","otherUp","thumb-up"]],[["वह जानकारी मौजूद नहीं है जो मुझे चाहिए","missingTheInformationINeed","thumb-down"],["बहुत मुश्किल है / बहुत सारे चरण हैं","tooComplicatedTooManySteps","thumb-down"],["पुराना","outOfDate","thumb-down"],["अनुवाद से जुड़ी समस्या","translationIssue","thumb-down"],["सैंपल / कोड से जुड़ी समस्या","samplesCodeIssue","thumb-down"],["अन्य","otherDown","thumb-down"]],["आखिरी बार 2026-01-28 (UTC) को अपडेट किया गया."],[],[]]
