LiteRT के साथ Google Tensor (EdgeTPU)

Google Tensor, कस्टम-डिज़ाइन किया गया सिस्टम-ऑन-चिप (एसओसी) है. इसे Google Pixel फ़ोन पर एआई मॉडल चलाने के लिए बनाया गया है. Tensor को कंप्यूटेशनल क्षमता और कम से कम ऊर्जा की खपत के लिए ऑप्टिमाइज़ किया गया है. यह टीपीयू (टेंसर प्रोसेसिंग यूनिट) नाम के खास एमएल इन्फ़्रेंस एक्सेलरेटर का इस्तेमाल करता है. इसे Google Tensor SDK की मदद से ऐक्सेस किया जा सकता है.

Google Tensor SDK के बीटा वर्शन का ऐक्सेस पाने के लिए साइन अप करना

Google Tensor SDK टूल, सॉफ़्टवेयर डेवलपमेंट किट है. इसे Google Pixel फ़ोन पर डिवाइस में मौजूद मशीन लर्निंग को ऑप्टिमाइज़ करने के लिए बनाया गया है. इसके लिए, कस्टम Tensor System-on-Chip (SoC) और इसके टीपीयू इन्फ़्रेंस ऐक्सलरेटर का इस्तेमाल किया जाता है. इस एसडीके में, टूल का एक पूरा सुइट उपलब्ध है. इससे डेवलपर को मॉडल गार्डन में, चुने गए ओपन-सोर्स मॉडल ऐक्सेस करने में मदद मिलती है. इस किट की मदद से, मॉडल को टीपीयू के साथ काम करने वाले फ़ॉर्मैट में कंपाइल किया जा सकता है.

साइन अप करें

मुख्य सुविधाएं

• Pixel डिवाइसों पर एमएल इन्फ़रेंस को बेहतर तरीके से लागू करने के लिए, टीपीयू हार्डवेयर का डायरेक्ट ऐक्सेस.
• Model Garden में, एसडीके के लिए ऑप्टिमाइज़ किए गए ओपन-सोर्स मॉडल उपलब्ध हैं.

डेवलपमेंट एनवायरमेंट सेट अप करना

Google Tensor SDK का इस्तेमाल करने के लिए, हार्डवेयर और सॉफ़्टवेयर की ज़रूरी शर्तें और पहले से पूरी की जाने वाली शर्तें यहां दी गई हैं:

साथ काम करने वाले SoCs

Google Tensor SDK, इन सिस्टम ऑन चिप (SoC) के साथ काम करता है:

• Google Tensor G5 (Tensor_G5)

अगले चरण

1. LiteRT के साथ NPU ऐक्सेलरेटेड मॉडल में दिए गए कन्वर्ज़न और डिप्लॉयमेंट के चरणों का पालन करें. साथ ही, ज़रूरत के हिसाब से Google Tensor को चुनें.

2. लैंग्वेज मॉडल के लिए, LiteRT-LM का इस्तेमाल करके एनपीयू पर एलएलएम को एक्ज़ीक्यूट करना लेख पढ़ें.