LiteRT की मदद से डिवाइस पर अनुमान लगाना

LiteRT CompiledModel API, डिवाइस पर एमएल इन्फ़रेंस के लिए आधुनिक स्टैंडर्ड है. यह हार्डवेयर ऐक्सिलरेशन को बेहतर बनाता है, जो Interpreter API से काफ़ी बेहतर है. इस इंटरफ़ेस की मदद से, अलग-अलग तरह के एज प्लैटफ़ॉर्म पर .tflite मॉडल को आसानी से डिप्लॉय किया जा सकता है. इसके लिए, यह इंटरफ़ेस डेवलपर को एक जैसा अनुभव देता है. साथ ही, इसमें ऐसी बेहतर सुविधाएं होती हैं जिन्हें हार्डवेयर की परफ़ॉर्मेंस को बेहतर बनाने के लिए डिज़ाइन किया गया है.

CompiledModel API को क्यों चुनें?

Interpreter API पुराने सिस्टम के साथ काम करता रहेगा. हालांकि, CompiledModel API में परफ़ॉर्मेंस और ऐक्सलरेटर से जुड़ी नई सुविधाओं को प्राथमिकता दी जाती है. इन वजहों से, हमारा सुझाव है कि आप इस विकल्प को चुनें:

  • बेहतरीन जीपीयू ऐक्सेलरेटर: यह ML Drift का इस्तेमाल करता है. यह जीपीयू ऐक्सेलरेटर की सबसे नई लाइब्रेरी है. इससे मोबाइल, वेब, डेस्कटॉप, और आईओटी डिवाइसों पर भरोसेमंद जीपीयू इन्फ़रेंस मिलता है. LiteRT के साथ जीपीयू ऐक्सेलरेटेड रेंडरिंग लेख पढ़ें.

  • यूनिफ़ाइड एनपीयू ऐक्सेस: यह डेवलपर को एक जैसा अनुभव देता है. इसकी मदद से, Google Tensor, Qualcomm, MediaTek जैसे अलग-अलग वेंडर के एनपीयू ऐक्सेस किए जा सकते हैं. साथ ही, वेंडर के हिसाब से कंपाइलर और रनटाइम की जटिलताओं को कम किया जा सकता है. LiteRT के साथ NPU ऐक्सेलरेटर देखें.

  • हार्डवेयर अपने-आप चुना जाना: यह सुविधा, उपलब्ध हार्डवेयर और इंटरनल प्रायॉरिटी लॉजिक के आधार पर, सीपीयू, जीपीयू, और एनपीयू में से सबसे सही बैकएंड को अपने-आप चुनती है. इससे, मैन्युअल तरीके से डेलिगेट कॉन्फ़िगरेशन करने की ज़रूरत नहीं पड़ती.

  • एसिंक्रोनस तरीके से काम करना: ओएस-लेवल के मैकेनिज़्म (जैसे कि सिंक फ़ेंस) का इस्तेमाल करता है, ताकि हार्डवेयर ऐक्सलरेटर, सीपीयू को शामिल किए बिना पिछली टास्क पूरी होने पर सीधे ट्रिगर हो सकें. इससे इंतज़ार का समय दो गुना तक कम हो सकता है. साथ ही, एआई के साथ बेहतर और ज़्यादा इंटरैक्टिव अनुभव मिलता है.

  • बेहतर I/O बफ़र मैनेजमेंट: यह TensorBuffer API का इस्तेमाल करके, ऐक्सलरेटर के बीच बेहतर परफ़ॉर्मेंस वाले डेटा फ़्लो को मैनेज करता है. इसमें AHardwareBuffer, OpenCL, और OpenGL के बीच ज़ीरो-कॉपी बफ़र इंटरऑप शामिल है. इससे प्रीप्रोसेसिंग, अनुमान लगाने, और पोस्ट-प्रोसेसिंग चरणों के बीच डेटा की महंगी कॉपी को खत्म किया जा सकता है.

डेटा डालने और 360 डिग्री में, वीडियो चलाने की सुविधा देने वाले प्लैटफ़ॉर्म

LiteRT CompiledModel API, Android, iOS, वेब, IoT, और डेस्कटॉप डिवाइसों पर बेहतर परफ़ॉर्मेंस वाले अनुमानों के साथ काम करता है. प्लैटफ़ॉर्म के हिसाब से गाइड देखें.