आजकल के मोबाइल और एज डिवाइसों में, खास तरह के ग्राफ़िक्स प्रोसेसिंग यूनिट (जीपीयू) और न्यूरल प्रोसेसिंग यूनिट (एनपीयू) होते हैं. ये सीपीयू की तुलना में, एआई मॉडल को 25 गुना ज़्यादा तेज़ी से प्रोसेस कर सकते हैं. साथ ही, ये सीपीयू की तुलना में पांच गुना कम बैटरी खर्च करते हैं.
LiteRT, एक ही हार्डवेयर ऐक्सेलरेटर स्टैक के ज़रिए, इस खास सिलिकॉन को आसानी से ऐक्सेस करने की सुविधा देता है. अलग-अलग वेंडर के एसडीके या जटिल हार्डवेयर एपीआई को मैनेज करने के बजाय, LiteRT एक आसान CompiledModel API उपलब्ध कराता है. यह मॉडल ऑप्टिमाइज़ेशन, मेमोरी मैनेजमेंट, और हार्डवेयर डिस्पैच की जटिलता को कम करता है.
ऐक्सलरेटर के टाइप
LiteRT, अलग-अलग हार्डवेयर बैकएंड पर मॉडल को लागू करने के लिए, एक यूनिफ़ाइड इंटरफ़ेस उपलब्ध कराता है. CompiledModel API का इस्तेमाल करके, इन ऐक्सलरेटर के बीच आसानी से स्विच किया जा सकता है. इसके लिए, डिवाइस पर मौजूद या Ahead-of-Time (AOT) कंपाइलेशन का इस्तेमाल किया जा सकता है. साथ ही, जिन कार्रवाइयों के लिए ऐक्सलरेटर काम नहीं करते उनके लिए सीपीयू पर अपने-आप फ़ॉलबैक हो जाता है.
- सीपीयू: यह XNNPACK का इस्तेमाल करने वाला डिफ़ॉल्ट एक्ज़ीक्यूशन पाथ है और हमेशा उपलब्ध रहता है. सामान्य टास्क के लिए सबसे सही. साथ ही, जिन ऑपरेटर का इस्तेमाल नहीं किया जा सकता उनके लिए फ़ॉलबैक.
- जीपीयू: एमएल ड्रिफ़्ट की मदद से, यह अलग-अलग एज प्लैटफ़ॉर्म पर एसओटीए परफ़ॉर्मेंस देता है. इसके लिए, OpenCL, WebGPU, Metal वगैरह का इस्तेमाल किया जाता है. ज़्यादा जानकारी के लिए, LiteRT की मदद से जीपीयू ऐक्सेलरेट करना लेख पढ़ें
- एनपीयू: एआई के वर्कलोड के लिए सबसे ज़्यादा परफ़ॉर्मेंस और बेहतर तरीके से काम करता है. LiteRT, खास एनपीयू चिपसेट को ऐक्सेस करने के लिए, एक जैसा डेवलपमेंट फ़्लो उपलब्ध कराता है. इनमें Google Tensor, Qualcomm, और MediaTek शामिल हैं. इसके लिए, वेंडर के हिसाब से एसडीके टूल को इंटिग्रेट करने की ज़रूरत नहीं होती. ज़्यादा जानकारी के लिए, LiteRT के साथ NPU ऐक्सलरेशन लेख पढ़ें
इन ऐक्सलरेटर को एक साथ इस्तेमाल किया जा सकता है, ताकि किसी हार्डवेयर पर कुछ जटिल कार्रवाइयां उपलब्ध न होने पर भी, सबसे अच्छी परफ़ॉर्मेंस मिल सके. जब ऐक्सेलरेटर किसी ऑपरेशन के लिए एक-दूसरे से प्रतिस्पर्धा करते हैं, तो LiteRT, प्राथमिकता के इस क्रम का इस्तेमाल करता है: एनपीयू, जीपीयू, सीपीयू.