LiteRT (Lite Runtime का छोटा नाम), पहले TensorFlow Lite के तौर पर जाना जाता था. यह Google का, डिवाइस पर मौजूद एआई के लिए बेहतर परफ़ॉर्मेंस वाला रनटाइम है. आपको कई तरह के एमएल/एआई टास्क के लिए, तुरंत इस्तेमाल किए जा सकने वाले LiteRT मॉडल मिल सकते हैं. इसके अलावा, एआई एज कन्वर्ज़न और ऑप्टिमाइज़ेशन टूल का इस्तेमाल करके, TensorFlow, PyTorch, और JAX मॉडल को TFLite फ़ॉर्मैट में बदला और चलाया जा सकता है.
मुख्य सुविधाएं
डिवाइस पर मशीन लर्निंग के लिए ऑप्टिमाइज़ किया गया: LiteRT, ODML की पांच मुख्य समस्याओं को हल करता है: इंतज़ार का समय (सर्वर पर कोई राउंड-ट्रिप नहीं होता), निजता (कोई भी निजी डेटा डिवाइस से बाहर नहीं जाता), कनेक्टिविटी (इंटरनेट कनेक्टिविटी ज़रूरी नहीं है), साइज़ (कम किया गया मॉडल और बाइनरी साइज़), और बिजली की खपत (बेहतर अनुमान और नेटवर्क कनेक्शन की कमी).
मल्टी-प्लैटफ़ॉर्म पर काम करना: यह Android और iOS डिवाइसों, एम्बेड किए गए Linux, और माइक्रोकंट्रोलर के साथ काम करता है.
मल्टी-फ़्रेमवर्क मॉडल के विकल्प: AI Edge, TensorFlow, PyTorch, और JAX मॉडल को FlatBuffers फ़ॉर्मैट (
.tflite) में बदलने के लिए टूल उपलब्ध कराता है. इससे, LiteRT पर कई तरह के आधुनिक मॉडल इस्तेमाल किए जा सकते हैं. आपके पास मॉडल ऑप्टिमाइज़ेशन टूल का भी ऐक्सेस होता है, जो क्वांटाइज़ेशन और मेटाडेटा को मैनेज कर सकते हैं.अलग-अलग भाषाओं के लिए उपलब्ध है: इसमें Java/Kotlin, Swift, Objective-C, C++, और Python के लिए SDK टूल शामिल हैं.
बेहतर परफ़ॉर्मेंस: जीपीयू और iOS Core ML जैसे खास डेलिगेट की मदद से, हार्डवेयर की परफ़ॉर्मेंस को बेहतर बनाया जा सकता है.
डेवलपमेंट वर्कफ़्लो
LiteRT डेवलपमेंट वर्कफ़्लो में, एमएल/एआई से जुड़ी समस्या की पहचान करना, उस समस्या को हल करने वाला मॉडल चुनना, और डिवाइस पर मॉडल लागू करना शामिल है. यहां दिए गए निर्देशों की मदद से, वर्कफ़्लो को पूरा किया जा सकता है. साथ ही, ज़्यादा निर्देशों के लिए लिंक भी दिए गए हैं.
1. एमएल से जुड़ी समस्या का सबसे सही समाधान ढूंढना
मशीन लर्निंग से जुड़ी समस्याओं को हल करने के लिए, LiteRT उपयोगकर्ताओं को ज़्यादा सुविधाएं और पसंद के मुताबिक़ बदलाव करने की सुविधा देता है. इस वजह से, यह उन उपयोगकर्ताओं के लिए बेहतर विकल्प है जिन्हें किसी खास मॉडल या खास तरीके से लागू करने की ज़रूरत है. प्लग-ऐंड-प्ले सलूशन की तलाश करने वाले उपयोगकर्ता, MediaPipe Tasks को प्राथमिकता दे सकते हैं. यह मशीन लर्निंग के सामान्य टास्क के लिए, पहले से तैयार सलूशन उपलब्ध कराता है. जैसे, ऑब्जेक्ट का पता लगाना, टेक्स्ट की कैटगरी तय करना, और एलएलएम (लार्ज-स्केल मशीन लर्निंग) का अनुमान लगाना.
एआई एज फ़्रेमवर्क में से कोई एक चुनें:
- LiteRT: यह एक फ़्लेक्सिबल और पसंद के मुताबिक बनाया जा सकने वाला रनटाइम है. इसमें कई तरह के मॉडल चलाए जा सकते हैं. अपने इस्तेमाल के उदाहरण के लिए कोई मॉडल चुनें. अगर ज़रूरी हो, तो उसे LiteRT फ़ॉर्मैट में बदलें और डिवाइस पर चलाएं. अगर आपको LiteRT का इस्तेमाल करना है, तो पढ़ना जारी रखें.
- MediaPipe Tasks: डिफ़ॉल्ट मॉडल के साथ प्लग-ऐंड-प्ले समाधान, जिनमें पसंद के मुताबिक बदलाव किए जा सकते हैं. वह टास्क चुनें जो आपकी एआई/एमएल समस्या को हल करता है और उसे कई प्लैटफ़ॉर्म पर लागू करता है. अगर आपको MediaPipe Tasks का इस्तेमाल करना है, तो MediaPipe Tasks के दस्तावेज़ देखें.
2. कोई मॉडल चुनना
LiteRT मॉडल को FlatBuffers नाम के बेहतर पोर्टेबल फ़ॉर्मैट में दिखाया जाता है. यह फ़ॉर्मैट, .tflite फ़ाइल एक्सटेंशन का इस्तेमाल करता है.
LiteRT मॉडल का इस्तेमाल इन तरीकों से किया जा सकता है:
मौजूदा LiteRT मॉडल का इस्तेमाल करना: सबसे आसान तरीका यह है कि पहले से
.tfliteफ़ॉर्मैट में मौजूद LiteRT मॉडल का इस्तेमाल किया जाए. इन मॉडल के लिए, कन्वर्ज़न के लिए कोई अतिरिक्त चरण जोड़ने की ज़रूरत नहीं होती. LiteRT मॉडल, Kaggle Models पर मिल सकते हैं.किसी मॉडल को LiteRT मॉडल में बदलना: मॉडल को FlatBuffers फ़ॉर्मैट (
.tflite) में बदलने और उन्हें LiteRT में चलाने के लिए, TensorFlow Converter, PyToch Converter या JAX converter का इस्तेमाल किया जा सकता है. शुरू करने के लिए, इन साइटों पर मॉडल देखे जा सकते हैं:- Kaggle Models और Hugging Face पर TensorFlow मॉडल
- Hugging Face और
torchvisionपर PyTorch मॉडल - Hugging Face पर JAX मॉडल
LiteRT मॉडल में मेटाडेटा शामिल किया जा सकता है. इसमें, मॉडल की ऐसी जानकारी होती है जिसे कोई भी व्यक्ति पढ़ सकता है. साथ ही, मशीन के लिए भी ऐसा डेटा होता है जिसे मशीन पढ़ सकती है. इससे, डिवाइस पर अनुमान लगाने के दौरान, पहले और बाद की प्रोसेसिंग वाली पाइपलाइन अपने-आप जनरेट होती हैं. ज़्यादा जानकारी के लिए, मेटाडेटा जोड़ना लेख पढ़ें.
3. मॉडल को अपने ऐप्लिकेशन में इंटिग्रेट करना
अपने LiteRT मॉडल को लागू करके, वेब, एम्बेड किए गए, और मोबाइल डिवाइसों पर पूरी तरह से डिवाइस पर अनुमान लगाए जा सकते हैं. LiteRT में, Android के लिए Python, Java और Kotlin, iOS के लिए Swift, और माइक्रो-डिवाइसों के लिए C++ के एपीआई शामिल हैं.
अपने पसंदीदा प्लैटफ़ॉर्म पर LiteRT मॉडल लागू करने के लिए, इन गाइड का इस्तेमाल करें:
- Android पर चलाना: Java/Kotlin API का इस्तेमाल करके, Android डिवाइसों पर मॉडल चलाएं.
- iOS पर चलाएं: Swift एपीआई का इस्तेमाल करके, iOS डिवाइसों पर मॉडल चलाएं.
- माइक्रो पर चलाएं: C++ API का इस्तेमाल करके, एम्बेड किए गए डिवाइसों पर मॉडल चलाएं.
Android और iOS डिवाइसों पर, हार्डवेयर ऐक्सेलरेशन का इस्तेमाल करके परफ़ॉर्मेंस को बेहतर बनाया जा सकता है. दोनों प्लैटफ़ॉर्म पर, GPU Delegate का इस्तेमाल किया जा सकता है. साथ ही, iOS पर Core ML Delegate का इस्तेमाल किया जा सकता है. नए हार्डवेयर एक्सेलेरेटर के लिए सहायता जोड़ने के लिए, आपके पास अपना प्रतिनिधि तय करने का विकल्प है.
मॉडल के टाइप के आधार पर, इनफ़रेंस को इन तरीकों से चलाया जा सकता है:
बिना मेटाडेटा वाले मॉडल: LiteRT Interpreter API का इस्तेमाल करें. यह कई प्लैटफ़ॉर्म और भाषाओं पर काम करता है. जैसे, Java, Swift, C++, Objective-C, और Python.
मेटाडेटा वाले मॉडल: LiteRT की सहायता लाइब्रेरी की मदद से, कस्टम अनुमान लगाने वाली पाइपलाइन बनाई जा सकती हैं.
TF Lite से माइग्रेट करना
TF Lite लाइब्रेरी का इस्तेमाल करने वाले ऐप्लिकेशन काम करते रहेंगे. हालांकि, सभी नए ऐक्टिव डेवलपमेंट और अपडेट सिर्फ़ LiteRT पैकेज में शामिल किए जाएंगे. LiteRT एपीआई में, TF Lite एपीआई के जैसे ही तरीके के नाम होते हैं. इसलिए, LiteRT पर माइग्रेट करने के लिए, कोड में ज़्यादा बदलाव करने की ज़रूरत नहीं होती.
ज़्यादा जानकारी के लिए, डेटा को दूसरी जगह भेजने से जुड़ी गाइड देखें.
अगले चरण
नए उपयोगकर्ताओं को LiteRT के शुरुआती निर्देश से शुरुआत करनी चाहिए. ज़्यादा जानकारी के लिए, ये सेक्शन देखें:
मॉडल कन्वर्ज़न
प्लैटफ़ॉर्म से जुड़ी गाइड