AI Edge का Google Cloud सलूशन, बड़े पैमाने पर डिवाइस पर मौजूद मशीन लर्निंग (एमएल) की टेस्टिंग और बेंचमार्किंग के लिए.
अलग-अलग मोबाइल डिवाइसों पर एमएल मॉडल की परफ़ॉर्मेंस को ऑप्टिमाइज़ करना मुश्किल हो सकता है. मैन्युअल टेस्टिंग में समय लगता है और यह महंगी होती है. साथ ही, यह अक्सर ज़्यादातर डेवलपर के लिए उपलब्ध नहीं होती. इसलिए, असल दुनिया में मॉडल की परफ़ॉर्मेंस के बारे में अनिश्चितताएं बनी रहती हैं. Google AI Edge Portal, इस समस्या को हल करता है. इसके लिए, यह अलग-अलग मोबाइल डिवाइसों पर LiteRT मॉडल की परफ़ॉर्मेंस की तुलना करने की सुविधा देता है. इससे डेवलपर को बड़े पैमाने पर एमएल मॉडल डिप्लॉय करने के लिए, सबसे सही कॉन्फ़िगरेशन ढूंढने में मदद मिलती है.
मोबाइल पर एमएल मॉडल को डिप्लॉय करने की प्रोसेस को ऑप्टिमाइज़ करना
अलग-अलग हार्डवेयर पर टेस्टिंग को आसान और तेज़ बनाएं: कुछ ही मिनटों में, सैकड़ों मोबाइल डिवाइसों पर मॉडल की परफ़ॉर्मेंस का आसानी से आकलन करें.
मॉडल की क्वालिटी के बारे में पहले से जानकारी दें और समस्याओं की पहचान करें: डिप्लॉयमेंट से पहले, हार्डवेयर के हिसाब से परफ़ॉर्मेंस में होने वाले बदलावों या रिग्रेशन (जैसे, कुछ चिपसेट या मेमोरी की कमी वाले डिवाइसों पर) का पता लगाएं.
डिवाइस की टेस्टिंग का कम शुल्क और नए हार्डवेयर का ऐक्सेस पाएं: अलग-अलग तरह के फ़िज़िकल डिवाइसों पर टेस्ट करें. इनकी संख्या लगातार बढ़ रही है. फ़िलहाल, अलग-अलग Android ओईएम के 100 से ज़्यादा डिवाइस मॉडल उपलब्ध हैं. इसके लिए, आपको अपना लैब बनाने और उसे मैनेज करने की ज़रूरत नहीं है.
डेटा पर आधारित अहम फ़ैसले लें और कारोबार से जुड़ी अहम जानकारी पाएं: Google AI Edge Portal, परफ़ॉर्मेंस से जुड़ा ज़्यादा डेटा और तुलनाएं उपलब्ध कराता है. इससे कारोबार से जुड़ी अहम जानकारी मिलती है. इसकी मदद से, मॉडल को बेहतर बनाने और डिप्लॉयमेंट के लिए तैयार होने की पुष्टि करने में मदद मिलती है.
बेंचमार्क का उदाहरण:
Google का एआई एज पोर्टल, LiteRT मॉडल की परफ़ॉर्मेंस की तुलना करने में आपकी कैसे मदद करता है
डिवाइस चुनना: हार्डवेयर के हिसाब से फ़िल्टर करने की सुविधा का इस्तेमाल करके, हमारे बड़े पूल में से अपने टारगेट डिवाइस चुनें. इनमें एनपीयू सपोर्ट, डिवाइस टियर, ब्रैंड, चिपसेट, और रैम शामिल हैं. इसके अलावा, डिवाइसों की लोकप्रिय सूचियों को तुरंत ऐक्सेस करने के लिए, हमारे चुने हुए शॉर्टकट का इस्तेमाल करें.
कॉन्फ़िगरेशन बनाएं: बेंचमार्किंग टास्क के लिए, सीपीयू, जीपीयू या एनपीयू ऐक्सेलरेटर में से कोई एक चुनें.
बेहतर तरीके से मनमुताबिक बनाएं: चुने गए ऐक्सलरेटर के लिए, हार्डवेयर के हिसाब से सेटिंग में बदलाव करें या डिफ़ॉल्ट वैल्यू का इस्तेमाल करें.
एनपीयू सपोर्ट: हार्डवेयर से तेज़ी लाने की सुविधाओं में अब एनपीयू शामिल हैं. इनमें Qualcomm के 30 से ज़्यादा डिवाइस शामिल हैं.
- ऐड-ऑफ़-टाइम (एओटी) कंपाइलेशन: प्रोडक्शन-लेवल की परफ़ॉर्मेंस के लिए इसका सुझाव दिया जाता है. इससे, ऐप्लिकेशन को बहुत तेज़ी से शुरू किया जा सकता है और मेमोरी का इस्तेमाल कम होता है. इस मोड के लिए, आपको अपने डिवाइस में मौजूद हर यूनीक एसओसी के लिए कंपाइल किए गए मॉडल देने होंगे.
- जस्ट-इन-टाइम (JIT) कंपाइलेशन: यह सुविधा, चुने गए डिवाइसों पर कंपाइलेशन के लिए एक मॉडल के साथ काम करती है.
मॉडल अपलोड करें: यूज़र इंटरफ़ेस (यूआई) का इस्तेमाल करके अपनी मॉडल फ़ाइल अपलोड करें या Google Cloud Storage बकेट में मौजूद फ़ाइल का पाथ डालें.
100 से ज़्यादा डिवाइसों पर नया बेंचमार्क जॉब बनाएं. (ध्यान दें: GIF को तेज़ी से चलाया गया है और छोटा किया गया है)
इसके बाद, अपना काम सबमिट करें और पूरा होने का इंतज़ार करें. तैयार हो जाने के बाद, इंटरैक्टिव डैशबोर्ड में नतीजे देखें:
कॉन्फ़िगरेशन की तुलना करें: सभी टेस्ट किए गए डिवाइसों पर अलग-अलग ऐक्सलरेटर का इस्तेमाल करने पर, परफ़ॉर्मेंस मेट्रिक (जैसे, औसत लेटेन्सी, पीक मेमोरी) में कितना अंतर आता है, इसे तुरंत विज़ुअलाइज़ करें.
डिवाइस पर पड़ने वाले असर का विश्लेषण करना: देखें कि चुने गए डिवाइसों की रेंज में, किसी खास मॉडल कॉन्फ़िगरेशन की परफ़ॉर्मेंस कैसी है. डिवाइस की विशेषताओं से जुड़ी परफ़ॉर्मेंस में बदलावों का पता लगाने के लिए, हिस्टोग्राम और स्कैटर प्लॉट का इस्तेमाल करें.
मेट्रिक की पूरी जानकारी: हर डिवाइस के लिए, खास मेट्रिक (शुरू होने में लगने वाला समय, अनुमान लगाने में लगने वाला समय, मेमोरी का इस्तेमाल) दिखाने वाली टेबल को ऐक्सेस करें. इस टेबल को क्रम से लगाया जा सकता है. साथ ही, इसमें डिवाइस के हार्डवेयर की खास बातों की जानकारी भी होती है. ऐक्सलरेटर के इस्तेमाल की पुष्टि करने के लिए, ऐक्सलरेटर के लिए मेमोरी असाइन करने वाली टेबल देखें. इससे पता चलता है कि मॉडल के ऑपरेशन, कर्नल में कैसे डिस्ट्रिब्यूट किए जाते हैं. यह टेबल, सीपीयू और जीपीयू के लिए उपलब्ध है. एनपीयू के लिए यह टेबल जल्द ही उपलब्ध होगी.
इंटरैक्टिव डैशबोर्ड पर, बेंचमार्क के नतीजे देखें. (ध्यान दें: GIF को छोटा करने के लिए, इसकी स्पीड बढ़ाई गई है और इसमें बदलाव किया गया है)
Google AI Edge Portal की प्राइवेट प्रीव्यू में शामिल होना
Google AI Edge Portal की झलक पाने की सुविधा, Google Cloud के उन ग्राहकों के लिए उपलब्ध है जिन्हें अनुमति दी गई है. निजी झलक की अवधि के दौरान, बिना किसी शुल्क के ऐक्सेस दिया जाता है. हालांकि, इसके लिए झलक की शर्तों का पालन करना ज़रूरी है.
यह झलक, उन डेवलपर और टीमों के लिए सबसे सही है जो LiteRT की मदद से मोबाइल एमएल ऐप्लिकेशन बना रही हैं. साथ ही, उन्हें अलग-अलग Android हार्डवेयर पर भरोसेमंद बेंचमार्किंग डेटा की ज़रूरत है. इसके अलावा, वे इस प्रॉडक्ट को बेहतर बनाने के लिए सुझाव/राय देना या शिकायत करना चाहती हैं. ऐक्सेस का अनुरोध करने के लिए, यहां साइन-अप फ़ॉर्म भरें. ऐक्सेस, अनुमति वाली सूची के ज़रिए दिया जाता है.