मोबाइल डिवाइसों पर Gemma को डिप्लॉय करना

इस दस्तावेज़ में, मोबाइल डिवाइसों पर Gemma मॉडल को डिप्लॉय और चलाने के अलग-अलग तरीकों और टूल के बारे में बताया गया है. इनमें Google AI Edge Gallery ऐप्लिकेशन और MediaPipe LLM Inference API का इस्तेमाल करना शामिल है.

फ़ाइन-ट्यून किए गए Gemma मॉडल को LiteRT वर्शन में बदलने के बारे में जानकारी के लिए, कन्वर्ज़न गाइड देखें.

एलएलएम इन्फ़्रेंस एपीआई को काम करते हुए देखने और अपने टास्क बंडल मॉडल को आज़माने के लिए, Google AI Edge Gallery ऐप्लिकेशन का इस्तेमाल किया जा सकता है. यह ऐप्लिकेशन, डिवाइस पर मौजूद एलएलएम के साथ इंटरैक्ट करने के लिए उपयोगकर्ता इंटरफ़ेस उपलब्ध कराता है. इससे ये काम किए जा सकते हैं:

  • मॉडल इंपोर्ट करें: अपने कस्टम .task मॉडल को ऐप्लिकेशन में लोड करें.
  • पैरामीटर कॉन्फ़िगर करना: तापमान और टॉप-के जैसी सेटिंग में बदलाव करें.
  • टेक्स्ट जनरेट करना: प्रॉम्प्ट डालें और मॉडल के जवाब देखें.
  • परफ़ॉर्मेंस की जांच करना: मॉडल की स्पीड और सटीकता का आकलन करें.

Google AI Edge Gallery ऐप्लिकेशन को इस्तेमाल करने के तरीके के बारे में ज़्यादा जानकारी के लिए, ऐप्लिकेशन का दस्तावेज़ पढ़ें. इसमें अपने मॉडल इंपोर्ट करने के निर्देश भी शामिल हैं.

MediaPipe LLM

MediaPipe LLM Inference API की मदद से, मोबाइल डिवाइसों पर Gemma मॉडल इस्तेमाल किए जा सकते हैं. एलएलएम इन्फ़रेंस एपीआई, लार्ज लैंग्वेज मॉडल के लिए रैपर के तौर पर काम करता है. इससे आपको डिवाइस पर Gemma मॉडल चलाने की सुविधा मिलती है. इसका इस्तेमाल, टेक्स्ट से टेक्स्ट जनरेट करने वाले सामान्य टास्क के लिए किया जा सकता है. जैसे, जानकारी पाना, ईमेल का ड्राफ़्ट बनाना, और दस्तावेज़ की खास जानकारी तैयार करना.

एलएलएम इन्फ़रेंस एपीआई, इन मोबाइल प्लैटफ़ॉर्म पर उपलब्ध है:

ज़्यादा जानने के लिए, MediaPipe LLM Inference के दस्तावेज़ देखें.