Gemma के साथ LIT का इस्तेमाल करना

जनरेटिव एआई पर देखें Google Colab में चलाएं GitHub पर सोर्स देखें कोडलैब के बारे में जानें

जनरेटिव एआई के प्रॉडक्ट हाल ही में लॉन्च हुए हैं. इसलिए, इनका काम करने का तरीका, एआई की मदद से सॉफ़्टवेयर के पुराने रूप हैं. ऐसे में, यह जानना ज़रूरी है कि हम इस्तेमाल किए जा रहे मॉडल, इसके व्यवहार के उदाहरणों की जांच करें, और आश्चर्य.

लर्निंग इंटरप्रिटेबिलिटी टूल (LIT; वेबसाइट, GitHub) एमएल मॉडल को डीबग करने और उसका विश्लेषण करने का प्लैटफ़ॉर्म है. इससे, यह समझने में मदद मिलती है कि एमएल मॉडल क्या और कैसे हैं वे ऐसा व्यवहार करते हैं जैसा वे करते हैं.

यहां आपको Google की सेवाओं का ज़्यादा से ज़्यादा फ़ायदा पाने के लिए, LIT को सेटअप करने का तरीका पता चलेगा जेमा मॉडल, सीक्वेंस सैलियंस मॉड्यूल का इस्तेमाल करके, अलग-अलग मेट्रिक का विश्लेषण करता है तेज़ी से आगे बढ़ने में मदद करता है.

Gemma के प्रॉम्प्ट को डीबग करने के लिए, LIT को सेट अप करना

ERROR: pip's dependency resolver does not currently take into account all the 
packages that are installed. This behaviour is the source of the following 
dependency conflicts.
bigframes 0.21.0 requires scikit-learn>=1.2.2, but you have scikit-learn 1.0.2 
which is incompatible.
google-colab 1.0.0 requires ipython==7.34.0, but you have ipython 8.14.0 
which is incompatible.

इन बातों को नज़रअंदाज़ करना सुरक्षित है.

LIT और Keras NLP इंस्टॉल करें

यह notebook, Gemma के KerasNLP लागू करने की प्रोसेस का इस्तेमाल करता है (इस बारे में ज़्यादा जानकारी कि कैसे इसे नीचे कॉन्फ़िगर करें). आपके पास keras (3.0 या इसके बाद के वर्शन) का नया वर्शन होना चाहिए keras-nlp (0.12+) और lit-nlp (1.2+) के साथ-साथ, Kaggle खाता इस्तेमाल करने के लिए बेस मॉडल.

# Keras is included in Colab runtimes, but needs to be updated to to v3.0+.
# LIT and Keras NLP are not icnldued by default and must be installed.
# Running this cell may require you to restart your session to ensure the newer
# packages are imported correctly.
 pip install -q -U "keras >= 3.0, <4.0" "keras-nlp >= 0.14" "lit-nlp >= 1.2"

Kaggle ऐक्सेस

KerasNLP ने पहले से ट्रेन किए गए मॉडल का वज़न, Kaggle पर सेव किया है. कॉन्टेंट बनाने kagglehub पैकेज का इस्तेमाल किया जा रहा है प्रमाणित करने के लिए. लाइसेंस का कानूनी समझौता भी स्वीकार करना न भूलें अपने Kaggle खाते से Gemma के लिए साइन इन करें.

Kaggle को सेट अप करने के तरीके के बारे में ज़्यादा जानने के लिए, आखिर में अपेंडिक्स देखें जोड़ें.

import kagglehub

kagglehub.login()

LIT को कॉन्फ़िगर किया जा रहा है

LIT हमारे प्रॉम्प्ट को कॉन्फ़िगर करने के लिए, make_notebook_widget() फ़ंक्शन देता है Notebook के कॉन्टेक्स्ट में डीबग करने वाले टूल.

LIT, सैंपल प्रॉम्प्ट का डेटासेट उपलब्ध कराता है. यह डेटासेट, लिंक किए गए ट्यूटोरियल के साथ होता है इस दस्तावेज़ में बाद में शामिल करेंगे.

विजेट को अलग-अलग मॉडल और/या इस्तेमाल करने के लिए कॉन्फ़िगर करने के लिए, नीचे दी गई टिप्पणियां देखें डेटासेट.

from lit_nlp.examples.prompt_debugging import notebook as lit_pdbnb

# The following function initializes a LIT Notebook Widget. It's configured by
# two required positional arguments:
#
# * `datasets_config`: A list of strings containing the dataset names and
#       paths to load from, as "dataset:path", where path can be a URL or a
#       local file path. The example below uses a special value,
#       `sample_prompts`, to load the example prompts provided in the LIT
#       distribution; no other special values are supported.
# * `models_config`: A list of strings containing the model names and paths to
#       load from, as "model:path", where path can be a URL, a local file path,
#       or the name of a preset for the configured deep learning framework.
#
# LIT supports salience computation for KerasNLP and Hugging Face Transformers
# models running on TensorFlow or PyTorch. Note that all models passed to the
# `models_config` parameter will be loaded using the same framework and runtime.
# You can cofnigre these with the following keywork arguments.
#
# * `dl_framework`: Must be one of "kerasnlp" or "transformers".
# * `dl_runtime`: Must be one of "tensorflow" or "torch".
#
# Changing the `dl_framework` value will affect the authentication method used
# to access Gemma model weights.

lit_widget = lit_pdbnb.make_notebook_widget(
    ['sample_prompts'],
    ["gemma_2b_it:gemma_1.1_instruct_2b_en"],
    dl_framework="kerasnlp",
    dl_runtime="tensorflow",
    batch_size=1,
    max_examples=5,
    precision="bfloat16",
)

अब Colab सेल में यूज़र इंटरफ़ेस (यूआई) रेंडर किया जा सकता है.

lit_widget.render()

<IPython.core.display.Javascript object>

क्रम के हिसाब से जल्दी डीबग करने की सुविधा

टेक्स्ट-टू-टेक्स्ट लार्ज लैंग्वेज मॉडल (एलएलएम), जैसे कि जेमा इनपुट सीक्वेंस लेना टोकन वाले टेक्स्ट के तौर पर डाउनलोड कर सकते हैं और नए टोकन जनरेट कर सकते हैं लॉजिकल फ़ॉलो-ऑन या पूरा होना.

डेटा बचाने के तरीकों की मदद से, यह जांच की जा सकती है कि इनपुट, मॉडल के लिए जनरेट किए गए आउटपुट के अलग-अलग हिस्सों के लिए अहम होता है. LIT का सीक्वेंस सैलिएंस मॉड्यूल इन तरीकों का इस्तेमाल करके, जानकारी के अलग-अलग लेवल पर क्रम की अहमियत: टोकन से लेकर शब्दों को वाक्य में बदलने की कोशिश करते हैं.

आप ऊपर दिए गए सेल में LIT का इस्तेमाल करके, सीक्वेंस सैलियंस के साथ गेम खेल सकते हैं मॉड्यूल का इस्तेमाल करें. सीखने-सिखाने का बेहतर अनुभव पाने के लिए, लंबे समय तक सीक्वेंस सैलियंस की मदद से प्रॉम्प्ट डीबग करने वाले ट्यूटोरियल की मदद से सीधे इस Colab में.

'सीक्वेंस Salience' के काम करने के तरीके के बारे में, शिक्षा और तकनीकी से जुड़ी ज़्यादा जानकारी के लिए, हमारा पेपर देखें.

अपेंडिक्स: Kaggle Hub पर Gemma को ऐक्सेस करना

यह notebook, इस दस्तावेज़ में Gemma के KerasNLP लागू करने के तरीके का इस्तेमाल करता है. KerasNLP ने पहले से ट्रेन किए गए मॉडल का वज़न, Kaggle पर सेव किया है. साथ ही, Gemma को पुष्टि और लाइसेंस की पुष्टि.

Kaggle खाता सेट अप करने और kagglehub पैकेज का इस्तेमाल करके, Kaggle से पुष्टि करें.

  1. अगर आपके पास Kaggle खाता नहीं है, तो एक Kaggle खाता बनाएं
  2. Gemma का ऐक्सेस मांगें
    • पक्का करें कि आपने ऊपर दिए गए खाते से Kaggle में लॉग इन किया है
    • सहमति वाले पेज पर जाएं: https://www.kaggle.com/models/google/gemma/license/consent
    • "Kaggle खाते से पुष्टि करें" को चुनें विकल्प (डिफ़ॉल्ट रूप से चुना गया) और 'आगे बढ़ें' पर क्लिक करें
    • सहमति वाला फ़ॉर्म भरना (सबसे ऊपर नाम और सरनेम वाले फ़ील्ड)
    • नीचे दिए गए चेकबॉक्स का इस्तेमाल करके नीति को स्वीकार करें
    • "स्वीकार करें" पर क्लिक करें ऐक्सेस देने के लिए सबसे नीचे दिया गया बटन
    • इससे आपको मॉडल पेज (https://www.kaggle.com/models/google/gemma) पर रीडायरेक्ट करना होगा
  3. एपीआई टोकन बनाएं
    • पक्का करें कि आपने ऊपर बनाए गए खाते से Kaggle में लॉग इन किया है
    • सेटिंग पेज पर जाएं: https://www.kaggle.com/settings
    • नीचे की ओर स्क्रोल करके एपीआई सेक्शन पर जाएं
    • "नया टोकन बनाएं" का इस्तेमाल करें टोकन जनरेशन को ट्रिगर करने के लिए बटन
    • स्क्रीन पर दिए गए मेन्यू का इस्तेमाल करके, kaggle.json नाम की JSON फ़ाइल को सेव करें. यह सेवा आपकी मशीन पर जनरेट होती है
    • JSON फ़ाइल दो प्रॉपर्टी वाला एक ऑब्जेक्ट है, उपयोगकर्ता नाम और कुंजी. आपको बाद में दोनों प्रॉपर्टी की पुष्टि करनी होगी
  4. Colab में kagglehub की मदद से पुष्टि करने के लिए, अपने एपीआई टोकन क्रेडेंशियल का इस्तेमाल करें
    • LIT Sequence Salesince Colab पर जाएं: https://colab.sandbox.google.com/github/google/generative-ai-docs/blob/main/site/en/gemma/docs/lit_gemma.ipynb#scrollTo=yKw8gDsh_nVR
    • जीपीयू रनटाइम से कनेक्ट करें
    • Gemma 2B के लिए, फ़्री-टीयर T4 रनटाइम का इस्तेमाल किया जा सकता है
    • Gemma 7B के लिए V100, L4 या A100 जीपीयू का इस्तेमाल करने के लिए, आपको प्रीपेड Colab कंप्यूट क्रेडिट या Colab Pro खाते की ज़रूरत होगी
    • आपका उपयोगकर्ता नाम और टोकन डालने वाला एचटीएमएल फ़ॉर्म दिखाने के लिए, kagglehub कोड सेल चलाएं
    • पिछले चरण में डाउनलोड की गई kaggle.json फ़ाइल से, username फ़ील्ड कॉपी करें और उसे फ़ॉर्म में मौजूद username फ़ील्ड में चिपकाएं
    • पिछले चरण में डाउनलोड की गई kaggle.json फ़ाइल से, key फ़ील्ड कॉपी करें और उसे फ़ॉर्म में मौजूद token फ़ील्ड में चिपकाएं
    • इन क्रेडेंशियल को अपने रनटाइम में सेव करने के लिए, लॉगिन बटन पर क्लिक करें

Colab रनटाइम डिसकनेक्ट होने पर, आपको आखिरी चरण दोहराना होगा. ऐसा इसलिए, क्योंकि डिसकनेक्ट करने पर क्रेडेंशियल सेव की गई कैश मेमोरी मिट जाती है.