با استفاده از KerasNLP با Gemma شروع کنید

مشاهده در ai.google.dev در Google Colab اجرا شود در Vertex AI باز کنید مشاهده منبع در GitHub

این آموزش به شما نشان می دهد که چگونه با استفاده از KerasNLP با Gemma شروع کنید. Gemma خانواده ای از مدل های سبک وزن و مدرن است که از همان تحقیقات و فناوری استفاده شده برای ایجاد مدل های Gemini ساخته شده است. KerasNLP مجموعه ای از مدل های پردازش زبان طبیعی (NLP) است که در Keras پیاده سازی شده و بر روی JAX، PyTorch و TensorFlow قابل اجرا است.

در این آموزش، از Gemma برای ایجاد پاسخ های متنی به چندین درخواست استفاده می کنید. اگر در Keras تازه کار هستید، ممکن است بخواهید قبل از شروع کار با Keras را بخوانید، اما مجبور نیستید. در حین کار با این آموزش بیشتر در مورد Keras خواهید آموخت.

برپایی

تنظیم جما

برای تکمیل این آموزش، ابتدا باید دستورالعمل‌های راه‌اندازی را در Gemma setup تکمیل کنید. دستورالعمل های راه اندازی Gemma به شما نشان می دهد که چگونه کارهای زیر را انجام دهید:

  • در kaggle.com به Gemma دسترسی پیدا کنید.
  • یک زمان اجرا Colab با منابع کافی برای اجرای مدل Gemma 2B انتخاب کنید.
  • نام کاربری و کلید API Kaggle را ایجاد و پیکربندی کنید.

پس از تکمیل تنظیمات Gemma، به بخش بعدی بروید، جایی که متغیرهای محیطی را برای محیط Colab خود تنظیم خواهید کرد.

تنظیم متغیرهای محیطی

متغیرهای محیطی را برای KAGGLE_USERNAME و KAGGLE_KEY تنظیم کنید.

import os
from google.colab import userdata

# Note: `userdata.get` is a Colab API. If you're not using Colab, set the env
# vars as appropriate for your system.
os.environ["KAGGLE_USERNAME"] = userdata.get('KAGGLE_USERNAME')
os.environ["KAGGLE_KEY"] = userdata.get('KAGGLE_KEY')

وابستگی ها را نصب کنید

Keras و KerasNLP را نصب کنید.

# Install Keras 3 last. See https://keras.io/getting_started/ for more details.
pip install -q -U keras-nlp
pip install -q -U "keras>=3"

یک باطن انتخاب کنید

Keras یک API یادگیری عمیق چند چارچوبی و سطح بالا است که برای سادگی و سهولت استفاده طراحی شده است. Keras 3 به شما امکان می‌دهد که باطن را انتخاب کنید: TensorFlow، JAX یا PyTorch. هر سه برای این آموزش کار خواهند کرد.

import os

os.environ["KERAS_BACKEND"] = "jax"  # Or "tensorflow" or "torch".
os.environ["XLA_PYTHON_CLIENT_MEM_FRACTION"] = "0.9"

بسته های وارداتی

Keras و KerasNLP را وارد کنید.

import keras
import keras_nlp

یک مدل ایجاد کنید

KerasNLP پیاده سازی بسیاری از معماری های مدل محبوب را ارائه می دهد. در این آموزش، یک مدل با استفاده از GemmaCausalLM ، یک مدل Gemma سرتاسر برای مدل‌سازی زبان علی ایجاد می‌کنید. یک مدل زبان علی، نشانه بعدی را بر اساس نشانه های قبلی پیش بینی می کند.

مدل را با استفاده از متد from_preset ایجاد کنید:

gemma_lm = keras_nlp.models.GemmaCausalLM.from_preset("gemma2_2b_en")

تابع GemmaCausalLM.from_preset() مدل را از یک معماری و وزن از پیش تعیین شده نمونه سازی می کند. در کد بالا، رشته "gemma2_2b_en" مدل Gemma 2 2B را از پیش تعیین شده با 2 میلیارد پارامتر مشخص می کند. مدل های جما با پارامترهای 7B، 9B و 27B نیز موجود است. می‌توانید رشته‌های کد مدل‌های Gemma را در لیست‌های Model Variation در Kaggle بیابید.

summary برای دریافت اطلاعات بیشتر در مورد مدل استفاده کنید:

gemma_lm.summary()

همانطور که از خلاصه می بینید، مدل دارای 2.6 میلیارد پارامتر قابل آموزش است.

تولید متن

اکنون زمان تولید متن است! مدل دارای یک روش generate است که متن را بر اساس یک اعلان تولید می کند. آرگومان اختیاری max_length حداکثر طول دنباله تولید شده را مشخص می کند.

آن را با اعلان "what is keras in 3 bullet points?" امتحان کنید. .

gemma_lm.generate("what is keras in 3 bullet points?", max_length=64)

'what is keras in 3 bullet points?\n\n[Answer 1]\n\nKeras is a high-level neural networks API, written in Python and capable of running on top of TensorFlow, CNTK, Theano, or PlaidML. It is designed to be user-friendly and easy to extend.\n\n'

سعی کنید دوباره با یک فرمان دیگر با generate تماس بگیرید.

gemma_lm.generate("The universe is", max_length=64)

'The universe is a vast and mysterious place, filled with countless stars, planets, and galaxies. But what if there was a way to see the universe in a whole new way? What if we could see the universe as it was when it was first created? What if we could see the universe as it is now'

اگر روی پشتیبان‌های JAX یا TensorFlow اجرا می‌کنید، متوجه خواهید شد که دومین generate تقریباً بلافاصله برمی‌گردد. این به این دلیل است که هر فراخوانی برای generate یک اندازه دسته ای معین و max_length با XLA کامپایل می شود. اجرای اول گران است، اما اجراهای بعدی بسیار سریعتر هستند.

همچنین می‌توانید با استفاده از فهرستی به عنوان ورودی، درخواست‌های دسته‌ای ارائه کنید:

gemma_lm.generate(
    ["what is keras in 3 bullet points?",
     "The universe is"],
    max_length=64)

['what is keras in 3 bullet points?\n\n[Answer 1]\n\nKeras is a high-level neural networks API, written in Python and capable of running on top of TensorFlow, CNTK, Theano, or PlaidML. It is designed to be user-friendly and easy to extend.\n\n',
 'The universe is a vast and mysterious place, filled with countless stars, planets, and galaxies. But what if there was a way to see the universe in a whole new way? What if we could see the universe as it was when it was first created? What if we could see the universe as it is now']

اختیاری: نمونه‌گر دیگری را امتحان کنید

شما می توانید استراتژی تولید GemmaCausalLM را با تنظیم آرگومان sampler بر روی compile() کنترل کنید. به‌طور پیش‌فرض، از نمونه‌گیری "greedy" استفاده می‌شود.

به عنوان یک آزمایش، یک استراتژی "top_k" را تنظیم کنید:

gemma_lm.compile(sampler="top_k")
gemma_lm.generate("The universe is", max_length=64)

'The universe is a big place, and there are so many things we do not know or understand about it.\n\nBut we can learn a lot about our world by studying what is known to us.\n\nFor example, if you look at the moon, it has many features that can be seen from the surface.'

در حالی که الگوریتم حریص پیش‌فرض همیشه نشانه‌ای را با بیشترین احتمال انتخاب می‌کند، الگوریتم top-K به‌طور تصادفی نشانه بعدی را از توکن‌های احتمال K بالا انتخاب می‌کند.

شما مجبور نیستید یک نمونه‌بردار مشخص کنید، و می‌توانید آخرین قطعه کد را نادیده بگیرید اگر برای مورد استفاده شما مفید نیست. اگر می‌خواهید درباره نمونه‌های موجود بیشتر بدانید، به نمونه‌گیرها مراجعه کنید.

بعدش چی

در این آموزش، نحوه تولید متن با استفاده از KerasNLP و Gemma را یاد گرفتید. در اینجا چند پیشنهاد برای آموختن بعدی وجود دارد: