برای نمونه‌های تولید و تنظیم، مخزن کتاب آشپزی Gemma را بررسی کنید! بیشتر بدانید

این صفحه به‌وسیله ‏Cloud Translation API‏ ترجمه شده است.

ساخت ربات چت با Gemma

مشاهده در ai.google.dev

در Google Colab اجرا شود

در Vertex AI باز کنید

مشاهده منبع در GitHub

مدل‌های زبان بزرگ (LLM) مانند Gemma در ایجاد پاسخ‌های آموزنده برتری دارند و آنها را برای ساخت دستیارهای مجازی و ربات‌های گفتگو ایده‌آل می‌سازند.

به طور معمول، LLM ها به شیوه ای بدون حالت عمل می کنند، به این معنی که فاقد حافظه ذاتی برای ذخیره مکالمات گذشته هستند. هر درخواست یا سوال به طور مستقل پردازش می شود، بدون توجه به تعاملات قبلی. با این حال، یکی از جنبه های مهم گفتگوی طبیعی، توانایی حفظ زمینه از تعاملات قبلی است. برای غلبه بر این محدودیت و فعال کردن LLMها برای حفظ زمینه گفتگو، باید به طور صریح اطلاعات مربوطه مانند تاریخچه مکالمه (یا بخشهای مربوطه) را در هر درخواست جدید ارائه شده به LLM به آنها ارائه شود.

این آموزش به شما نشان می دهد که چگونه یک ربات چت با استفاده از نوع مدل تنظیم شده Gemma توسعه دهید.

برپایی

راه اندازی جما

برای تکمیل این آموزش، ابتدا باید دستورالعمل‌های راه‌اندازی را در Gemma setup تکمیل کنید. دستورالعمل های راه اندازی Gemma به شما نشان می دهد که چگونه کارهای زیر را انجام دهید:

در kaggle.com به Gemma دسترسی پیدا کنید.
یک زمان اجرا Colab با منابع کافی برای اجرای مدل Gemma 2B انتخاب کنید.
نام کاربری و کلید API Kaggle را ایجاد و پیکربندی کنید.

پس از تکمیل تنظیمات Gemma، به بخش بعدی بروید، جایی که متغیرهای محیطی را برای محیط Colab خود تنظیم خواهید کرد.

تنظیم متغیرهای محیطی

متغیرهای محیطی را برای KAGGLE_USERNAME و KAGGLE_KEY تنظیم کنید.

import os
from google.colab import userdata

# Note: `userdata.get` is a Colab API. If you're not using Colab, set the env
# vars as appropriate for your system.
os.environ["KAGGLE_USERNAME"] = userdata.get('KAGGLE_USERNAME')
os.environ["KAGGLE_KEY"] = userdata.get('KAGGLE_KEY')

وابستگی ها را نصب کنید

Keras و KerasNLP را نصب کنید.

# Install Keras 3 last. See https://keras.io/getting_started/ for more details.
pip install -q tensorflow-cpu
pip install -q -U keras-nlp tensorflow-hub
pip install -q -U keras>=3
pip install -q -U tensorflow-text

یک باطن انتخاب کنید

Keras یک API یادگیری عمیق چند چارچوبی و سطح بالا است که برای سادگی و سهولت استفاده طراحی شده است. Keras 3 به شما امکان می‌دهد که باطن را انتخاب کنید: TensorFlow، JAX یا PyTorch. هر سه برای این آموزش کار خواهند کرد.

import os

# Select JAX as the backend
os.environ["KERAS_BACKEND"] = "jax"

# Pre-allocate 100% of TPU memory to minimize memory fragmentation
os.environ["XLA_PYTHON_CLIENT_MEM_FRACTION"] = "1.0"

بسته های وارداتی

Keras و KerasNLP را وارد کنید.

import keras
import keras_nlp

# for reproducibility
keras.utils.set_random_seed(42)

مدل را نمونه سازی کنید

KerasNLP پیاده سازی بسیاری از معماری های مدل محبوب را ارائه می دهد. در این آموزش، مدل را با استفاده از GemmaCausalLM ، یک مدل Gemma سرتاسر برای مدل‌سازی زبان علّی، نمونه‌سازی می‌کنید. یک مدل زبان علی، نشانه بعدی را بر اساس نشانه های قبلی پیش بینی می کند.

مدل را با استفاده از متد from_preset نمونه سازی کنید:

gemma_lm = keras_nlp.models.GemmaCausalLM.from_preset("gemma_1.1_instruct_2b_en")

Attaching 'metadata.json' from model 'keras/gemma/keras/gemma_1.1_instruct_2b_en/3' to your Colab notebook...
Attaching 'metadata.json' from model 'keras/gemma/keras/gemma_1.1_instruct_2b_en/3' to your Colab notebook...
Attaching 'task.json' from model 'keras/gemma/keras/gemma_1.1_instruct_2b_en/3' to your Colab notebook...
Attaching 'config.json' from model 'keras/gemma/keras/gemma_1.1_instruct_2b_en/3' to your Colab notebook...
Attaching 'metadata.json' from model 'keras/gemma/keras/gemma_1.1_instruct_2b_en/3' to your Colab notebook...
Attaching 'metadata.json' from model 'keras/gemma/keras/gemma_1.1_instruct_2b_en/3' to your Colab notebook...
Attaching 'config.json' from model 'keras/gemma/keras/gemma_1.1_instruct_2b_en/3' to your Colab notebook...
Attaching 'config.json' from model 'keras/gemma/keras/gemma_1.1_instruct_2b_en/3' to your Colab notebook...
Attaching 'model.weights.h5' from model 'keras/gemma/keras/gemma_1.1_instruct_2b_en/3' to your Colab notebook...
Attaching 'metadata.json' from model 'keras/gemma/keras/gemma_1.1_instruct_2b_en/3' to your Colab notebook...
Attaching 'metadata.json' from model 'keras/gemma/keras/gemma_1.1_instruct_2b_en/3' to your Colab notebook...
Attaching 'preprocessor.json' from model 'keras/gemma/keras/gemma_1.1_instruct_2b_en/3' to your Colab notebook...
Attaching 'tokenizer.json' from model 'keras/gemma/keras/gemma_1.1_instruct_2b_en/3' to your Colab notebook...
Attaching 'tokenizer.json' from model 'keras/gemma/keras/gemma_1.1_instruct_2b_en/3' to your Colab notebook...
Attaching 'assets/tokenizer/vocabulary.spm' from model 'keras/gemma/keras/gemma_1.1_instruct_2b_en/3' to your Colab notebook...

تابع GemmaCausalLM.from_preset() مدل را از یک معماری و وزن از پیش تعیین شده نمونه سازی می کند. در کد بالا، رشته "gemma_1.1_instruct_2b_en" مدل Gemma 2B را با 2 میلیارد پارامتر از پیش تعیین شده مشخص می کند. مدل های جما با پارامترهای 7B، 9B و 27B نیز موجود است. می‌توانید رشته‌های کد مدل‌های Gemma را در لیست‌های Model Variation در Kaggle بیابید.

برای کسب اطلاعات بیشتر در مورد مدل از روش summary استفاده کنید:

gemma_lm.summary()

همانطور که از خلاصه مشاهده می کنید، مدل دارای 2.5 میلیارد پارامتر قابل آموزش است.

توابع کمکی قالب بندی را تعریف کنید

from IPython.display import Markdown
import textwrap

def display_chat(prompt, text):
  formatted_prompt = "<font size='+1' color='brown'>🙋‍♂️<blockquote>" + prompt + "</blockquote></font>"
  text = text.replace('•', '  *')
  text = textwrap.indent(text, '> ', predicate=lambda _: True)
  formatted_text = "<font size='+1' color='teal'>🤖\n\n" + text + "\n</font>"
  return Markdown(formatted_prompt+formatted_text)

def to_markdown(text):
  text = text.replace('•', '  *')
  return Markdown(textwrap.indent(text, '> ', predicate=lambda _: True))

ساخت ربات چت

مدل Gemma-instruction-tuned gemma_1.1_instruct_2b_en برای درک نشانه های نوبتی زیر به خوبی تنظیم شده است:

<start_of_turn>user\n  ... <end_of_turn>\n
<start_of_turn>model\n ... <end_of_turn>\n

این آموزش از این توکن ها برای ساخت ربات چت استفاده می کند. برای اطلاعات بیشتر در مورد نشانه های کنترل Gemma به دستورالعمل های قالب بندی و سیستم مراجعه کنید.

برای مدیریت وضعیت مکالمه، یک راهنما چت ایجاد کنید

class ChatState():
  """
  Manages the conversation history for a turn-based chatbot
  Follows the turn-based conversation guidelines for the Gemma family of models
  documented at https://ai.google.dev/gemma/docs/formatting
  """

  __START_TURN_USER__ = "<start_of_turn>user\n"
  __START_TURN_MODEL__ = "<start_of_turn>model\n"
  __END_TURN__ = "<end_of_turn>\n"

  def __init__(self, model, system=""):
    """
    Initializes the chat state.

    Args:
        model: The language model to use for generating responses.
        system: (Optional) System instructions or bot description.
    """
    self.model = model
    self.system = system
    self.history = []

  def add_to_history_as_user(self, message):
      """
      Adds a user message to the history with start/end turn markers.
      """
      self.history.append(self.__START_TURN_USER__ + message + self.__END_TURN__)

  def add_to_history_as_model(self, message):
      """
      Adds a model response to the history with start/end turn markers.
      """
      self.history.append(self.__START_TURN_MODEL__ + message + self.__END_TURN__)

  def get_history(self):
      """
      Returns the entire chat history as a single string.
      """
      return "".join([*self.history])

  def get_full_prompt(self):
    """
    Builds the prompt for the language model, including history and system description.
    """
    prompt = self.get_history() + self.__START_TURN_MODEL__
    if len(self.system)>0:
      prompt = self.system + "\n" + prompt
    return prompt

  def send_message(self, message):
    """
    Handles sending a user message and getting a model response.

    Args:
        message: The user's message.

    Returns:
        The model's response.
    """
    self.add_to_history_as_user(message)
    prompt = self.get_full_prompt()
    response = self.model.generate(prompt, max_length=1024)
    result = response.replace(prompt, "")  # Extract only the new response
    self.add_to_history_as_model(result)
    return result

با مدل چت کنید

چت را با مدل شروع کنید.

chat = ChatState(gemma_lm)
message = "Tell me, in a few words,  how to compute all prime numbers up to 1000?"
display_chat(message, chat.send_message(message))

🙋‍♂️

در چند کلمه به من بگویید چگونه همه اعداد اول را تا 1000 محاسبه کنم؟

🤖

غربال اراتوستن روشی پرکاربرد برای محاسبه تمام اعداد اول تا یک حد معین است. این شامل علامت گذاری مکرر مضربی از هر عدد اول است.

به گفتگو ادامه دهید.

message = "Now in Python! No numpy, please!"
display_chat(message, chat.send_message(message))

🙋‍♂️

اکنون در پایتون! بدون ناتوانی، لطفا!

🤖

def prime(n):
    if n <= 1:
        return False
    for i in range(2, int(n**0.5) + 1):
        if n % i == 0:
            return False
    return True

message = "Thank you, it works! Can you explain the code in plain English?"
display_chat(message, chat.send_message(message))

🙋‍♂️

ممنون، کار می کند! میشه کد رو به انگلیسی ساده توضیح بدید؟

🤖

کد ارائه شده یک تابع prime را تعریف می کند که بررسی می کند آیا عدد داده شده اول است یا خیر.
چگونه کار می کند:
تابع یک آرگومان منفرد به نام n می گیرد که عددی است که باید بررسی شود.
ابتدا بررسی می کند که n کمتر یا مساوی 1 باشد. اگر اینطور باشد، عدد اول نیست، بنابراین تابع False را برمی گرداند.
سپس وارد حلقه ای می شود که از طریق اعداد از 2 تا جذر n تکرار می شود.
برای هر عدد i ، بررسی می کند که آیا n به طور مساوی بر i بخش پذیر است (یعنی n % i == 0 ).
اگر n بر i بخش پذیر باشد، تابع False را برمی گرداند زیرا n اگر مقسوم علیه داشته باشد نمی تواند اول باشد.
اگر حلقه بدون یافتن مقسوم‌کننده‌ای برای n کامل شود، تابع True را برمی‌گرداند که نشان می‌دهد n یک عدد اول است.
مثال استفاده:
>>> prime(2)
True
>>> prime(3)
True
>>> prime(4)
False
>>> prime(5)
True
مزایای این کد:
این یک الگوریتم ساده و کارآمد برای یافتن اعداد اول است.
این به طور گسترده در علوم کامپیوتر و برنامه های کاربردی ریاضی مختلف استفاده می شود.

message = "Great! Now add those explanations as comments in the code."
display_chat(message, chat.send_message(message))

🙋‍♂️

عالی! حالا آن توضیحات را به عنوان نظرات در کد اضافه کنید.

🤖

def prime(n):
    """
    Checks whether a given number is prime or not.

    Args:
        n: The number to check.

    Returns:
        True if n is prime, False otherwise.
    """

    # Check if n is less than or equal to 1.
    if n <= 1:
        return False

    # Iterate through numbers from 2 to the square root of n.
    for i in range(2, int(n**0.5) + 1):
        # Check if n is divisible by i.
        if n % i == 0:
            return False

    # If the loop completes without finding any divisors for n, then n is prime.
    return True

پاسخ تولید شده را با اجرای کد تولید شده تست کنید:

def is_prime(n):
  """
  Checks if a number is prime.

  Args:
    n: The number to check.

  Returns:
    True if n is prime, False otherwise.
  """

  # If n is less than or equal to 1, it is not prime.
  if n <= 1:
    return False

  # Iterate through all the numbers from 2 to the square root of n.
  for i in range(2, int(n**0.5) + 1):
    # If n is divisible by any of the numbers in the range from 2 to the square root of n, it is not prime.
    if n % i == 0:
      return False

  # If no divisors are found, n is prime.
  return True


# Initialize an empty list to store prime numbers.
primes = []

# Iterate through all the numbers from 2 to 1000.
for i in range(2, 1001):
  # If the number is prime, add it to the list.
  if is_prime(i):
    primes.append(i)

# Print the prime numbers.
print(primes)

[2, 3, 5, 7, 11, 13, 17, 19, 23, 29, 31, 37, 41, 43, 47, 53, 59, 61, 67, 71, 73, 79, 83, 89, 97, 101, 103, 107, 109, 113, 127, 131, 137, 139, 149, 151, 157, 163, 167, 173, 179, 181, 191, 193, 197, 199, 211, 223, 227, 229, 233, 239, 241, 251, 257, 263, 269, 271, 277, 281, 283, 293, 307, 311, 313, 317, 331, 337, 347, 349, 353, 359, 367, 373, 379, 383, 389, 397, 401, 409, 419, 421, 431, 433, 439, 443, 449, 457, 461, 463, 467, 479, 487, 491, 499, 503, 509, 521, 523, 541, 547, 557, 563, 569, 571, 577, 587, 593, 599, 601, 607, 613, 617, 619, 631, 641, 643, 647, 653, 659, 661, 673, 677, 683, 691, 701, 709, 719, 727, 733, 739, 743, 751, 757, 761, 769, 773, 787, 797, 809, 811, 821, 823, 827, 829, 839, 853, 857, 859, 863, 877, 881, 883, 887, 907, 911, 919, 929, 937, 941, 947, 953, 967, 971, 977, 983, 991, 997]

از متد get_history استفاده کنید تا ببینید چگونه تمام متن توسط کلاس Chat حفظ شده است.

print(chat.get_history())

<start_of_turn>user
Tell me, in a few words,  how to compute all prime numbers up to 1000?<end_of_turn>
<start_of_turn>model
The Sieve of Eratosthenes is a widely used method to compute all prime numbers up to a given limit. It involves iteratively marking out multiples of each prime number.<end_of_turn>
<start_of_turn>user
Now in Python! No numpy, please!<end_of_turn>
<start_of_turn>model

```python
def prime(n):
    if n <= 1:
        return False
    for i in range(2, int(n**0.5) + 1):
        if n % i == 0:
            return False
    return True
```<end_of_turn>
<start_of_turn>user
Thank you, it works! Can you explain the code in plain English?<end_of_turn>
<start_of_turn>model
The provided code defines a function `prime` that checks whether a given number is prime or not.

**How it works:**

- The function takes a single argument, `n`, which is the number to check.


- It first checks if `n` is less than or equal to 1. If it is, the number is not prime, so the function returns `False`.


- It then enters a loop that iterates through numbers from 2 to the square root of `n`.


- For each number `i`, it checks if `n` is divisible evenly by `i` (i.e., `n % i == 0`).


- If `n` is divisible by `i`, the function returns `False` because `n` cannot be prime if it has a divisor.


- If the loop completes without finding any divisors for `n`, the function returns `True`, indicating that `n` is a prime number.


**Example Usage:**

```python
>>> prime(2)
True
>>> prime(3)
True
>>> prime(4)
False
>>> prime(5)
True
```

**Benefits of this Code:**

- It is a simple and efficient algorithm for finding prime numbers.
- It is widely used in various computer science and mathematical applications.<end_of_turn>
<start_of_turn>user
Great! Now add those explanations as comments in the code.<end_of_turn>
<start_of_turn>model
```python
def prime(n):
    """
    Checks whether a given number is prime or not.

    Args:
        n: The number to check.

    Returns:
        True if n is prime, False otherwise.
    """

    # Check if n is less than or equal to 1.
    if n <= 1:
        return False

    # Iterate through numbers from 2 to the square root of n.
    for i in range(2, int(n**0.5) + 1):
        # Check if n is divisible by i.
        if n % i == 0:
            return False

    # If the loop completes without finding any divisors for n, then n is prime.
    return True
```<end_of_turn>

خلاصه و ادامه مطلب

در این آموزش، نحوه چت کردن با مدل تنظیم شده Gemma 2B Instruction با استفاده از Keras در JAX را یاد گرفتید.

برای کسب اطلاعات بیشتر در مورد Gemma، این راهنماها و آموزش ها را بررسی کنید:

با Keras Gemma شروع کنید .
مدل Gemma را روی GPU بهینه کنید .
درباره ادغام Gemma با Vertex AI بیاموزید
نحوه استفاده از مدل های Gemma با Vertex AI را بیاموزید.