使用 Gemma 建構聊天機器人

前往 ai.google.dev 查看 在 Google Colab 中執行 在 Vertex AI 中開啟 前往 GitHub 查看原始碼

Gemma 等大型語言模型 (LLM) 可生成資訊豐富的回覆，非常適合用來建構虛擬助理和聊天機器人。

傳統上，LLM 以無狀態的方式運作，意即缺乏儲存過往對話的固有記憶體。系統會單獨處理每個提示或問題，並忽略先前的互動。不過，自然對話的關鍵在於保留先前互動的背景資訊。為了克服這項限制並讓 LLM 維護對話脈絡，每次向 LLM 發出新提示時，必須明確提供相關資訊，例如對話記錄或相關部分。

本教學課程說明如何使用 Gemma 經過指令調整的模型變化版本，來開發聊天機器人。

設定

Gemma 設定

如要完成本教學課程，您必須先前往 Gemma 設定頁面完成設定。Gemma 設定操作說明會說明如何執行下列操作：

  • 前往 kaggle.com 存取 Gemma。
  • 選取資源充足且可執行的 Colab 執行階段 Gemma 2B 模型
  • 產生並設定 Kaggle 使用者名稱和 API 金鑰。

完成 Gemma 設定後，請繼續前往下一節，設定 Colab 環境的環境變數。

設定環境變數

設定 KAGGLE_USERNAME 和 KAGGLE_KEY 的環境變數。

import os
from google.colab import userdata

# Note: `userdata.get` is a Colab API. If you're not using Colab, set the env
# vars as appropriate for your system.
os.environ["KAGGLE_USERNAME"] = userdata.get('KAGGLE_USERNAME')
os.environ["KAGGLE_KEY"] = userdata.get('KAGGLE_KEY')

安裝依附元件

安裝 Keras 和 KerasNLP。

# Install Keras 3 last. See https://keras.io/getting_started/ for more details.
pip install -q tensorflow-cpu
pip install -q -U keras-nlp tensorflow-hub
pip install -q -U "keras>=3"
pip install -q -U tensorflow-text

選取後端

Keras 是高階的多架構深度學習 API，專為簡化使用而設計。Keras 3 可讓您選擇後端：TensorFlow、JAX 或 PyTorch。這三者都能進行本教學課程。

import os

# Select JAX as the backend
os.environ["KERAS_BACKEND"] = "jax"

# Pre-allocate 100% of TPU memory to minimize memory fragmentation
os.environ["XLA_PYTHON_CLIENT_MEM_FRACTION"] = "1.0"

匯入套件

匯入 Keras 和 KerasNLP。

import keras
import keras_nlp

# for reproducibility
keras.utils.set_random_seed(42)

將模型例項化

KerasNLP 可實作許多熱門的模型架構。在這個教學課程中，您會使用 GemmaCausalLM 將模型例項化，這是用於因果語言模型的端對端 Gemma 模型。因果語言模型會根據先前的符記預測下一個符記。

使用 from_preset 方法將模型例項化：

gemma_lm = keras_nlp.models.GemmaCausalLM.from_preset("gemma2_instruct_2b_en")

GemmaCausalLM.from_preset() 函式會根據預設架構和權重將模型例項化。在上述程式碼中，字串 "gemma2_instruct_2b_en" 指定具有 20 億個參數的 Gemma 2 2B 模型。您也可以使用具有 7B、9B 和 27B 參數的 Gemma 模型。您可以在 Kaggle 的「模型變化版本」清單中，找到 Gemma 模型的程式碼字串。

使用 summary 方法取得模型的詳細資訊：

gemma_lm.summary()

如摘要所示，模型有 26 億個可訓練參數。

定義格式設定輔助函式

from IPython.display import Markdown
import textwrap

def display_chat(prompt, text):
  formatted_prompt = "<font size='+1' color='brown'>🙋‍♂️<blockquote>" + prompt + "</blockquote></font>"
  text = text.replace('•', '  *')
  text = textwrap.indent(text, '> ', predicate=lambda _: True)
  formatted_text = "<font size='+1' color='teal'>🤖\n\n" + text + "\n</font>"
  return Markdown(formatted_prompt+formatted_text)

def to_markdown(text):
  text = text.replace('•', '  *')
  return Markdown(textwrap.indent(text, '> ', predicate=lambda _: True))

建構聊天機器人

Gemma 指令調整模型 gemma2_instruct_2b_en 經過微調，可解讀下列回合符記：

<start_of_turn>user\n  ... <end_of_turn>\n
<start_of_turn>model\n ... <end_of_turn>\n

本教學課程會使用這些符記建構聊天機器人。如要進一步瞭解 Gemma 控制權杖，請參閱格式設定和系統操作說明。

建立即時通訊小幫手來管理對話狀態

class ChatState():
  """
  Manages the conversation history for a turn-based chatbot
  Follows the turn-based conversation guidelines for the Gemma family of models
  documented at https://ai.google.dev/gemma/docs/formatting
  """

  __START_TURN_USER__ = "<start_of_turn>user\n"
  __START_TURN_MODEL__ = "<start_of_turn>model\n"
  __END_TURN__ = "<end_of_turn>\n"

  def __init__(self, model, system=""):
    """
    Initializes the chat state.

    Args:
        model: The language model to use for generating responses.
        system: (Optional) System instructions or bot description.
    """
    self.model = model
    self.system = system
    self.history = []

  def add_to_history_as_user(self, message):
      """
      Adds a user message to the history with start/end turn markers.
      """
      self.history.append(self.__START_TURN_USER__ + message + self.__END_TURN__)

  def add_to_history_as_model(self, message):
      """
      Adds a model response to the history with start/end turn markers.
      """
      self.history.append(self.__START_TURN_MODEL__ + message)

  def get_history(self):
      """
      Returns the entire chat history as a single string.
      """
      return "".join([*self.history])

  def get_full_prompt(self):
    """
    Builds the prompt for the language model, including history and system description.
    """
    prompt = self.get_history() + self.__START_TURN_MODEL__
    if len(self.system)>0:
      prompt = self.system + "\n" + prompt
    return prompt

  def send_message(self, message):
    """
    Handles sending a user message and getting a model response.

    Args:
        message: The user's message.

    Returns:
        The model's response.
    """
    self.add_to_history_as_user(message)
    prompt = self.get_full_prompt()
    response = self.model.generate(prompt, max_length=2048)
    result = response.replace(prompt, "")  # Extract only the new response
    self.add_to_history_as_model(result)
    return result

與模型對話

開始與模型聊天。

chat = ChatState(gemma_lm)
message = "Tell me, in a few words,  how to compute all prime numbers up to 1000?"
display_chat(message, chat.send_message(message))

🙋‍♂️

請詳細回答看看，如何將所有質數計算至 1000？
🤖?

Eratosthenes 的椅子。

延續對話，

message = "Now in Python! No numpy, please!"
display_chat(message, chat.send_message(message))

🙋‍♂️

現已支援 Python！沒騙你，拜託！
🤖?

def sieve_of_eratosthenes(n):
  """Returns a list of prime numbers up to n."""
  primes = [True] * (n + 1)
  primes[0] = primes[1] = False
  for i in range(2, int(n**0.5) + 1):
    if primes[i]:
      for j in range(i * i, n + 1, i):
        primes[j] = False
  return [i for i, is_prime in enumerate(primes) if is_prime]

primes = sieve_of_eratosthenes(1000)
print(primes)

說明：

  1. 初始化：

    • primes = [True] * (n + 1)：建立布林值清單的 primes，一開始假設所有數字都是質數。
    • primes[0] = primes[1] = False：將 0 和 1 設為非質數。

  2. 疊代：

    • for i in range(2, int(n**0.5) + 1):：從 2 疊代到 n 的平方根。因為任何複合數的質因數必須小於或等於其平方根，所以我們只需要檢查平方根。
    • if primes[i]:：如果 i 標示為質數：
      • for j in range(i * i, n + 1, i):：將所有 i 的倍數標示為非基本。

  3. 結果：

    • return [i for i, is_prime in enumerate(primes) if is_prime]：建立索引清單，其中 primes[i] 為 True，代表質數。

如需任何後續的詳細說明，歡迎與我們聯絡！ 

message = "Thank you, it works! Can you explain the code in French?"
display_chat(message, chat.send_message(message))

🙋‍♂️

謝謝，您的成功！你能說明法文版嗎？
🤖?

烤爐！Voici une explication du code en français ：

def sieve_of_eratosthenes(n):
  """Retourne une liste de nombres premiers jusqu'à n."""
  primes = [True] * (n + 1)
  primes[0] = primes[1] = False
  for i in range(2, int(n**0.5) + 1):
    if primes[i]:
      for j in range(i * i, n + 1, i):
        primes[j] = False
  return [i for i, is_prime in enumerate(primes) if is_prime]

primes = sieve_of_eratosthenes(1000)
print(primes)

示例：

  1. 初始化：

    • primes = [True] * (n + 1)：Crée une liste primes de valeurs booléennes, Initialement supposant que tous les nombres sont premiers。
    • primes[0] = primes[1] = False：Définit 0 等 1 網路非首播。

  2. 疊代：

    • for i in range(2, int(n**0.5) + 1):：Itère de 2 jusqu'à la racine carrée de n.Nous ne devons vérifier que jusqu'à la racine carrée car tout nombre 複合 doit avoir un Feeur premier inférieur ou égal à sa racine carrée.
    • if primes[i]:：第 i 名 considéré comme 首映：
      • for j in range(i * i, n + 1, i):：Marquer tous 發表多項非首播的 i 內容。

  3. 成果：

    • return [i for i, is_prime in enumerate(primes) if is_prime]：Crée une liste des indices o 可從 primes[i] est vrai, représentant les nombres premier.

N'hésitez pas à me requirementser si vous avez besoin d'une explication with détaillée de quelque! 

message = "Great! Now add those explanations as comments in the code."
display_chat(message, chat.send_message(message))

🙋‍♂️

太好了！接著在程式碼中以註解的形式加入說明。
🤖?

def sieve_of_eratosthenes(n):
  """Retourne une liste de nombres premiers jusqu'à n."""
  # Initialise une liste de boolean avec True pour tous les nombres de 0 à n
  primes = [True] * (n + 1)
  # Définit 0 et 1 comme non-premiers
  primes[0] = primes[1] = False
  # Itère de 2 à la racine carrée de n
  for i in range(2, int(n**0.5) + 1):
    # Si i est considéré comme premier
    if primes[i]:
      # Itère sur tous les multiples de i
      for j in range(i * i, n + 1, i):
        # Définit les multiples de i comme non-premiers
        primes[j] = False
  # Retourne la liste des indices des nombres premiers
  return [i for i, is_prime in enumerate(primes) if is_prime]

primes = sieve_of_eratosthenes(1000)
print(primes)

示例：

  • 初始化：
    • primes = [True] * (n + 1)：Crée une liste primes de valeurs booléennes, Initialement supposant que tous les nombres sont premiers。
    • primes[0] = primes[1] = False：Définit 0 等 1 網路非首播。
  • 疊代：
    • for i in range(2, int(n**0.5) + 1):：Itère de 2 jusqu'à la racine carrée de n.Nous ne devons vérifier que jusqu'à la racine carrée car tout nombre 複合 doit avoir un Feeur premier inférieur ou égal à sa racine carrée.
    • if primes[i]:：第 i 名 considéré comme 首映：
      • for j in range(i * i, n + 1, i):：Marquer tous 發表多項非首播的 i 內容。
  • 成果：
    • return [i for i, is_prime in enumerate(primes) if is_prime]：Crée une liste des indices o 可從 primes[i] est vrai, représentant les nombres premier.

執行產生的程式碼來測試產生的回應：

def sieve_of_eratosthenes(n):
  """Retourne une liste de nombres premiers jusqu'à n."""
  # Initialise une liste de boolean avec True pour tous les nombres de 0 à n
  primes = [True] * (n + 1)
  # Définit 0 et 1 comme non-premiers
  primes[0] = primes[1] = False
  # Itère de 2 à la racine carrée de n
  for i in range(2, int(n**0.5) + 1):
    # Si i est considéré comme premier
    if primes[i]:
      # Itère sur tous les multiples de i
      for j in range(i * i, n + 1, i):
        # Définit les multiples de i comme non-premiers
        primes[j] = False
  # Retourne la liste des indices des nombres premiers
  return [i for i, is_prime in enumerate(primes) if is_prime]

primes = sieve_of_eratosthenes(1000)
print(primes)

[2, 3, 5, 7, 11, 13, 17, 19, 23, 29, 31, 37, 41, 43, 47, 53, 59, 61, 67, 71, 73, 79, 83, 89, 97, 101, 103, 107, 109, 113, 127, 131, 137, 139, 149, 151, 157, 163, 167, 173, 179, 181, 191, 193, 197, 199, 211, 223, 227, 229, 233, 239, 241, 251, 257, 263, 269, 271, 277, 281, 283, 293, 307, 311, 313, 317, 331, 337, 347, 349, 353, 359, 367, 373, 379, 383, 389, 397, 401, 409, 419, 421, 431, 433, 439, 443, 449, 457, 461, 463, 467, 479, 487, 491, 499, 503, 509, 521, 523, 541, 547, 557, 563, 569, 571, 577, 587, 593, 599, 601, 607, 613, 617, 619, 631, 641, 643, 647, 653, 659, 661, 673, 677, 683, 691, 701, 709, 719, 727, 733, 739, 743, 751, 757, 761, 769, 773, 787, 797, 809, 811, 821, 823, 827, 829, 839, 853, 857, 859, 863, 877, 881, 883, 887, 907, 911, 919, 929, 937, 941, 947, 953, 967, 971, 977, 983, 991, 997]

使用 get_history 方法即可查看 Chat 類別如何保留所有背景資訊。

print(chat.get_history())

<start_of_turn>user
Tell me, in a few words,  how to compute all prime numbers up to 1000?<end_of_turn>
<start_of_turn>model
**Sieve of Eratosthenes.** 
<end_of_turn><start_of_turn>user
Now in Python! No numpy, please!<end_of_turn>
<start_of_turn>model

```python
def sieve_of_eratosthenes(n):
  """Returns a list of prime numbers up to n."""
  primes = [True] * (n + 1)
  primes[0] = primes[1] = False
  for i in range(2, int(n**0.5) + 1):
    if primes[i]:
      for j in range(i * i, n + 1, i):
        primes[j] = False
  return [i for i, is_prime in enumerate(primes) if is_prime]

primes = sieve_of_eratosthenes(1000)
print(primes)
```

**Explanation:**

1. **Initialization:**
   - `primes = [True] * (n + 1)`: Creates a list `primes` of boolean values, initially assuming all numbers are prime.
   - `primes[0] = primes[1] = False`: Sets 0 and 1 as non-prime.

2. **Iteration:**
   - `for i in range(2, int(n**0.5) + 1):`: Iterates from 2 to the square root of `n`. We only need to check up to the square root because any composite number must have a prime factor less than or equal to its square root.
   - `if primes[i]:`: If `i` is marked as prime:
     - `for j in range(i * i, n + 1, i):`: Marks all multiples of `i` as non-prime.

3. **Result:**
   - `return [i for i, is_prime in enumerate(primes) if is_prime]`: Creates a list of indices where `primes[i]` is True, representing the prime numbers.


Let me know if you'd like a more detailed explanation of any part! 
<end_of_turn><start_of_turn>user
Thank you, it works! Can you explain the code in French?<end_of_turn>
<start_of_turn>model
Bien sûr ! Voici une explication du code en français :

```python
def sieve_of_eratosthenes(n):
  """Retourne une liste de nombres premiers jusqu'à n."""
  primes = [True] * (n + 1)
  primes[0] = primes[1] = False
  for i in range(2, int(n**0.5) + 1):
    if primes[i]:
      for j in range(i * i, n + 1, i):
        primes[j] = False
  return [i for i, is_prime in enumerate(primes) if is_prime]

primes = sieve_of_eratosthenes(1000)
print(primes)
```

**Explication:**

1. **Initialisation:**
   - `primes = [True] * (n + 1)`: Crée une liste `primes` de valeurs booléennes, initialement supposant que tous les nombres sont premiers.
   - `primes[0] = primes[1] = False`: Définit 0 et 1 comme non-premiers.

2. **Itération:**
   - `for i in range(2, int(n**0.5) + 1):`: Itère de 2 jusqu'à la racine carrée de `n`. Nous ne devons vérifier que jusqu'à la racine carrée car tout nombre composite doit avoir un facteur premier inférieur ou égal à sa racine carrée.
   - `if primes[i]:`: Si `i` est considéré comme premier:
     - `for j in range(i * i, n + 1, i):`:  Marquer tous les multiples de `i` comme non-premiers.

3. **Resultat:**
   - `return [i for i, is_prime in enumerate(primes) if is_prime]`: Crée une liste des indices où `primes[i]` est vrai, représentant les nombres premiers.


N'hésitez pas à me demander si vous avez besoin d'une explication plus détaillée de quelque chose! 
<end_of_turn><start_of_turn>user
Great! Now add those explanations as comments in the code.<end_of_turn>
<start_of_turn>model

```python
def sieve_of_eratosthenes(n):
  """Retourne une liste de nombres premiers jusqu'à n."""
  # Initialise une liste de boolean avec True pour tous les nombres de 0 à n
  primes = [True] * (n + 1)
  # Définit 0 et 1 comme non-premiers
  primes[0] = primes[1] = False
  # Itère de 2 à la racine carrée de n
  for i in range(2, int(n**0.5) + 1):
    # Si i est considéré comme premier
    if primes[i]:
      # Itère sur tous les multiples de i
      for j in range(i * i, n + 1, i):
        # Définit les multiples de i comme non-premiers
        primes[j] = False
  # Retourne la liste des indices des nombres premiers
  return [i for i, is_prime in enumerate(primes) if is_prime]

primes = sieve_of_eratosthenes(1000)
print(primes)
```

**Explication:**

* **Initialisation:**
    * `primes = [True] * (n + 1)`:  Crée une liste `primes` de valeurs booléennes, initialement supposant que tous les nombres sont premiers.
    * `primes[0] = primes[1] = False`: Définit 0 et 1 comme non-premiers.
* **Itération:**
    * `for i in range(2, int(n**0.5) + 1):`: Itère de 2 jusqu'à la racine carrée de `n`. Nous ne devons vérifier que jusqu'à la racine carrée car tout nombre composite doit avoir un facteur premier inférieur ou égal à sa racine carrée.
    * `if primes[i]:`: Si `i` est considéré comme premier:
        * `for j in range(i * i, n + 1, i):`:  Marquer tous les multiples de `i` comme non-premiers.
* **Resultat:**
    * `return [i for i, is_prime in enumerate(primes) if is_prime]`: Crée une liste des indices où `primes[i]` est vrai, représentant les nombres premiers. 



<end_of_turn>

摘要與延伸閱讀

在這個教學課程中，您學到瞭如何在 JAX 上使用 Keras 與 Gemma 2B 指令調整模型進行即時通訊。

請參閱下列指南與教學課程，進一步瞭解 Gemma：