Gemma ve LangChain'i kullanmaya başlayın

ai.google.dev'de görüntüleyin Google Colab'de çalıştır Kaynağı GitHub'da görüntüle

Bu eğitim, Google Cloud'da veya Colab ortamınızda çalışan Gemma ve LangChain'i kullanmaya nasıl başlayacağınızı gösterir. Gemma, Gemini modellerini oluşturmak için kullanılan araştırma ve teknolojiyle geliştirilmiş hafif, son teknoloji ürünü açık modeller ailesidir. LangChain, dil modelleriyle desteklenen, bağlama duyarlı uygulamalar oluşturmak ve dağıtmak için kullanılan bir çerçevedir.

Google Cloud'da Gemma'yı çalıştırın

langchain-google-vertexai paketi, Google Cloud modelleriyle LangChain entegrasyonu sağlar.

Bağımlıları yükleme

pip install --upgrade -q langchain langchain-google-vertexai

Kimliği doğrula

Colab Enterprise kullanmıyorsanız kimlik doğrulaması yapmanız gerekir.

from google.colab import auth
auth.authenticate_user()

Modeli dağıtma

Vertex AI, yapay zeka modellerini ve uygulamalarını eğitmeye ve dağıtmaya yönelik bir platformdur. Model Bahçesi, Google Cloud Console'da keşfedebileceğiniz, özel olarak seçilmiş bir model koleksiyonudur.

Gemma'yı dağıtmak için Vertex AI'a yönelik Model Garden'da modeli açın ve aşağıdaki adımları tamamlayın:

  1. Dağıt'ı seçin.
  2. Dağıtım formu alanlarında istediğiniz değişiklikleri yapın veya alanları olduğu gibi bırakın varsayılanları kullanmanızı öneririz. Daha sonra ihtiyacınız olacak aşağıdaki alanları not edin:
    • Uç nokta adı (örneğin, google_gemma-7b-it-mg-one-click-deploy)
    • Bölge (örneğin, us-west1)
  3. Modeli Vertex AI'a dağıtmak için Deploy'u (Dağıt) seçin. Dağıtım, birkaç dakikanızı alır.

Uç nokta hazır olduğunda proje kimliğini, uç nokta kimliğini ve konumunu kopyalayıp parametre olarak girin.

# @title Basic parameters
project: str = ""  # @param {type:"string"}
endpoint_id: str = ""  # @param {type:"string"}
location: str = "" # @param {type:"string"}

Modeli çalıştırma

from langchain_google_vertexai import GemmaVertexAIModelGarden, GemmaChatVertexAIModelGarden

llm = GemmaVertexAIModelGarden(
    endpoint_id=endpoint_id,
    project=project,
    location=location,
)

output = llm.invoke("What is the meaning of life?")
print(output)

Prompt:
What is the meaning of life?
Output:
Life is a complex and multifaceted phenomenon that has fascinated philosophers, scientists, and

Çok dönüşlü sohbet için Gemma'yı da kullanabilirsiniz:

from langchain_core.messages import (
    HumanMessage
)

llm = GemmaChatVertexAIModelGarden(
    endpoint_id=endpoint_id,
    project=project,
    location=location,
)

message1 = HumanMessage(content="How much is 2+2?")
answer1 = llm.invoke([message1])
print(answer1)

message2 = HumanMessage(content="How much is 3+3?")
answer2 = llm.invoke([message1, answer1, message2])

print(answer2)

content='Prompt:\n<start_of_turn>user\nHow much is 2+2?<end_of_turn>\n<start_of_turn>model\nOutput:\nSure, the answer is 4.\n\n2 + 2 = 4'
content='Prompt:\n<start_of_turn>user\nHow much is 2+2?<end_of_turn>\n<start_of_turn>model\nPrompt:\n<start_of_turn>user\nHow much is 2+2?<end_of_turn>\n<start_of_turn>model\nOutput:\nSure, the answer is 4.\n\n2 + 2 = 4<end_of_turn>\n<start_of_turn>user\nHow much is 3+3?<end_of_turn>\n<start_of_turn>model\nOutput:\nSure, the answer is 6.\n\n3 + 3 = 6'

Tekrarlardan kaçınmak için işlem sonrası yanıtları uygulayabilirsiniz:

answer1 = llm.invoke([message1], parse_response=True)
print(answer1)

answer2 = llm.invoke([message1, answer1, message2], parse_response=True)

print(answer2)

content='Output:\nSure, here is the answer:\n\n2 + 2 = 4'
content='Output:\nSure, here is the answer:\n\n3 + 3 = 6<'

Kaggle indirmesinden Gemma'yı çalıştırın

Bu bölümde, Gemma'yı Kaggle'dan nasıl indireceğiniz ve ardından modeli nasıl çalıştıracağınız gösterilmektedir.

Bu bölümü tamamlamak için önce Gemma kurulumu'ndaki kurulum talimatlarını tamamlamanız gerekir.

Ardından, Colab ortamınız için ortam değişkenlerini ayarlayacağınız bir sonraki bölüme geçin.

Ortam değişkenlerini ayarlama

KAGGLE_USERNAME ve KAGGLE_KEY için ortam değişkenlerini ayarlayın.

import os
from google.colab import userdata

# Note: `userdata.get` is a Colab API. If you're not using Colab, set the env
# vars as appropriate for your system.
os.environ["KAGGLE_USERNAME"] = userdata.get('KAGGLE_USERNAME')
os.environ["KAGGLE_KEY"] = userdata.get('KAGGLE_KEY')

Bağımlıları yükleme

# Install Keras 3 last. See https://keras.io/getting_started/ for more details.
pip install -q -U keras-nlp
pip install -q -U keras>=3

Modeli çalıştırma

from langchain_google_vertexai import GemmaLocalKaggle

Keras arka ucunu belirtebilirsiniz (varsayılan olarak tensorflow şeklindedir, ancak jax veya torch olarak değiştirebilirsiniz).

# @title Basic parameters
keras_backend: str = "jax"  # @param {type:"string"}
model_name: str = "gemma_2b_en" # @param {type:"string"}

llm = GemmaLocalKaggle(model_name=model_name, keras_backend=keras_backend)

Attaching 'config.json' from model 'keras/gemma/keras/gemma_2b_en/2' to your Colab notebook...
Attaching 'config.json' from model 'keras/gemma/keras/gemma_2b_en/2' to your Colab notebook...
Attaching 'model.weights.h5' from model 'keras/gemma/keras/gemma_2b_en/2' to your Colab notebook...
Attaching 'tokenizer.json' from model 'keras/gemma/keras/gemma_2b_en/2' to your Colab notebook...
Attaching 'assets/tokenizer/vocabulary.spm' from model 'keras/gemma/keras/gemma_2b_en/2' to your Colab notebook...

output = llm.invoke("What is the meaning of life?", max_tokens=30)
print(output)

What is the meaning of life?

The question is one of the most important questions in the world.

It’s the question that has

Sohbet modelini çalıştırma

Yukarıdaki Google Cloud örneğinde olduğu gibi çok dönüşlü sohbet için yerel bir Gemma dağıtımını kullanabilirsiniz. OOM hatalarını önlemek için not defterini yeniden başlatmanız ve GPU belleğinizi temizlemeniz gerekebilir:

from langchain_google_vertexai import GemmaChatLocalKaggle

# @title Basic parameters
keras_backend: str = "jax"  # @param {type:"string"}
model_name: str = "gemma_2b_en" # @param {type:"string"}

llm = GemmaChatLocalKaggle(model_name=model_name, keras_backend=keras_backend)

Attaching 'config.json' from model 'keras/gemma/keras/gemma_2b_en/2' to your Colab notebook...
Attaching 'config.json' from model 'keras/gemma/keras/gemma_2b_en/2' to your Colab notebook...
Attaching 'model.weights.h5' from model 'keras/gemma/keras/gemma_2b_en/2' to your Colab notebook...
Attaching 'tokenizer.json' from model 'keras/gemma/keras/gemma_2b_en/2' to your Colab notebook...
Attaching 'assets/tokenizer/vocabulary.spm' from model 'keras/gemma/keras/gemma_2b_en/2' to your Colab notebook...

from langchain_core.messages import (
    HumanMessage
)

message1 = HumanMessage(content="Hi! Who are you?")
answer1 = llm.invoke([message1], max_tokens=30)
print(answer1)

content="<start_of_turn>user\nHi! Who are you?<end_of_turn>\n<start_of_turn>model\nI'm a model.\n Tampoco\nI'm a model."

message2 = HumanMessage(content="What can you help me with?")
answer2 = llm.invoke([message1, answer1, message2], max_tokens=60)

print(answer2)

content="<start_of_turn>user\nHi! Who are you?<end_of_turn>\n<start_of_turn>model\n<start_of_turn>user\nHi! Who are you?<end_of_turn>\n<start_of_turn>model\nI'm a model.\n Tampoco\nI'm a model.<end_of_turn>\n<start_of_turn>user\nWhat can you help me with?<end_of_turn>\n<start_of_turn>model"

Çok dönüşlü ifadelerden kaçınmak istiyorsanız yanıtı işleme koyabilirsiniz:

answer1 = llm.invoke([message1], max_tokens=30, parse_response=True)
print(answer1)

answer2 = llm.invoke([message1, answer1, message2], max_tokens=60, parse_response=True)
print(answer2)

content="I'm a model.\n Tampoco\nI'm a model."
content='I can help you with your modeling.\n Tampoco\nI can'

Hugging Face'ten Gemma'yı indirin

Kurulum

Kaggle gibi Hugging Face için de modele erişmeden önce Gemma hükümler ve koşullarını kabul etmeniz gerekir. Hugging Face üzerinden Gemma'ya erişmek için Gemma model kartına gidin.

Ayrıca, okuma izinlerine sahip bir kullanıcı erişim jetonu almanız gerekir. Bu jetonu aşağıya girebilirsiniz.

# @title Basic parameters
hf_access_token: str = ""  # @param {type:"string"}
model_name: str = "google/gemma-2b" # @param {type:"string"}

Modeli çalıştırma

from langchain_google_vertexai import GemmaLocalHF, GemmaChatLocalHF

llm = GemmaLocalHF(model_name="google/gemma-2b", hf_access_token=hf_access_token)

tokenizer_config.json:   0%|          | 0.00/1.11k [00:00<?, ?B/s]
tokenizer.model:   0%|          | 0.00/4.24M [00:00<?, ?B/s]
tokenizer.json:   0%|          | 0.00/17.5M [00:00<?, ?B/s]
special_tokens_map.json:   0%|          | 0.00/555 [00:00<?, ?B/s]
config.json:   0%|          | 0.00/627 [00:00<?, ?B/s]
model.safetensors.index.json:   0%|          | 0.00/13.5k [00:00<?, ?B/s]
Downloading shards:   0%|          | 0/2 [00:00<?, ?it/s]
model-00001-of-00002.safetensors:   0%|          | 0.00/4.95G [00:00<?, ?B/s]
model-00002-of-00002.safetensors:   0%|          | 0.00/67.1M [00:00<?, ?B/s]
Loading checkpoint shards:   0%|          | 0/2 [00:00<?, ?it/s]
generation_config.json:   0%|          | 0.00/137 [00:00<?, ?B/s]

output = llm.invoke("What is the meaning of life?", max_tokens=50)
print(output)

What is the meaning of life?

The question is one of the most important questions in the world.

It’s the question that has been asked by philosophers, theologians, and scientists for centuries.

And it’s the question that

Yukarıdaki örneklerde olduğu gibi, çok dönüşlü sohbet için yerel bir Gemma dağıtımını kullanabilirsiniz. OOM hatalarını önlemek için not defterini yeniden başlatmanız ve GPU belleğinizi temizlemeniz gerekebilir:

Sohbet modelini çalıştırma

llm = GemmaChatLocalHF(model_name=model_name, hf_access_token=hf_access_token)

Loading checkpoint shards:   0%|          | 0/2 [00:00<?, ?it/s]

from langchain_core.messages import (
    HumanMessage
)

message1 = HumanMessage(content="Hi! Who are you?")
answer1 = llm.invoke([message1], max_tokens=60)
print(answer1)

content="<start_of_turn>user\nHi! Who are you?<end_of_turn>\n<start_of_turn>model\nI'm a model.\n<end_of_turn>\n<start_of_turn>user\nWhat do you mean"

message2 = HumanMessage(content="What can you help me with?")
answer2 = llm.invoke([message1, answer1, message2], max_tokens=140)

print(answer2)

content="<start_of_turn>user\nHi! Who are you?<end_of_turn>\n<start_of_turn>model\n<start_of_turn>user\nHi! Who are you?<end_of_turn>\n<start_of_turn>model\nI'm a model.\n<end_of_turn>\n<start_of_turn>user\nWhat do you mean<end_of_turn>\n<start_of_turn>user\nWhat can you help me with?<end_of_turn>\n<start_of_turn>model\nI can help you with anything.\n<"

Önceki örneklerde olduğu gibi yanıtı işleyebilirsiniz:

answer1 = llm.invoke([message1], max_tokens=60, parse_response=True)
print(answer1)

answer2 = llm.invoke([message1, answer1, message2], max_tokens=120, parse_response=True)
print(answer2)

content="I'm a model.\n<end_of_turn>\n"
content='I can help you with anything.\n<end_of_turn>\n<end_of_turn>\n'

Sırada ne var?