 Посмотреть на ai.google.dev |  Запустить в Google Colab |  Посмотреть исходный код на GitHub |
Из этой записной книжки вы узнаете, как начать работу со службой настройки с использованием клиентской библиотеки Python для API Gemini. Здесь вы узнаете, как настроить текстовую модель службы генерации текста Gemini API.
Прежде чем начать: настройте проект и ключ API.
Прежде чем вызывать API Gemini, вам необходимо настроить проект и ключ API.
Получите и защитите свой ключ API
Для вызова API Gemini вам понадобится ключ API. Если у вас его еще нет, создайте ключ в Google AI Studio.
Настоятельно рекомендуется не проверять ключ API в вашей системе контроля версий. Вместо этого вам следует хранить свой ключ API в хранилище секретов (например, Secret Manager ).
Установите пакет SDK и настройте свой ключ API.
Python SDK для Gemini API содержится в пакете google-generativeai .
Установите зависимость с помощью pip:
pip install -U google-generativeaiИмпортируйте пакет и настройте сервис с помощью своего ключа API:
import os import google.generativeai as genai genai.configure(api_key=os.environ['API_KEY'])
Настраивать
Настройка аутентификации
API Gemini позволяет настраивать модели на основе ваших собственных данных. Поскольку это ваши данные и ваши настроенные модели, требуется более строгий контроль доступа, чем может обеспечить API-ключи.
Прежде чем вы сможете запустить это руководство, вам необходимо настроить OAuth для вашего проекта .
Самый простой способ настроить Colab — скопировать содержимое файла client_secret.json в «Менеджер секретов» Colab (под значком ключа на левой панели) с секретным именем CLIENT_SECRET .
Эта команда gcloud превращает файл client_secret.json в учетные данные, которые можно использовать для аутентификации в службе.
import os
if 'COLAB_RELEASE_TAG' in os.environ:
from google.colab import userdata
import pathlib
pathlib.Path('client_secret.json').write_text(userdata.get('CLIENT_SECRET'))
# Use `--no-browser` in colab
!gcloud auth application-default login --no-browser --client-id-file client_secret.json --scopes='https://www.googleapis.com/auth/cloud-platform,https://www.googleapis.com/auth/generative-language.tuning'
else:
!gcloud auth application-default login --client-id-file client_secret.json --scopes='https://www.googleapis.com/auth/cloud-platform,https://www.googleapis.com/auth/generative-language.tuning'
Установите клиентскую библиотеку
pip install -q google-generativeai
Импортировать библиотеки
import google.generativeai as genai
Вы можете проверить существующие настроенные модели с помощью метода genai.list_tuned_model .
for i, m in zip(range(5), genai.list_tuned_models()):
print(m.name)
tunedModels/my-model-8527 tunedModels/my-model-7092 tunedModels/my-model-2778 tunedModels/my-model-1298 tunedModels/my-model-3883
Создать настроенную модель
Чтобы создать настроенную модель, вам необходимо передать свой набор данных в модель в методе genai.create_tuned_model . Вы можете сделать это, напрямую определив входные и выходные значения в вызове или импортировав их из файла в фрейм данных для передачи методу.
В этом примере вы настроите модель для генерации следующего числа в последовательности. Например, если входное значение равно 1 , модель должна вывести 2 . Если на входе one hundred , на выходе должно быть one hundred one .
base_model = [
m for m in genai.list_models()
if "createTunedModel" in m.supported_generation_methods][0]
base_model
Model(name='models/gemini-1.0-pro-001',
base_model_id='',
version='001',
display_name='Gemini 1.0 Pro',
description=('The best model for scaling across a wide range of tasks. This is a stable '
'model that supports tuning.'),
input_token_limit=30720,
output_token_limit=2048,
supported_generation_methods=['generateContent', 'countTokens', 'createTunedModel'],
temperature=0.9,
top_p=1.0,
top_k=1)
import random
name = f'generate-num-{random.randint(0,10000)}'
operation = genai.create_tuned_model(
# You can use a tuned model here too. Set `source_model="tunedModels/..."`
source_model=base_model.name,
training_data=[
{
'text_input': '1',
'output': '2',
},{
'text_input': '3',
'output': '4',
},{
'text_input': '-3',
'output': '-2',
},{
'text_input': 'twenty two',
'output': 'twenty three',
},{
'text_input': 'two hundred',
'output': 'two hundred one',
},{
'text_input': 'ninety nine',
'output': 'one hundred',
},{
'text_input': '8',
'output': '9',
},{
'text_input': '-98',
'output': '-97',
},{
'text_input': '1,000',
'output': '1,001',
},{
'text_input': '10,100,000',
'output': '10,100,001',
},{
'text_input': 'thirteen',
'output': 'fourteen',
},{
'text_input': 'eighty',
'output': 'eighty one',
},{
'text_input': 'one',
'output': 'two',
},{
'text_input': 'three',
'output': 'four',
},{
'text_input': 'seven',
'output': 'eight',
}
],
id = name,
epoch_count = 100,
batch_size=4,
learning_rate=0.001,
)
Ваша настроенная модель сразу же добавляется в список настроенных моделей, но на время настройки модели ее статус устанавливается на «создается».
model = genai.get_tuned_model(f'tunedModels/{name}')
model
TunedModel(name='tunedModels/generate-num-2946',
source_model='models/gemini-1.0-pro-001',
base_model='models/gemini-1.0-pro-001',
display_name='',
description='',
temperature=0.9,
top_p=1.0,
top_k=1,
state=<State.CREATING: 1>,
create_time=datetime.datetime(2024, 2, 21, 20, 4, 16, 448050, tzinfo=datetime.timezone.utc),
update_time=datetime.datetime(2024, 2, 21, 20, 4, 16, 448050, tzinfo=datetime.timezone.utc),
tuning_task=TuningTask(start_time=datetime.datetime(2024, 2, 21, 20, 4, 16, 890698, tzinfo=datetime.timezone.utc),
complete_time=None,
snapshots=[],
hyperparameters=Hyperparameters(epoch_count=100,
batch_size=4,
learning_rate=0.001)))
model.state
<State.CREATING: 1>
Проверьте прогресс настройки
Используйте metadata для проверки состояния:
operation.metadata
total_steps: 375 tuned_model: "tunedModels/generate-num-2946"
Дождитесь завершения обучения, используя operation.result() или operation.wait_bar()
import time
for status in operation.wait_bar():
time.sleep(30)
0%| | 0/375 [00:00<?, ?it/s]
Вы можете отменить задание по настройке в любое время, используя метод cancel() . Раскомментируйте строку ниже и запустите ячейку кода, чтобы отменить задание до его завершения.
# operation.cancel()
После завершения настройки вы можете просмотреть кривую потерь по результатам настройки. Кривая потерь показывает, насколько прогнозы модели отклоняются от идеальных результатов.
import pandas as pd
import seaborn as sns
model = operation.result()
snapshots = pd.DataFrame(model.tuning_task.snapshots)
sns.lineplot(data=snapshots, x = 'epoch', y='mean_loss')
<Axes: xlabel='epoch', ylabel='mean_loss'>
Оцените свою модель
Вы можете использовать метод genai.generate_text и указать имя вашей модели, чтобы проверить ее производительность.
model = genai.GenerativeModel(model_name=f'tunedModels/{name}')
result = model.generate_content('55')
result.text
'56'
result = model.generate_content('123455')
result.text
'123456'
result = model.generate_content('four')
result.text
'five'
result = model.generate_content('quatre') # French 4
result.text # French 5 is "cinq"
'cinq'
result = model.generate_content('III') # Roman numeral 3
result.text # Roman numeral 4 is IV
'IV'
result = model.generate_content('七') # Japanese 7
result.text # Japanese 8 is 八!
'八'
Кажется, что он действительно справился с задачей, несмотря на ограниченное количество примеров, но «следующий» — это относительно простая концепция; дополнительные рекомендации по повышению производительности см. в руководстве по настройке .
Обновить описание
Вы можете обновить описание настроенной модели в любое время, используя метод genai.update_tuned_model .
genai.update_tuned_model(f'tunedModels/{name}', {"description":"This is my model."});
model = genai.get_tuned_model(f'tunedModels/{name}')
model.description
'This is my model.'
Удалить модель
Вы можете очистить список настроенных моделей, удалив модели, которые вам больше не нужны. Используйте метод genai.delete_tuned_model для удаления модели. Если вы отменили какие-либо задания по настройке, возможно, вы захотите удалить их, поскольку их производительность может быть непредсказуемой.
genai.delete_tuned_model(f'tunedModels/{name}')
Модель больше не существует:
try:
m = genai.get_tuned_model(f'tunedModels/{name}')
print(m)
except Exception as e:
print(f"{type(e)}: {e}")
<class 'google.api_core.exceptions.NotFound'>: 404 Tuned model tunedModels/generate-num-2946 does not exist.