Hướng dẫn tinh chỉnh

Hướng dẫn này sẽ giúp bạn bắt đầu sử dụng dịch vụ điều chỉnh API Gemini bằng SDK Python hoặc API REST thông qua curl. Các ví dụ này cho thấy cách điều chỉnh mô hình văn bản đằng sau dịch vụ tạo văn bản API Gemini.

Xem trên ai.google.dev Dùng thử sổ tay Colab Xem sổ tay trên GitHub

Các điểm hạn chế

Trước khi điều chỉnh mô hình, bạn nên lưu ý những hạn chế sau:

Tinh chỉnh tập dữ liệu

Việc tinh chỉnh tập dữ liệu cho Gemini 1.5 Flash có các giới hạn sau:

  • Kích thước đầu vào tối đa cho mỗi ví dụ là 40.000 ký tự.
  • Kích thước đầu ra tối đa cho mỗi ví dụ là 5.000 ký tự.
  • Chỉ hỗ trợ các ví dụ về cặp đầu vào-đầu ra. Không hỗ trợ các cuộc trò chuyện nhiều lượt trò chuyện theo kiểu trò chuyện.

Mô hình được điều chỉnh

Mô hình được điều chỉnh có các hạn chế sau:

  • Giới hạn đầu vào của mô hình Gemini 1.5 Flash đã điều chỉnh là 40.000 ký tự.
  • Chế độ JSON không được hỗ trợ với các mô hình đã điều chỉnh.
  • Chỉ hỗ trợ phương thức nhập văn bản.

Trước khi bắt đầu: Thiết lập dự án và khoá API

Trước khi gọi API Gemini, bạn cần thiết lập dự án và định cấu hình khoá API.

Liệt kê các mô hình đã điều chỉnh

Bạn có thể kiểm tra các mô hình đã điều chỉnh hiện có bằng phương thức tunedModels.list.

import google.generativeai as genai

for model_info in genai.list_tuned_models():
    print(model_info.name)
tuned_models.py

Tạo mô hình đã điều chỉnh

Để tạo một mô hình được điều chỉnh, bạn cần truyền tập dữ liệu của mình vào mô hình trong phương thức tunedModels.create.

Trong ví dụ này, bạn sẽ điều chỉnh một mô hình để tạo số tiếp theo trong trình tự. Ví dụ: nếu dữ liệu đầu vào là 1, thì mô hình sẽ xuất ra 2. Nếu giá trị đầu vào là one hundred, thì kết quả sẽ là one hundred one.

import google.generativeai as genai

import time

base_model = "models/gemini-1.5-flash-001-tuning"
training_data = [
    {"text_input": "1", "output": "2"},
    # ... more examples ...
    # ...
    {"text_input": "seven", "output": "eight"},
]
operation = genai.create_tuned_model(
    # You can use a tuned model here too. Set `source_model="tunedModels/..."`
    display_name="increment",
    source_model=base_model,
    epoch_count=20,
    batch_size=4,
    learning_rate=0.001,
    training_data=training_data,
)

for status in operation.wait_bar():
    time.sleep(10)

result = operation.result()
print(result)
# # You can plot the loss curve with:
# snapshots = pd.DataFrame(result.tuning_task.snapshots)
# sns.lineplot(data=snapshots, x='epoch', y='mean_loss')

model = genai.GenerativeModel(model_name=result.name)
result = model.generate_content("III")
print(result.text)  # IV
tuned_models.py

Giá trị tối ưu cho số lượng epoch, kích thước lô và tốc độ học phụ thuộc vào tập dữ liệu và các quy tắc ràng buộc khác của trường hợp sử dụng. Để tìm hiểu thêm về các giá trị này, hãy xem phần Cài đặt tinh chỉnh nâng cao và Thông số siêu dữ liệu.

Vì việc điều chỉnh mô hình có thể mất nhiều thời gian, nên API này không đợi quá trình điều chỉnh hoàn tất. Thay vào đó, phương thức này sẽ trả về một đối tượng google.api_core.operation.Operation cho phép bạn kiểm tra trạng thái của công việc điều chỉnh hoặc chờ công việc hoàn tất rồi kiểm tra kết quả.

Mô hình đã điều chỉnh của bạn sẽ được thêm ngay vào danh sách mô hình đã điều chỉnh, nhưng trạng thái của mô hình này sẽ được đặt thành "đang tạo" trong khi mô hình được điều chỉnh.

Kiểm tra tiến trình điều chỉnh

Bạn có thể kiểm tra tiến trình của thao tác điều chỉnh bằng phương thức wait_bar():

for status in operation.wait_bar():
    time.sleep(10)

Bạn cũng có thể sử dụng operation.metadata để kiểm tra tổng số bước điều chỉnh và operation.update() để làm mới trạng thái của thao tác.

Bạn có thể huỷ công việc điều chỉnh bất cứ lúc nào bằng cách sử dụng phương thức cancel().

operation.cancel()

Thử mô hình

Bạn có thể sử dụng phương thức tunedModels.generateContent và chỉ định tên của mô hình đã điều chỉnh để kiểm tra hiệu suất của mô hình đó.

import google.generativeai as genai

model = genai.GenerativeModel(model_name="tunedModels/my-increment-model")
result = model.generate_content("III")
print(result.text)  # "IV"
tuned_models.py

Cập nhật nội dung mô tả

Bạn có thể cập nhật nội dung mô tả của mô hình đã điều chỉnh bất cứ lúc nào bằng cách sử dụng phương thức genai.update_tuned_model.

genai.update_tuned_model('tunedModels/my-increment-model', {"description":"This is my model."})

Xoá mô hình

Bạn có thể dọn dẹp danh sách mô hình đã điều chỉnh bằng cách xoá những mô hình bạn không cần nữa. Sử dụng phương thức tunedModels.delete để xoá một mô hình. Nếu đã huỷ bất kỳ công việc điều chỉnh nào, bạn nên xoá các công việc đó vì hiệu suất của các công việc đó có thể không thể dự đoán được.

genai.delete_tuned_model("tunedModels/my-increment-model")