GenerationConfig

Các tuỳ chọn cấu hình để tạo mô hình và đầu ra. Không phải tham số nào cũng có thể định cấu hình cho mọi kiểu máy.

Biểu diễn dưới dạng JSON 
{
  "stopSequences": [
    string
  ],
  "candidateCount": integer,
  "maxOutputTokens": integer,
  "temperature": number,
  "topP": number,
  "topK": integer
}
Trường
stopSequences[]

string

Không bắt buộc. Tập hợp các chuỗi ký tự (tối đa là 5) sẽ ngừng tạo dữ liệu đầu ra. Nếu được chỉ định, API sẽ dừng ở lần đầu tiên xuất hiện một chuỗi điểm dừng. Trình tự dừng sẽ không được đưa vào phản hồi.
candidateCount

integer

Không bắt buộc. Số lượng phản hồi được tạo cần trả về.

Hiện tại, bạn chỉ có thể đặt giá trị này là 1. Nếu bạn không đặt chính sách này thì giá trị mặc định sẽ là 1.
maxOutputTokens

integer

Không bắt buộc. Số lượng mã thông báo tối đa có thể thêm vào một đề xuất.

Lưu ý: Giá trị mặc định thay đổi tuỳ theo mô hình. Hãy xem thuộc tính Model.output_token_limit của Model mà hàm getModel trả về.
temperature

number

Không bắt buộc. Kiểm soát tính ngẫu nhiên của dữ liệu đầu ra.

Lưu ý: Giá trị mặc định thay đổi tuỳ theo mô hình. Hãy xem thuộc tính Model.temperature của Model mà hàm getModel trả về.

Các giá trị có thể dao động từ [0,0, 2,0].
topP

number

Không bắt buộc. Xác suất tích luỹ tối đa của mã thông báo cần xem xét khi lấy mẫu.

Mô hình này sử dụng kết hợp phương pháp lấy mẫu Top-k và nhân.

Các mã thông báo được sắp xếp dựa trên xác suất được chỉ định của chúng để chỉ xem xét những mã thông báo có nhiều khả năng nhất. Phương pháp lấy mẫu Top-k trực tiếp giới hạn số lượng mã thông báo tối đa cần xem xét, trong khi tính năng lấy mẫu Nucleus giới hạn số lượng mã thông báo dựa trên xác suất tích luỹ.

Lưu ý: Giá trị mặc định thay đổi tuỳ theo mô hình. Hãy xem thuộc tính Model.top_p của Model mà hàm getModel trả về.
topK

integer

Không bắt buộc. Số lượng mã thông báo tối đa cần xem xét khi lấy mẫu.

Các mô hình sử dụng lấy mẫu hạt nhân hoặc lấy mẫu Top-k và hạt nhân kết hợp. Việc lấy mẫu top-k xem xét tập hợp topK mã thông báo có khả năng xuất hiện nhất. Các mô hình chạy với tính năng lấy mẫu hạt nhân không cho phép cài đặt topK.

Lưu ý: Giá trị mặc định thay đổi tuỳ theo mô hình. Hãy xem thuộc tính Model.top_k của Model mà hàm getModel trả về. Trường topK trống trong Model cho biết mô hình không áp dụng lấy mẫu top-k và không cho phép đặt topK trong các yêu cầu.