Các tuỳ chọn cấu hình để tạo mô hình và đầu ra. Không phải tham số nào cũng có thể định cấu hình cho mọi kiểu máy.
Biểu diễn dưới dạng JSON |
---|
{ "stopSequences": [ string ], "candidateCount": integer, "maxOutputTokens": integer, "temperature": number, "topP": number, "topK": integer } |
Trường | |
---|---|
stopSequences[] |
Không bắt buộc. Tập hợp các chuỗi ký tự (tối đa là 5) sẽ ngừng tạo dữ liệu đầu ra. Nếu được chỉ định, API sẽ dừng ở lần đầu tiên xuất hiện một chuỗi điểm dừng. Trình tự dừng sẽ không được đưa vào phản hồi. |
candidateCount |
Không bắt buộc. Số lượng phản hồi được tạo cần trả về. Hiện tại, bạn chỉ có thể đặt giá trị này là 1. Nếu bạn không đặt chính sách này thì giá trị mặc định sẽ là 1. |
maxOutputTokens |
Không bắt buộc. Số lượng mã thông báo tối đa có thể thêm vào một đề xuất. Lưu ý: Giá trị mặc định thay đổi tuỳ theo mô hình. Hãy xem thuộc tính |
temperature |
Không bắt buộc. Kiểm soát tính ngẫu nhiên của dữ liệu đầu ra. Lưu ý: Giá trị mặc định thay đổi tuỳ theo mô hình. Hãy xem thuộc tính Các giá trị có thể dao động từ [0,0, 2,0]. |
topP |
Không bắt buộc. Xác suất tích luỹ tối đa của mã thông báo cần xem xét khi lấy mẫu. Mô hình này sử dụng kết hợp phương pháp lấy mẫu Top-k và nhân. Các mã thông báo được sắp xếp dựa trên xác suất được chỉ định của chúng để chỉ xem xét những mã thông báo có nhiều khả năng nhất. Phương pháp lấy mẫu Top-k trực tiếp giới hạn số lượng mã thông báo tối đa cần xem xét, trong khi tính năng lấy mẫu Nucleus giới hạn số lượng mã thông báo dựa trên xác suất tích luỹ. Lưu ý: Giá trị mặc định thay đổi tuỳ theo mô hình. Hãy xem thuộc tính |
topK |
Không bắt buộc. Số lượng mã thông báo tối đa cần xem xét khi lấy mẫu. Các mô hình sử dụng lấy mẫu hạt nhân hoặc lấy mẫu Top-k và hạt nhân kết hợp. Việc lấy mẫu top-k xem xét tập hợp Lưu ý: Giá trị mặc định thay đổi tuỳ theo mô hình. Hãy xem thuộc tính |