Method: models.generateText

Tạo phản hồi từ mô hình khi có thông báo đầu vào.

Yêu cầu HTTP

POST https://generativelanguage.googleapis.com/v1beta/{model=models/*}:generateText

URL sử dụng cú pháp Chuyển mã gRPC.

Tham số đường dẫn

Các tham số
model

string

Bắt buộc. Tên của Model hoặc TunedModel để tạo trạng thái hoàn thành. Ví dụ: model/text-bison-001 TuningModels/sentence-compile-u3b7m

Nội dung yêu cầu

Nội dung yêu cầu chứa dữ liệu có cấu trúc sau:

Biểu diễn dưới dạng JSON
{
  "prompt": {
    object (TextPrompt)
  },
  "safetySettings": [
    {
      object (SafetySetting)
    }
  ],
  "stopSequences": [
    string
  ],
  "temperature": number,
  "candidateCount": integer,
  "maxOutputTokens": integer,
  "topP": number,
  "topK": integer
}
Các trường
prompt

object (TextPrompt)

Bắt buộc. Văn bản nhập dạng tự do được cung cấp cho mô hình dưới dạng lời nhắc.

Khi đưa ra một câu lệnh, mô hình sẽ tạo một phản hồi TextCompletion mà dự đoán là kết quả hoàn thành văn bản nhập.

safetySettings[]

object (SafetySetting)

Không bắt buộc. Danh sách phiên bản SafetySetting riêng biệt để chặn nội dung không an toàn.

sẽ được thực thi trên GenerateTextRequest.promptGenerateTextResponse.candidates. Không được có nhiều chế độ cài đặt cho mỗi loại SafetyCategory. API sẽ chặn mọi lời nhắc và phản hồi không đáp ứng ngưỡng do các chế độ cài đặt này đặt ra. Danh sách này ghi đè các chế độ cài đặt mặc định cho mỗi SafetyCategory được chỉ định trong safetySettings. Nếu không có SafetySetting cho một SafetyCategory nhất định được cung cấp trong danh sách, thì API sẽ sử dụng chế độ cài đặt an toàn mặc định cho danh mục đó. Danh mục gây hại HARM_CATEGORY_DEROGATORY, HARM_CATEGORY_TOXICITY, HARM_CATEGORY_VIOLENCE, HARM_CATEGORY_SEXUAL, HARM_CATEGORY_MEDICAL, HARM_CATEGORY_DANGEROUS được hỗ trợ trong dịch vụ văn bản.

stopSequences[]

string

Tập hợp các chuỗi ký tự (tối đa 5) sẽ ngừng tạo dữ liệu đầu ra. Nếu được chỉ định, API sẽ dừng ở lần xuất hiện đầu tiên của trình tự dừng. Trình tự dừng sẽ không được đưa vào phản hồi.

temperature

number

Không bắt buộc. Kiểm soát tính ngẫu nhiên của kết quả đầu ra. Lưu ý: Giá trị mặc định khác nhau tuỳ theo mẫu máy. Hãy xem thuộc tính Model.temperature của Model trả về hàm getModel.

Giá trị có thể nằm trong khoảng từ [0,0,1,0]. Giá trị gần 1 sẽ tạo ra phản hồi đa dạng và sáng tạo hơn, trong khi giá trị gần 0 thường cho ra phản hồi đơn giản hơn từ mô hình.

candidateCount

integer

Không bắt buộc. Số câu trả lời đã tạo cần trả về.

Giá trị này phải nằm trong khoảng từ [1, 8]. Nếu bạn không đặt chính sách này thì giá trị mặc định sẽ là 1.

maxOutputTokens

integer

Không bắt buộc. Số lượng mã thông báo tối đa có thể đưa vào một đề xuất.

Nếu bạn không đặt chính sách này, giá trị này sẽ mặc định là outputTokenLimit được chỉ định trong thông số kỹ thuật Model.

topP

number

Không bắt buộc. Xác suất tích luỹ tối đa của mã thông báo cần xem xét khi lấy mẫu.

Mô hình này sử dụng phương pháp lấy mẫu Top-k kết hợp và hạt nhân.

Các mã thông báo được sắp xếp dựa trên xác suất được chỉ định để chỉ xem xét những mã thông báo có nhiều khả năng nhất. Phương pháp lấy mẫu hàng đầu trực tiếp giới hạn số lượng mã thông báo tối đa cần xem xét, trong khi tính năng lấy mẫu hạt nhân giới hạn số lượng mã thông báo dựa trên xác suất tích luỹ.

Lưu ý: Giá trị mặc định khác nhau tuỳ theo mẫu máy. Hãy xem thuộc tính Model.top_p của Model trả về hàm getModel.

topK

integer

Không bắt buộc. Số lượng mã thông báo tối đa cần xem xét khi lấy mẫu.

Mô hình này sử dụng phương pháp lấy mẫu Top-k kết hợp và hạt nhân.

Phương pháp lấy mẫu hàng đầu xem xét tập hợp topK mã thông báo có khả năng xuất hiện nhất. Giá trị mặc định là 40.

Lưu ý: Giá trị mặc định khác nhau tuỳ theo mẫu máy. Hãy xem thuộc tính Model.top_k của Model trả về hàm getModel.

Nội dung phản hồi

Nếu thành công, nội dung phản hồi sẽ chứa một phiên bản của GenerateTextResponse.

Phạm vi uỷ quyền

Yêu cầu một trong các phạm vi OAuth sau:

  • https://www.googleapis.com/auth/generative-language
  • https://www.googleapis.com/auth/generative-language.tuning
  • https://www.googleapis.com/auth/generative-language.tuning.readonly
  • https://www.googleapis.com/auth/generative-language.retriever
  • https://www.googleapis.com/auth/generative-language.retriever.readonly

Để biết thêm thông tin, hãy xem bài viết Tổng quan về xác thực.