GenerationConfig

{
  "stopSequences": [
    string
  ],
  "candidateCount": integer,
  "maxOutputTokens": integer,
  "temperature": number,
  "topP": number,
  "topK": integer
}

string

선택사항입니다. 출력 생성을 중지할 문자 시퀀스 집합입니다 (최대 5개). 지정하면 중지 시퀀스가 처음 나타날 때 API가 중지됩니다. 중지 시퀀스는 응답에 포함되지 않습니다.

integer

선택사항입니다. 생성된 응답 중 반환할 수입니다.

현재 이 값은 1로만 설정할 수 있습니다. 설정하지 않으면 기본값은 1입니다.

integer

선택사항입니다. 후보에 포함할 토큰의 최대 개수입니다.

참고: 기본값은 모델에 따라 다릅니다. getModel 함수에서 반환된 Model의 Model.output_token_limit 속성을 참조하세요.

number

선택사항입니다. 출력의 무작위성을 제어합니다.

참고: 기본값은 모델에 따라 다릅니다. getModel 함수에서 반환된 Model의 Model.temperature 속성을 참조하세요.

값의 범위는 [0.0, 2.0]입니다.

number

선택사항입니다. 샘플링 시 고려할 토큰의 최대 누적 확률입니다.

이 모델은 결합된 Top-k 및 핵 샘플링을 사용합니다.

토큰은 할당된 확률을 기준으로 정렬되므로 가장 가능성이 높은 토큰만 고려됩니다. Top-k 샘플링은 고려할 최대 토큰 수를 직접적으로 제한하는 반면 Nucleus 샘플링은 누적 확률을 기반으로 토큰 수를 제한합니다.

참고: 기본값은 모델에 따라 다릅니다. getModel 함수에서 반환된 Model의 Model.top_p 속성을 참조하세요.

integer

선택사항입니다. 샘플링 시 고려할 최대 토큰 수입니다.

모델은 핵 샘플링 또는 Top-k와 핵 샘플링을 결합하여 사용합니다. 최상위 K 샘플링에서는 확률이 가장 높은 topK 토큰 집합을 고려합니다. 핵 샘플링으로 실행되는 모델은 TopK 설정을 허용하지 않습니다.

참고: 기본값은 모델에 따라 다릅니다. getModel 함수에서 반환된 Model의 Model.top_k 속성을 참조하세요. Model의 topK 필드가 비어 있으면 모델이 Top-K 샘플링을 적용하지 않으며 요청에 topK 설정을 허용하지 않음을 나타냅니다.