Gemini 및 기타 생성형 AI 모델은 토큰이라는 세분화 수준에서 입력과 출력을 처리합니다.
토큰 정보
토큰은 z와 같은 단일 문자이거나 cat와 같은 전체 단어일 수 있습니다. 긴 단어는 여러 토큰으로 분할됩니다. 모델에서 사용하는 모든 토큰의 집합을 어휘라고 하며 텍스트를 토큰으로 분할하는 프로세스를 토큰화라고 합니다.
Gemini 모델의 경우 토큰은 약 4자(영문 기준)에 해당합니다. 토큰 100개는 영어 단어 약 60~80개에 해당합니다.
결제가 사용 설정된 경우 Gemini API 호출 비용은 입력 및 출력 토큰 수에 따라 부분적으로 결정되므로 토큰을 계산하는 방법을 알고 있으면 유용합니다.