Gemini 및 기타 생성형 AI 모델은 토큰이라는 세분화 수준에서 입력과 출력을 처리합니다.
이 가이드에서는 특정 모델의 문맥 창을 가져오는 방법과 텍스트 입력, 채팅, 다중 모드 입력, 시스템 안내 및 도구와 같은 사용 사례에서 토큰을 집계하는 방법을 설명합니다.
토큰 정보
토큰은 z와 같은 단일 문자이거나 cat와 같은 전체 단어일 수 있습니다. 긴 단어는 여러 토큰으로 분할됩니다. 모델에서 사용하는 모든 토큰의 집합을 어휘라고 하며 텍스트를 토큰으로 분할하는 프로세스를 토큰화라고 합니다.
Gemini 모델의 경우 토큰은 약 4자(영문 기준)에 해당합니다. 토큰 100개는 영어 단어 약 60~80개에 해당합니다.
결제가 사용 설정되면 Gemini API 호출 비용은 부분적으로 입력 및 출력 토큰의 수에 따라 결정되므로 토큰 수를 계산하는 방법을 아는 것이 도움이 될 수 있습니다.