Понимать и считать жетоны


Gemini и другие генеративные модели ИИ обрабатывают входные и выходные данные с детализацией, называемой токеном .

О токенах

Токены могут представлять собой отдельные символы, например, z , или целые слова, например, cat . Длинные слова разбиваются на несколько токенов. Набор всех токенов, используемых моделью, называется словарём, а процесс разбиения текста на токены — токенизацией .

Для моделей Gemini один токен эквивалентен примерно 4 символам. 100 токенов эквивалентны примерно 60–80 английским словам.

При включенной тарификации стоимость вызова API Gemini частично определяется количеством входящих и исходящих токенов, поэтому полезно знать, как подсчитывать токены.