Gemini и другие генеративные модели ИИ обрабатывают ввод и вывод с степенью детализации, называемой токеном .
О токенах
Токенами могут быть отдельные символы, например z , или целые слова, например cat . Длинные слова разбиваются на несколько токенов. Набор всех токенов, используемых моделью, называется словарем, а процесс разделения текста на токены — токенизацией .
Для моделей Gemini токен эквивалентен примерно 4 символам. 100 токенов равны примерно 60-80 английским словам.
Если включено выставление счетов, стоимость вызова API Gemini частично определяется количеством входных и выходных токенов, поэтому знание того, как подсчитывать токены, может оказаться полезным.
,Близнецы и другие генеративные модели ИИ обрабатывают вход и выход в гранулярности, называемом токеном .
О токенах
Токены могут быть отдельными символами, такими как z или целые слова, как cat . Длинные слова разбиты на несколько жетонов. Набор всех токенов, используемых моделью, называется словарем, а процесс разделения текста на токены называют токенами .
Для моделей Близнецов токен эквивалентен примерно 4 символам. 100 токенов равны около 60-80 английских слов.
Когда выставление счета включено, стоимость вызова API Близнецов частично определяется количеством входных и выходных токенов, поэтому знание того, как считать токены, может быть полезным.
,Gemini and other generative AI models process input and output at a granularity called a token .
About tokens
Tokens can be single characters like z or whole words like cat . Long words are broken up into several tokens. The set of all tokens used by the model is called the vocabulary, and the process of splitting text into tokens is called tokenization .
For Gemini models, a token is equivalent to about 4 characters. 100 tokens is equal to about 60-80 English words.
When billing is enabled, the cost of a call to the Gemini API is determined in part by the number of input and output tokens, so knowing how to count tokens can be helpful.