Gemini и другие генеративные модели ИИ обрабатывают ввод и вывод с степенью детализации, называемой токеном .
В этом руководстве объясняется, как получить контекстные окна конкретных моделей , а также как подсчитывать токены для таких вариантов использования, как ввод текста, чат, мультимодальный ввод, а также системные инструкции и инструменты.
О токенах
Токенами могут быть отдельные символы, например z , или целые слова, например cat . Длинные слова разбиваются на несколько токенов. Набор всех токенов, используемых моделью, называется словарем, а процесс разделения текста на токены — токенизацией .
Для моделей Gemini токен эквивалентен примерно 4 символам. 100 токенов равны примерно 60-80 английским словам.
Когда включено биллинг, стоимость вызова Gemini API частично определяется количеством входных и выходных токенов, поэтому знание того, как подсчитывать токены, может оказаться полезным.
,Близнецы и другие генеративные модели ИИ обрабатывают вход и выход в гранулярности, называемом токеном .
В этом руководстве объясняется, как получить контекстные окна конкретных моделей , а также как считать токены для использования, такие как ввод текста, чат, мультимодальный ввод, а также системные инструкции и инструменты.
О токенах
Токены могут быть отдельными символами, такими как z или целые слова, как cat . Длинные слова разбиты на несколько жетонов. Набор всех токенов, используемых моделью, называется словарем, а процесс разделения текста на токены называют токенами .
Для моделей Близнецов токен эквивалентен примерно 4 символам. 100 токенов равны около 60-80 английских слов.
Когда выставление счета включено, стоимость вызова API Близнецов частично определяется количеством входных и выходных токенов, поэтому знание того, как считать токены, может быть полезным.
,Gemini and other generative AI models process input and output at a granularity called a token .
This guide explains how to get the context windows of specific models , as well as how to count tokens for use cases like text input, chat, multimodal input, and system instructions and tools.
About tokens
Tokens can be single characters like z or whole words like cat . Long words are broken up into several tokens. The set of all tokens used by the model is called the vocabulary, and the process of splitting text into tokens is called tokenization .
For Gemini models, a token is equivalent to about 4 characters. 100 tokens is equal to about 60-80 English words.
When billing is enabled, the cost of a call to the Gemini API is determined in part by the number of input and output tokens, so knowing how to count tokens can be helpful.