Gemini и другие генеративные модели ИИ обрабатывают ввод и вывод с степенью детализации, называемой токеном .
О токенах
Токенами могут быть отдельные символы, например z , или целые слова, например cat . Длинные слова разбиваются на несколько токенов. Набор всех токенов, используемых моделью, называется словарем, а процесс разделения текста на токены — токенизацией .
Для моделей Gemini токен эквивалентен примерно 4 символам. 100 токенов равны примерно 60-80 английским словам.
Если включено выставление счетов, стоимость вызова API Gemini частично определяется количеством входных и выходных токенов, поэтому знание того, как подсчитывать токены, может оказаться полезным.