Gemini и другие генеративные модели ИИ обрабатывают ввод и вывод с степенью детализации, называемой токеном .
В этом руководстве объясняется, как получить контекстные окна конкретных моделей , а также как подсчитывать токены для таких вариантов использования, как ввод текста, чат, мультимодальный ввод, а также системные инструкции и инструменты.
О токенах
Токенами могут быть отдельные символы, например z , или целые слова, например cat . Длинные слова разбиваются на несколько токенов. Набор всех токенов, используемых моделью, называется словарем, а процесс разделения текста на токены — токенизацией .
Для моделей Gemini токен эквивалентен примерно 4 символам. 100 токенов равны примерно 60-80 английским словам.
Когда включено биллинг, стоимость вызова Gemini API частично определяется количеством входных и выходных токенов, поэтому знание того, как подсчитывать токены, может оказаться полезным.