Кеширование контекста

В типичном рабочем процессе ИИ вы можете снова и снова передавать модели одни и те же входные токены. Gemini API предлагает неявное кеширование для оптимизации производительности и затрат.

Неявное кеширование

Неявное кеширование включено по умолчанию для всех моделей Gemini 2.5 и более новых. Поддерживается как для режима разговора с сохранением состояния (с использованием previous_interaction_id), так и для режима разговора без сохранения состояния. Если ваш запрос будет обработан с помощью кеша, мы автоматически передадим вам сэкономленные средства. Чтобы включить ее, ничего настраивать не нужно. В таблице ниже указано минимальное количество входных токенов для каждой модели.

Модель Минимальный лимит токенов
Gemini 4 Argon 4096
Gemini 3.8 Flash 4096
Gemini 3.6 Flash 4096
Gemini 3.1 Pro Preview 4096
Gemini 2.5 Flash 2048
Gemini 2.5 Pro 2048

Чтобы повысить вероятность неявного совпадения в кеше:

  • Попробуйте поместить большие и общие фрагменты контента в начало запроса.
  • Попробуйте отправить запросы с похожим префиксом за короткий промежуток времени.

Количество токенов, которые совпали в кеше, можно посмотреть в поле usage.total_cached_tokens (Python и JavaScript) объекта ответа.