Gemini API предлагает различные механизмы оптимизации, которые помогут вам найти баланс между скоростью, стоимостью и надежностью в зависимости от ваших потребностей. Правильный выбор парадигмы может значительно снизить затраты или повысить производительность, независимо от того, создаете ли вы чат-ботов для общения в реальном времени или запускаете сложные конвейеры обработки данных в офлайн-режиме.
| Функция | Стандартный | Согнуть | Приоритет | Пакетное задание | Кеширование |
|---|---|---|---|---|---|
| Цены | Полная цена | Скидка 50 % | На 75–100 % больше стандартного | Скидка 50 % | Скидка 90% + пропорциональное хранилище токенов |
| Задержка | Секунды в минуты | Минуты (цель: 1–15 мин.) | секунд | До 24 часов | Более быстрое время до первого токена. |
| Надежность | Высокий / выше среднего | Негарантированное обслуживание (с возможностью отбрасывания) | Высокий (неосыпающийся) | Высокая (для пропускной способности) | Н/Д |
| Интерфейс | Синхронная | Синхронная | Синхронная | Асинхронный код | Сохраненное состояние |
| Примеры использования | Общие рабочие процессы приложений | Несрочные последовательные цепочки | Рабочие пользовательские приложения | Большие наборы данных, офлайн-оценки | Повторяющиеся запросы к одному и тому же файлу |
Уровни сервиса вывода (синхронные)
Вы можете переключаться между синхронным трафиком, оптимизированным по надежности, и синхронным трафиком, оптимизированным по стоимости, передавая параметр service_tier в стандартных вызовах генерации.
Стандартный вывод (по умолчанию)
Стандартный уровень используется по умолчанию для последовательного создания контента. Оно обеспечивает стандартное время ответа без дополнительных комиссий и длинных очередей.
- Надежность: стандартная критичность.
- Цена. Стандартная цена.
- Лучше всего подходит для: большинства интерактивных приложений, используемых ежедневно.
Приоритетный вывод (оптимизированный по задержке)
Приоритетная обработка направляет ваши запросы в очереди вычислений с высокой критичностью. Этот трафик не может быть прерван другими уровнями и обеспечивает максимальную надежность. Если вы превысите лимиты динамического приоритета, система автоматически переведет запрос на стандартную обработку, а не выдаст ошибку.
- Надежность: наивысшая критичность.
- Цена: на 75–100 % выше стандартных тарифов.
- Подходит для: чат-ботов для клиентов, обнаружения мошенничества в реальном времени и критически важных для бизнеса помощников.
Гибкий инференс (оптимизация затрат)
Гибкий инференс позволяет сэкономить 50% по сравнению со стандартными тарифами за счет использования вычислительных мощностей в непиковые часы. Запросы обрабатываются синхронно, поэтому вам не нужно переписывать код для управления объектами пакета. Поскольку этот трафик является "сбрасываемым", запросы могут быть вытеснены, если в системе наблюдаются стандартные всплески трафика.
- Надежность: негарантированная, критичность можно снизить.
- Цена: 50% от стандартной цены (оплата за токен).
- Рекомендуется для многоэтапных рабочих процессов с агентами, в которых вызов N+1 зависит от выходных данных вызова N, фоновых обновлений CRM и офлайн-оценок.
Пакетный API (массовый, асинхронный)
Batch API предназначен для асинхронной обработки больших объемов запросов по цене, которая на 50% ниже стандартной. Запросы можно отправлять в виде встроенных словарей или с помощью входного файла JSONL (до 2 ГБ). Запросы обрабатываются в фоновом режиме, и на это уходит до 24 часов.
- Надежность. Запросы могут быть отклонены, но в течение 24 часов выполняются автоматические повторные попытки и используется система очередей.
- Цена: 50% от стандартной цены.
- Для чего подходит. Предварительная обработка больших наборов данных, периодическое регрессионное тестирование, а также генерация большого количества изображений или эмбеддингов.
Кеширование контекста (экономия входных данных)
Кеширование контекста используется, когда значительный начальный контекст многократно упоминается в более коротких запросах.
- Неявное кеширование. Включено автоматически в Gemini 2.5 и более новых моделях. Система передает экономию средств, если ваш запрос попадает в существующие кеши на основе общих префиксов запросов.
- Явное кеширование. Вы можете вручную создать объект кеша с определенным временем жизни (TTL). После создания токенов вы можете использовать их в последующих запросах, чтобы не передавать один и тот же корпус данных несколько раз. Явное кеширование не поддерживается в Gemini 4 Argon и более поздних версиях.
- Цена. Оплата взимается в зависимости от количества токенов кеша и срока хранения (TTL).
- Для чего подходит. Для чат-ботов с подробными системными инструкциями, повторяющегося анализа длинных видеофайлов или запросов к большим наборам документов.
Сокращение расходов на обработку видео с помощью агентов
При обработке длинного видеоконтента (более 5–10 минут) или целевых запросов агентная обработка может снизить стоимость входных токенов до 88 %, одновременно повышая качество ответов. По умолчанию все модели (включая Gemini 4) используют статическую обработку, чтобы извлекать кадры с частотой 1 кадр/с. При использовании агентного понимания видео модель сначала анализирует расшифровку видео и динамически загружает визуальные сегменты с более высокой частотой кадров и разрешением только там, где это необходимо. Для коротких клипов (менее пяти минут) или общих пересказов видео лучше оставить статический режим обработки по умолчанию, чтобы сократить время до первого токена (TTFT) и снизить нагрузку на токены. В агентном режиме при навигации по временной шкале выполняются внутренние рассуждения (total_thought_tokens) и обращения к инструментам (total_tool_use_tokens).
Чтобы использовать обработку агента с Gemini 4 Argon, 3.8 Flash, 3.6 Flash или 3.5 Flash Lite, задайте processing: "agentic" (Interactions API) или media_processing: "AGENTIC" (GenerateContent API) для видеовхода. Если модель не поддерживает агентную обработку, она вернет ошибку.
Подробнее о понимании видео с помощью агентов…