Долгое декодирование

Благодаря длинному декодированию Gemini 4 Argon может генерировать более 64 000 токенов для задач, требующих глубокого логического рассуждения, вплоть до единого окна контекста на 1 млн токенов (1 048 576 токенов, распределенных между вводом, рассуждением и выводом). В Interactions API вы включаете длительное декодирование с фоновым выполнением, чтобы наши серверы автоматически генерировали и объединяли каждый переход на 64 КБ в одно взаимодействие.

Как долго работает декодирование

Один вызов модели генерирует до 64 000 токенов. Если для ответа требуется больше 64 000 токенов, сервер генерирует его частями по 64 000 токенов, каждая из которых продолжает предыдущую. Каждый переход добавляет шаг model_output к interaction.steps под тем же идентификатором взаимодействия, поэтому вы объединяете эти шаги, чтобы прочитать полный ответ:

1. Вы создаете взаимодействие с background: true и max_output_tokens,превышающее 65 536, но не более 1 000 000.
2. Сервер создает первый переход, до 64 000 токенов.
3. Сервер начинает следующий переход с того места, где остановился предыдущий, и повторяет это до тех пор, пока модель не завершит работу или не использует все max_output_tokens.
4. Чтобы получить результат, вы опрашиваете взаимодействие или транслируете его.

import time
from google import genai

client = genai.Client()

interaction = client.interactions.create(
    model="gemini-4-argon",
    input="Write a complete, rigorous proof of the prime number theorem.",
    background=True,
    generation_config={
        "max_output_tokens": 262144,
        "thinking_level": "high",
    },
)

while interaction.status in ("in_progress", "queued"):
    time.sleep(5)
    interaction = client.interactions.get(id=interaction.id)

# Each hop adds a model_output step, so join the text of all of them.
text = "".join(
    content.text
    for step in interaction.steps
    if step.type == "model_output"
    for content in step.content
    if content.type == "text"
)
print(text)
print("Status:", interaction.status)
print("Usage:", interaction.usage)

import { GoogleGenAI } from "@google/genai";

const client = new GoogleGenAI({});

let interaction = await client.interactions.create({
  model: "gemini-4-argon",
  input: "Write a complete, rigorous proof of the prime number theorem.",
  background: true,
  generation_config: {
    max_output_tokens: 262144,
    thinking_level: "high",
  },
});

while (interaction.status === "in_progress" || interaction.status === "queued") {
  await new Promise((resolve) => setTimeout(resolve, 5000));
  interaction = await client.interactions.get(interaction.id);
}

// Each hop adds a model_output step, so join the text of all of them.
const text = interaction.steps
  .filter((step) => step.type === "model_output")
  .flatMap((step) => step.content ?? [])
  .filter((content) => content.type === "text")
  .map((content) => content.text)
  .join("");
console.log(text);
console.log("Status:", interaction.status);
console.log("Usage:", interaction.usage);

# 1. Create the background interaction. It returns an ID right away.
ID=$(curl -s -X POST "https://generativelanguage.googleapis.com/v1beta/interactions" \
  -H "x-goog-api-key: $GEMINI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemini-4-argon",
    "input": "Write a complete, rigorous proof of the prime number theorem.",
    "background": true,
    "generation_config": {"max_output_tokens": 262144, "thinking_level": "high"}
  }' | jq -r '.id')

# 2. Poll until the status is no longer in_progress or queued.
#    The REST response has no output_text field, so join the text of every model_output step.
while true; do
  RESP=$(curl -s "https://generativelanguage.googleapis.com/v1beta/interactions/$ID" \
    -H "x-goog-api-key: $GEMINI_API_KEY")
  STATUS=$(echo "$RESP" | jq -r '.status')
  if [[ "$STATUS" != "in_progress" && "$STATUS" != "queued" ]]; then
    echo "$RESP" | jq -r '[.steps[]? | select(.type == "model_output") | .content[]? | select(.type == "text") | .text] | join("")'
    echo "$RESP" | jq '{status, usage}'
    break
  fi
  sleep 5
done

Ограничения на выходные данные

Для потоковых и непотоковых взаимодействий по умолчанию задано ограничение на количество выходных токенов в 64 000, поэтому для ответов размером до 64 000 токенов не требуется вносить изменения в код. Чтобы сгенерировать больше 64 000 токенов, включите выполнение в фоновом режиме и увеличьте значение max_output_tokens.

Когда использовать длинное декодирование

Большинство запросов укладываются в 64 000 токенов. Используйте его, только если для ответа требуется больше времени и ресурсов.

Если задать высокое значение max_output_tokens, у модели будет больше времени на обдумывание сложных задач, но она сама решает, сколько текста нужно сгенерировать. Чтобы контролировать, сколько усилий модель тратит на рассуждения, задайте параметр thinking_level.

Выберите, как запустить длительное декодирование

Фоновое выполнение – самый простой способ запустить длительное декодирование с помощью Interactions API. Клиентское продолжение, когда ваш код запускает каждый переход, доступно в GenerateContent API. Скоро в Interactions API появится более продвинутый вариант управления устойчивостью.

Чтобы использовать клиентское продолжение, ознакомьтесь с информацией о длинном декодировании с помощью API GenerateContent.

Расшифровка длинного потока

Чтобы получать выходные данные и краткие изложения мыслей по мере их поступления, добавьте stream: true и thinking_summaries: "auto". Длинные потоки могут прерываться, и клиенту придется подключаться заново. Следуйте инструкциям по повторному подключению в руководстве по выполнению в фоновом режиме. При длинном декодировании применяются следующие правила:

• Сохраните идентификатор взаимодействия. Его можно получить из события interaction.created.
• Сохранять каждый event_id. event_id может поступать в событиях interaction.status_update, а не только в дельтах текста.
• Возобновить общение с пользователем last_event_id. Позвонить пользователю interactions.get, используя stream: true и последние event_id. После этого трансляция продолжится.
• Дочитайте до конца. После повторного подключения прочитайте поток до конца, прежде чем проверять статус. Сервер воспроизводит пропущенные события, даже если взаимодействие уже завершено.
• Установите длительные тайм-ауты. Установите тайм-ауты чтения HTTP на 15–20 минут на поток.
• Ожидайте вывод фрагментами по 5000 токенов. После первых 64 000 токенов (примерно первые 10 минут) поток отправляет вывод фрагментами примерно по 5000 токенов. Паузы между фрагментами – это нормально. Взаимодействие не зависло, поэтому не закрывайте подключение.

Статус фона

Взаимодействие в фоновом режиме может выполняться до 24 часов. Когда статус перестанет быть in_progress или queued, обработайте конечное состояние, используя эту таблицу:

Чтобы остановить текущее взаимодействие, вызовите client.interactions.cancel(id=interaction.id) в Python, client.interactions.cancel(interaction.id) в JavaScript или POST /v1beta/interactions/{id}/cancel в REST.

Установить max_output_tokens

max_output_tokens задает общее ограничение на размышления и вывод в рамках взаимодействия. Если вы уменьшите его, модель не станет отвечать более лаконично, а просто будет обрывать ответ раньше.

Чтобы использовать меньше токенов, уменьшите значение thinking_level. Используйте high для самых сложных задач, требующих рассуждения. Используйте medium (по умолчанию) для большинства задач по программированию и работе с агентами.

Как подсчитать токены

interaction.usage – общее количество по всем переходам. Прочитайте следующие поля: total_input_tokens, total_cached_tokens, total_output_tokens, total_thought_tokens и total_tokens.

total_input_tokens суммирует входные токены каждого перехода. На каждом этапе ваш запрос и все, что было сгенерировано до этого, отправляется обратно в модель в качестве входных данных, поэтому одни и те же токены учитываются снова на каждом последующем этапе. Например, запрос на 1000 токенов,который генерирует 200 000 токенов рассуждений и выходных данных,занимает четыре перехода:

total_input_tokens сообщает о 397 000 токенов (повторяющиеся входные данные автоматически учитываются с 95-процентной скидкой благодаря неявному кешированию), хотя фактический размер контекста составляет всего около 201 000 токенов: 1000 токенов в запросе плюс 200 000 токенов в рассуждениях и ответе.

Во время трансляции события step.stop и interaction.status_update включают параметр usage (накопительный для взаимодействия). Прочитайте последнее значение usage, а не складывайте их.

Оплата

Вы платите за каждый токен на каждом этапе, включая этапы, содержащие только рассуждения.

• Скидка на кеш. Неявное кеширование снижает стоимость повторного ввода на каждом этапе на 95%. В течение пробного периода цена за 1 млн токенов для кешированных входных данных составляет 0,10 долл.США вместо 2 долл.США.
• Отмененные и неудачные взаимодействия. Вы платите за всю работу, выполненную до завершения взаимодействия.

Устранение неполадок

Ограничения

• Нет долгого декодирования без фонового выполнения. Взаимодействие с background: false останавливается на 65 536 токенах. Скоро мы добавим ее.
• Нет целей по длине. Модель не следует целям по длине токенов или количеству слов.

Дальнейшие действия

• Что нового в Gemini 4 Argon
• Выполнение в фоновом режиме
• Thinking
• Длинное декодирование с помощью GenerateContent API