Gemini Interactions API

API взаимодействия Gemini позволяет разработчикам создавать приложения генеративного ИИ, используя модели Gemini. Gemini — наша самая мощная модель, разработанная с нуля для мультимодального взаимодействия. Она способна обобщать и беспрепятственно понимать, обрабатывать и комбинировать различные типы информации, включая язык, изображения, аудио, видео и код. Вы можете использовать API Gemini для таких задач, как рассуждения на основе текста и изображений, генерация контента, диалоговые агенты, системы суммирования и классификации и многое другое.

Версия API: v1beta v1

Создание взаимодействия

публикация https://generativelanguage.googleapis.com/v1beta/interactions

Создает новое взаимодействие.

Путь / Параметры запроса

api_version строка (обязательно)

Какую версию API использовать?

Текст запроса

Тело запроса содержит данные следующей структуры:

модель ModelOption (необязательно)

Название модели, использованной для генерации взаимодействия.
Обязательно, если параметр `agent` не указан.

Модель, которая выполнит ваш запрос.\n\nДополнительную информацию см. в разделе [модели](https://ai.google.dev/gemini-api/docs/models).

Возможные значения

  • gemini-2.5-flash

    Наша первая гибридная модель рассуждений, поддерживающая контекстное окно в 1 миллион токенов и имеющая бюджеты мышления.

  • gemini-2.5-pro

    Наша передовая многоцелевая модель, превосходно справляющаяся с задачами программирования и сложным логическим мышлением.

  • gemma-4-26b-a4b-it

    Джемма 4 26B A4B IT

  • gemma-4-31b-it

    Джемма 4 31B IT

  • gemini-flash-latest

    Последняя версия Gemini Flash

  • gemini-flash-lite-latest

    Новейшая версия фонарика Gemini Flash-Lite

  • gemini-pro-latest

    Последняя версия Gemini Pro

  • gemini-2.5-flash-lite

    Наша самая компактная и экономичная модель, предназначенная для масштабного использования.

  • gemini-2.5-flash-image

    Наша собственная модель генерации изображений, оптимизированная для скорости, гибкости и контекстного понимания. Стоимость ввода и вывода текста такая же, как у 2,5-дюймовой версии Flash.

  • gemini-3-flash-preview

    Наша самая интеллектуальная модель, созданная для скорости, сочетает в себе передовые методы разведки с превосходными возможностями поиска и посадки на землю.

  • gemini-3.1-pro-preview

    Наша новейшая, передовая модель логического мышления с беспрецедентной глубиной и детализацией, а также мощными возможностями многомодального понимания и кодирования.

  • gemini-3.1-pro-preview-customtools

    Gemini 3.1 Pro Preview оптимизирован для использования пользовательских инструментов.

  • gemini-3.1-flash-lite

    Наша наиболее экономичная модель, оптимизированная для выполнения больших объемов агентских задач, перевода и простой обработки данных.

  • gemini-3-pro-image

    Изображение Gemini 3 Pro

  • nano-banana-pro-preview

    Предварительный просмотр изображения Gemini 3 Pro

  • gemini-3.1-flash-image

    Изображение Gemini 3.1 Flash.

  • gemini-3.5-flash

    Наша наиболее интеллектуальная модель для достижения устойчиво высоких результатов в задачах, связанных с агентным программированием и кодированием.

  • gemini-3.6-flash

    Наша наиболее интеллектуальная модель для достижения устойчиво высоких результатов в задачах, связанных с агентным программированием и кодированием.

  • gemini-3.7-flash

    Наша наиболее интеллектуальная модель для достижения устойчиво высоких результатов в задачах, связанных с агентным программированием и кодированием.

  • lyria-3-clip-preview

    Наша модель генерации музыки с низкой задержкой оптимизирована для высококачественных аудиоклипов и точного контроля ритма.

  • lyria-3-pro-preview

    Наша передовая генеративная модель, способная обрабатывать целые композиции и обладающая глубоким пониманием композиции, оптимизирована для точного структурного контроля и сложных переходов между различными музыкальными стилями.

  • gemini-robotics-er-1.6-preview

    Gemini Robotics-ER 1.6 Preview

  • gemini-robotics-er-2-preview

    Предварительный обзор Gemini Robotics Embodied Reasoning 2

агент AgentOption (необязательно)

Имя агента, использованного для генерации взаимодействия.
Обязательно, если параметр `model` не указан.

Агент, с которым необходимо взаимодействовать.

Возможные значения

  • deep-research-pro-preview-12-2025

    Агент по глубоким исследованиям компании Gemini

  • deep-research-preview-04-2026

    Агент по глубоким исследованиям компании Gemini

  • deep-research-max-preview-04-2026

    Gemini Deep Research Max Agent

  • antigravity-preview-05-2026

    Используйте управляемый агент Antigravity для выполнения многоэтапных задач, требующих логического мышления, работы с файлами и использования инструментов.

Входные данные: Content или array ( Content ) или array ( Step ) или string (обязательно)

Входные данные для взаимодействия (общие для модели и агента).

строка системной инструкции (необязательно)

Системная инструкция для взаимодействия.

массив инструментов ( Инструмент ) (необязательно)

Список объявлений инструментов, которые модель может вызывать во время взаимодействия.

response_format ResponseFormat или массив ( ResponseFormat ) (необязательно)

Обеспечивает, чтобы сгенерированный ответ представлял собой объект JSON, соответствующий схеме JSON, указанной в этом поле.

потоковое логическое значение (необязательно)

Только ввод данных. Будет ли взаимодействие передаваться в потоковом режиме.

хранить логическое значение (необязательно)

Только ввод. Следует ли сохранять ответ и запрос для последующего получения.

фоновое логическое значение (необязательно)

Только ввод данных. Следует ли запускать взаимодействие с моделью в фоновом режиме.

generation_config GenerationConfig (необязательно)

Конфигурация модели
Параметры конфигурации для взаимодействия модели.
Альтернатива `agent_config`. Применимо только при заданном `model`.

Параметры конфигурации для взаимодействия моделей.

Поля

max_output_tokens — целое число (необязательно)

Максимальное количество токенов, которые можно включить в ответ.

Начальное целое число (необязательно)

Исходные данные используются при декодировании для обеспечения воспроизводимости.

speech_config SpeakerConfig или массив (SpeechConfig) (необязательно)

Дополнительно. Настройка речи и работы с несколькими говорящими.

Настройка для работы с несколькими говорящими и генерации речи.

Поля

Массив динамиков (SpeechConfig) (необязательно)

Индивидуальные настройки акустических систем.

Настройки для речевого взаимодействия.

Поля

языковая строка (необязательно)

Язык речи.

Кабель для подключения динамика (опционально)

Имя выступающего должно совпадать с именем выступающего, указанным в задании.

голосовая строка (необязательно)

Голос говорящего.

массив stop_sequences (строка) (необязательно)

Список последовательностей символов, которые прекратят взаимодействие с выводом.

thinking_level ThinkingLevel (необязательно)

Уровень мыслительных токенов, которые должна генерировать модель.

Возможные значения

  • minimal

    Практически никакого размышления.

  • low

    Низкий уровень мышления.

  • medium

    Средний уровень сложности мышления.

  • high

    Высокий уровень мыслительных способностей.

thinking_summaries ThinkingSummaries (необязательно)

Стоит ли включать в ответ краткое изложение мыслей?

Возможные значения

  • auto

    Краткие обзоры автоматического мышления.

  • none

    Никаких кратких изложений мысли.

tool_choice ToolChoiceConfig или перечисление (строка) (необязательно)

Конфигурация выбора инструмента.

Возможные значения:

  • auto

    Автоматический выбор инструмента.

  • any

    Любой выбор инструмента.

  • none

    Выбор инструментов отсутствует.

  • validated

    Выбор инструмента подтвержден.

transcription_config TranscriptionConfig (необязательно)

Необязательно. Настройки для распознавания речи (транскрипции). Если присутствует, функция автоматического распознавания речи (ASR) включена.

Настройка распознавания речи (транскрипции).

Поля

массив custom_vocabulary (строка) (необязательно)

Необязательно. Список пользовательских лексических фраз, которые помогут модели распознавания речи сместить акцент в сторону распознавания конкретных терминов.

массив language_codes (строка) (необязательно)

Необязательно. Коды языков BCP-47, указывающие на языки, присутствующие в аудиозаписи. Если поле опущено или пустое, по умолчанию используется автоматическое определение языка.

режим TranscriptionMode или перечисление (строка) (необязательно)

Параметры или перечисление режима дифференцированной транскрипции.

Настройки режима транскрипции.

Возможные типы

SmartTranscriptionMode

Настройки для режима интеллектуальной транскрипции.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливать режим "smart" .

Режим дословной транскрипции

Настройки для режима дословной транскрипции.

diarization_mode string (необязательно)

Необязательный параметр. Настраивает диаризацию говорящих. Поддерживаемые значения: "speaker".

массив timestamp_granularities (строка) (необязательно)

Необязательный параметр. Укажите степень детализации временных меток, которые будут включены в выходные данные транскрипции. Поддерживаемые значения: "word". Если поле пустое, временные метки не генерируются.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "verbatim" .

video_config VideoConfig (необязательно)

Настройки для генерации видео.

Параметры конфигурации для генерации видео.

Поля

перечисление задач (строка) (необязательно)

Дополнительный режим работы для генерации видео. Если не указан, модель автоматически определяет соответствующий режим на основе предоставленной текстовой подсказки и входных данных.

Возможные значения:

  • text_to_video

    Создает видео исключительно на основе текстовой подсказки.

  • image_to_video

    Создает видео из одного или двух исходных изображений. Первое изображение определяет начальный кадр, а дополнительное второе изображение определяет конечный кадр.

  • reference_to_video

    Создает видео, используя исходные медиафайлы (такие как изображения, аудио или видео).

  • edit

    Изменяет существующее входное видео.

  • extend

    Расширяет возможности существующего входного видео.

объект agent_config (необязательно)

Конфигурация агента
Настройки агента.
Альтернатива `generation_config`. Применимо только при заданном `agent`.

Возможные типы

Полиморфный дискриминатор: type

AntigravityAgentConfig

Настройки среды выполнения агента Antigravity. Обеспечивают управление средой выполнения агента и конфигурацией инструментов на стороне сервера.

max_total_tokens строка (необязательно)

Максимальное общее количество токенов для выполнения задания агентом.

строка модели (необязательно)

Модель, используемая для рассуждений агента.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте режим "antigravity" .

CodeMenderAgentConfig

Настройки агента CodeMender.

find_request FindRequest (необязательно)

Параметры для поиска уязвимостей.

Параметры запроса, специфичные для сессий FIND, используются для обнаружения уязвимостей в кодовой базе.

Поля

строка описания (необязательно)

Дополнительный контекст или пользовательские инструкции, предоставленные пользователем для проведения анализа уязвимостей.

finding_id строка (необязательно)

Идентификатор конкретной уязвимости, подлежащей проверке. В основном используется в режиме ПРОВЕРКИ (VERIFY) для того, чтобы сосредоточить проверку агента на выполнении на одной конкретной уязвимости.

режим перечисления (строка) (необязательно)

Режим работы поисковой сессии.

Возможные значения:

  • scan

    Быстрое сканирование с использованием только исходного классификатора.

  • verify

    Проводит классификацию с последующим детальным исследованием.

массив source_files (FileContent) (необязательно)

Список исходных файлов, которые необходимо предоставить в качестве контекста для сканирования.

Содержимое отдельного файла в кодовой базе.

Поля

строка содержимого (необязательно)

Содержимое файла, закодированное в UTF-8.

строка пути (необязательно)

Относительный путь к файлу относительно корневого каталога проекта.

fix_request FixRequest (необязательно)

Параметры для устранения уязвимостей.

Параметры запроса, специфичные для FIX-сессий, используются для генерации и проверки обновлений безопасности.

Поля

строка описания (необязательно)

Дополнительный контекст или пользовательские инструкции, предоставленные пользователем для управления процессом создания патча.

finding_id строка (необязательно)

Идентификатор конкретной уязвимости, подлежащей устранению. Этот идентификатор соответствует ранее обнаруженной уязвимости.

массив source_files (FileContent) (необязательно)

Список исходных файлов, предоставляющих контекст для устранения проблемы. Как правило, это файлы, содержащие выявленную уязвимость.

Содержимое отдельного файла в кодовой базе.

Поля

строка содержимого (необязательно)

Содержимое файла, закодированное в UTF-8.

строка пути (необязательно)

Относительный путь к файлу относительно корневого каталога проекта.

строка модели (необязательно)

Название модели, используемой для агента CodeMender. Одна сессия CodeMender будет использовать только одну модель.

session_config SessionConfig (необязательно)

Дополнительные параметры конфигурации, специфичные для каждой сессии, позволяют переопределить поведение агента по умолчанию.

Настройка сессий CodeMender.

Поля

max_rounds — целое число (необязательно)

Максимальное количество раундов взаимодействия, которое агент может выполнить до истечения тайм-аута.

session_id строка (необязательно)

Параметр для группировки нескольких взаимодействий, относящихся к одной и той же сессии CodeMender.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "code-mender" .

DeepResearchAgentConfig

Настройки агента Deep Research.

collaborative_planning логическое значение (необязательно)

Включает планирование с участием человека для агента Deep Research. Если установлено значение true, агент Deep Research предоставит план исследования в своем ответе. Затем агент продолжит работу только в том случае, если пользователь подтвердит план на следующем ходу.

enable_bigquery_tool boolean (необязательно)

Включает инструмент BigQuery для агента Deep Research.

thinking_summaries ThinkingSummaries (необязательно)

Стоит ли включать в ответ краткое изложение мыслей?

Возможные значения

  • auto

    Краткие обзоры автоматического мышления.

  • none

    Никаких кратких изложений мысли.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "deep-research" .

перечисление визуализации (строка) (необязательно)

Стоит ли включать визуализации в ответ.

Возможные значения:

  • off

    Не включайте визуализации.

  • auto

    Автоматическое добавление визуализаций.

DynamicAgentConfig

Настройка для динамических агентов.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "dynamic" .

среда EnvironmentConfig или строка (необязательно)

Конфигурация среды для взаимодействия. Может представлять собой объект, указывающий на удаленные источники среды, или строку, ссылающуюся на существующий идентификатор среды.

объект меток (необязательно)

Метки с заданными пользователем метаданными для запроса.

previous_interaction_id строка (необязательно)

Идентификатор предыдущего взаимодействия, если таковое имелось.

массив safety_settings (SafetySetting) (необязательно)

Настройки безопасности для взаимодействия.

Параметр безопасности, влияющий на поведение блокировки безопасности. Параметр безопасности состоит из категории вреда и порогового значения для этой категории.

Поля

метод перечисления (строка) (необязательно)

Необязательный параметр. Способ блокировки контента. Если не указан, по умолчанию используется оценка вероятности.

Возможные значения:

  • severity

    Метод блокировки вреда использует как вероятностные оценки, так и оценки тяжести последствий.

  • probability

    Метод блокировки вреда использует показатель вероятности.

пороговое значение перечисления (строка) (необязательно)

Обязательно. Пороговое значение для блокировки контента. Если вероятность причинения вреда превысит этот порог, контент будет заблокирован.

Возможные значения:

  • block_low_and_above

    Блокируйте контент с низкой или высокой вероятностью причинения вреда.

  • block_medium_and_above

    Блокируйте контент со средней или высокой вероятностью причинения вреда.

  • block_only_high

    Блокируйте контент с высокой вероятностью причинения вреда.

  • block_none

    Не блокируйте никакой контент, независимо от вероятности его нанесения вреда.

  • off

    Полностью отключите защитный фильтр.

тип HarmCategory (необязательно)

Обязательно. Категория вреда, подлежащая блокировке.

Возможные значения

  • hate_speech

    Контент, пропагандирующий насилие или разжигающий ненависть к отдельным лицам или группам на основе определенных признаков.

  • dangerous_content

    Контент, который пропагандирует, способствует или поощряет опасные действия.

  • harassment

    Оскорбительный, угрожающий контент, направленный на запугивание, мучение или высмеивание.

  • sexually_explicit

    Контент, содержащий материалы сексуального характера.

  • civic_integrity

    Устарело: фильтр выборов больше не поддерживается. Категория причинения вреда — гражданская неприкосновенность.

  • image_hate

    Изображения, содержащие разжигающие ненависть высказывания.

  • image_dangerous_content

    Изображения, содержащие опасный контент.

  • image_harassment

    Изображения, содержащие элементы домогательств.

  • image_sexually_explicit

    Изображения, содержащие материалы сексуального характера.

  • jailbreak

    Подсказки, предназначенные для обхода защитных фильтров.

service_tier ServiceTier (необязательно)

Уровень обслуживания для данного взаимодействия.

Возможные значения

  • flex

    Гибкий уровень обслуживания.

  • standard

    Стандартный уровень обслуживания.

  • priority

    Приоритетный уровень обслуживания.

  • deferred

    Отложенный уровень обслуживания.

webhook_config WebhookConfig (необязательно)

Необязательно. Настройка веб-перехватчика для получения уведомлений по завершении взаимодействия.

Сообщение для настройки событий веб-перехватчика для запроса.

Поля

Массив URIS (строка) (необязательно)

Необязательно. Если задано, эти URI веб-перехватчиков будут использоваться для событий веб-перехватчиков вместо зарегистрированных веб-перехватчиков.

Объект user_metadata (необязательно)

Необязательно. Метаданные пользователя, которые будут возвращаться веб-хукам при каждом срабатывании события.

Ответ

Возвращает ресурс " Взаимодействие" .

Простая просьба

Пример ответа

{
  "created": "2025-11-26T12:25:15Z",
  "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg",
  "model": "gemini-3.6-flash",
  "object": "interaction",
  "status": "completed",
  "steps": [
    {
      "type": "model_output",
      "content": [
        {
          "type": "text",
          "text": "Hello! I'm functioning perfectly and ready to assist you.\n\nHow are you doing today?"
        }
      ]
    }
  ],
  "updated": "2025-11-26T12:25:15Z",
  "usage": {
    "input_tokens_by_modality": [
      {
        "modality": "text",
        "tokens": 7
      }
    ],
    "total_cached_tokens": 0,
    "total_input_tokens": 7,
    "total_output_tokens": 20,
    "total_thought_tokens": 22,
    "total_tokens": 49,
    "total_tool_use_tokens": 0
  }
}

Многооборотный

Пример ответа

{
  "created": "2025-11-26T12:22:47Z",
  "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg",
  "model": "gemini-3.6-flash",
  "object": "interaction",
  "status": "completed",
  "steps": [
    {
      "type": "model_output",
      "content": [
        {
          "type": "text",
          "text": "The capital of France is Paris."
        }
      ]
    }
  ],
  "updated": "2025-11-26T12:22:47Z",
  "usage": {
    "input_tokens_by_modality": [
      {
        "modality": "text",
        "tokens": 50
      }
    ],
    "total_cached_tokens": 0,
    "total_input_tokens": 50,
    "total_output_tokens": 10,
    "total_thought_tokens": 0,
    "total_tokens": 60,
    "total_tool_use_tokens": 0
  }
}

Ввод изображения

Пример ответа

{
  "created": "2025-11-26T12:22:47Z",
  "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg",
  "model": "gemini-3.6-flash",
  "object": "interaction",
  "status": "completed",
  "steps": [
    {
      "type": "model_output",
      "content": [
        {
          "type": "text",
          "text": "A white humanoid robot with glowing blue eyes stands holding a red skateboard."
        }
      ]
    }
  ],
  "updated": "2025-11-26T12:22:47Z",
  "usage": {
    "input_tokens_by_modality": [
      {
        "modality": "text",
        "tokens": 10
      },
      {
        "modality": "image",
        "tokens": 258
      }
    ],
    "total_cached_tokens": 0,
    "total_input_tokens": 268,
    "total_output_tokens": 20,
    "total_thought_tokens": 0,
    "total_tokens": 288,
    "total_tool_use_tokens": 0
  }
}

Вызов функции

Пример ответа

{
  "created": "2025-11-26T12:22:47Z",
  "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg",
  "model": "gemini-3.6-flash",
  "object": "interaction",
  "status": "requires_action",
  "steps": [
    {
      "name": "get_weather",
      "type": "function_call",
      "arguments": {
        "location": "Boston, MA"
      },
      "id": "gth23981"
    }
  ],
  "updated": "2025-11-26T12:22:47Z",
  "usage": {
    "input_tokens_by_modality": [
      {
        "modality": "text",
        "tokens": 100
      }
    ],
    "total_cached_tokens": 0,
    "total_input_tokens": 100,
    "total_output_tokens": 25,
    "total_thought_tokens": 0,
    "total_tokens": 125,
    "total_tool_use_tokens": 50
  }
}

Глубокое исследование

Пример ответа

{
  "agent": "deep-research-pro-preview-12-2025",
  "created": "2025-11-26T12:22:47Z",
  "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg",
  "object": "interaction",
  "status": "completed",
  "steps": [
    {
      "type": "model_output",
      "content": [
        {
          "type": "text",
          "text": "Here is a comprehensive research report on the current state of cancer research..."
        }
      ]
    }
  ],
  "updated": "2025-11-26T12:22:47Z",
  "usage": {
    "input_tokens_by_modality": [
      {
        "modality": "text",
        "tokens": 20
      }
    ],
    "total_cached_tokens": 0,
    "total_input_tokens": 20,
    "total_output_tokens": 1000,
    "total_thought_tokens": 500,
    "total_tokens": 1520,
    "total_tool_use_tokens": 0
  }
}

Антигравитационный агент

Пример ответа

{
  "agent": "antigravity-preview-05-2026",
  "created": "2025-11-26T12:22:47Z",
  "environment_id": "env_abc123",
  "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg",
  "object": "interaction",
  "status": "completed",
  "steps": [
    {
      "type": "model_output",
      "content": [
        {
          "type": "text",
          "text": "I've summarized the top 5 Hacker News stories and saved the results to /workspace/summary.md."
        }
      ]
    }
  ],
  "updated": "2025-11-26T12:22:47Z",
  "usage": {
    "input_tokens_by_modality": [
      {
        "modality": "text",
        "tokens": 50
      }
    ],
    "total_cached_tokens": 0,
    "total_input_tokens": 50,
    "total_output_tokens": 500,
    "total_thought_tokens": 200,
    "total_tokens": 750,
    "total_tool_use_tokens": 0
  }
}

Среда повторного использования

Пример ответа

{
  "agent": "antigravity-preview-05-2026",
  "created": "2025-11-26T12:23:00Z",
  "environment_id": "env_abc123",
  "id": "v1_Chd2ZTJhYmNkZWZnaGlqa2xtbm9wcXJzdHV2d3h5ejAxMjM0NTY3ODkwMTIzNDU2Nzg",
  "object": "interaction",
  "status": "completed",
  "steps": [
    {
      "type": "model_output",
      "content": [
        {
          "type": "text",
          "text": "I've updated /workspace/hello.py to accept a name argument and greet the user."
        }
      ]
    }
  ],
  "updated": "2025-11-26T12:23:00Z",
  "usage": {
    "input_tokens_by_modality": [
      {
        "modality": "text",
        "tokens": 80
      }
    ],
    "total_cached_tokens": 0,
    "total_input_tokens": 80,
    "total_output_tokens": 200,
    "total_thought_tokens": 100,
    "total_tokens": 380,
    "total_tool_use_tokens": 0
  }
}

С использованием источников.

Агент по работе с клиентами

Отмена взаимодействия

post https://generativelanguage.googleapis.com/v1beta/interactions/{id}/cancel

Отменяет взаимодействие по идентификатору. Это относится только к фоновым взаимодействиям, которые все еще выполняются.

Путь / Параметры запроса

api_version строка (обязательно)

Какую версию API использовать?

строковый идентификатор (обязательно)

Уникальный идентификатор взаимодействия, которое необходимо отменить.

Ответ

Возвращает ресурс " Взаимодействие" .

Отменить взаимодействие

Пример ответа

{
  "agent": "deep-research-pro-preview-12-2025",
  "created": "2026-06-22T04:55:47Z",
  "id": "v1_ChdVc0E0YXJTYk1zYlV6N0lQcXRXVG1BYxIXVXNBNGFyU2JNc2JVejdJUHF0V1RtQWM",
  "status": "cancelled",
  "steps": [
    {
      "type": "user_input",
      "content": [
        {
          "type": "text",
          "text": "Research the history of the Google TPUs with a focus on 2025 specs."
        }
      ]
    }
  ],
  "updated": "2026-06-22T04:55:47Z"
}

Получение информации о взаимодействии

получить https://generativelanguage.googleapis.com/v1beta/interactions/{id}

Получает полную информацию об одном взаимодействии на основе его `Interaction.id`.

Путь / Параметры запроса

api_version строка (обязательно)

Какую версию API использовать?

строковый идентификатор (обязательно)

Уникальный идентификатор взаимодействия, который необходимо получить.

last_event_id строка (необязательно)

Необязательный параметр. Если задан, возобновляет поток взаимодействия со следующего фрагмента после события, отмеченного идентификатором события. Может использоваться только в том случае, если `stream` имеет значение true.

потоковое логическое значение (необязательно)

Если установить значение true, сгенерированный контент будет передаваться потоком инкрементально.

Значение по умолчанию: False

Ответ

Возвращает ресурс " Взаимодействие" .

Получить взаимодействие

Пример ответа

{
  "created": "2025-11-26T12:25:15Z",
  "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg",
  "model": "gemini-3.6-flash",
  "object": "interaction",
  "status": "completed",
  "steps": [
    {
      "type": "model_output",
      "content": [
        {
          "type": "text",
          "text": "I'm doing great, thank you for asking! How can I help you today?"
        }
      ]
    }
  ],
  "updated": "2025-11-26T12:25:15Z"
}

Удаление взаимодействия

удалить https://generativelanguage.googleapis.com/v1beta/interactions/{id}

Удаляет взаимодействие по идентификатору.

Путь / Параметры запроса

api_version строка (обязательно)

Какую версию API использовать?

строковый идентификатор (обязательно)

Уникальный идентификатор взаимодействия, которое необходимо удалить.

Ответ

В случае успеха ответ будет пустым.

Удалить

Ресурсы

Взаимодействие

Ресурс "Взаимодействие".

Поля

агент AgentOption (необязательно)

Имя агента, использованного для генерации взаимодействия.

Агент, с которым необходимо взаимодействовать.

Возможные значения

  • deep-research-pro-preview-12-2025

    Агент по глубоким исследованиям компании Gemini

  • deep-research-preview-04-2026

    Агент по глубоким исследованиям компании Gemini

  • deep-research-max-preview-04-2026

    Gemini Deep Research Max Agent

  • antigravity-preview-05-2026

    Используйте управляемый агент Antigravity для выполнения многоэтапных задач, требующих логического мышления, работы с файлами и использования инструментов.

объект agent_config (необязательно)

Параметры конфигурации для взаимодействия с агентом.

Возможные типы

Полиморфный дискриминатор: type

AntigravityAgentConfig

Настройки среды выполнения агента Antigravity. Обеспечивают управление средой выполнения агента и конфигурацией инструментов на стороне сервера.

max_total_tokens строка (необязательно)

Максимальное общее количество токенов для выполнения задания агентом.

строка модели (необязательно)

Модель, используемая для рассуждений агента.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте режим "antigravity" .

CodeMenderAgentConfig

Настройки агента CodeMender.

find_request FindRequest (необязательно)

Параметры для поиска уязвимостей.

Параметры запроса, специфичные для сессий FIND, используются для обнаружения уязвимостей в кодовой базе.

Поля

строка описания (необязательно)

Дополнительный контекст или пользовательские инструкции, предоставленные пользователем для проведения анализа уязвимостей.

finding_id строка (необязательно)

Идентификатор конкретной уязвимости, подлежащей проверке. В основном используется в режиме ПРОВЕРКИ (VERIFY) для того, чтобы сосредоточить проверку агента на выполнении на одной конкретной уязвимости.

режим перечисления (строка) (необязательно)

Режим работы поисковой сессии.

Возможные значения:

  • scan

    Быстрое сканирование с использованием только исходного классификатора.

  • verify

    Проводит классификацию с последующим детальным исследованием.

массив source_files (FileContent) (необязательно)

Список исходных файлов, которые необходимо предоставить в качестве контекста для сканирования.

Содержимое отдельного файла в кодовой базе.

Поля

строка содержимого (необязательно)

Содержимое файла, закодированное в UTF-8.

строка пути (необязательно)

Относительный путь к файлу относительно корневого каталога проекта.

fix_request FixRequest (необязательно)

Параметры для устранения уязвимостей.

Параметры запроса, специфичные для FIX-сессий, используются для генерации и проверки обновлений безопасности.

Поля

строка описания (необязательно)

Дополнительный контекст или пользовательские инструкции, предоставленные пользователем для управления процессом создания патча.

finding_id строка (необязательно)

Идентификатор конкретной уязвимости, подлежащей устранению. Этот идентификатор соответствует ранее обнаруженной уязвимости.

массив source_files (FileContent) (необязательно)

Список исходных файлов, предоставляющих контекст для устранения проблемы. Как правило, это файлы, содержащие выявленную уязвимость.

Содержимое отдельного файла в кодовой базе.

Поля

строка содержимого (необязательно)

Содержимое файла, закодированное в UTF-8.

строка пути (необязательно)

Относительный путь к файлу относительно корневого каталога проекта.

строка модели (необязательно)

Название модели, используемой для агента CodeMender. Одна сессия CodeMender будет использовать только одну модель.

session_config SessionConfig (необязательно)

Дополнительные параметры конфигурации, специфичные для каждой сессии, позволяют переопределить поведение агента по умолчанию.

Настройка сессий CodeMender.

Поля

max_rounds — целое число (необязательно)

Максимальное количество раундов взаимодействия, которое агент может выполнить до истечения тайм-аута.

session_id строка (необязательно)

Параметр для группировки нескольких взаимодействий, относящихся к одной и той же сессии CodeMender.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "code-mender" .

DeepResearchAgentConfig

Настройки агента Deep Research.

collaborative_planning логическое значение (необязательно)

Включает планирование с участием человека для агента Deep Research. Если установлено значение true, агент Deep Research предоставит план исследования в своем ответе. Затем агент продолжит работу только в том случае, если пользователь подтвердит план на следующем ходу.

enable_bigquery_tool boolean (необязательно)

Включает инструмент BigQuery для агента Deep Research.

thinking_summaries ThinkingSummaries (необязательно)

Стоит ли включать в ответ краткое изложение мыслей?

Возможные значения

  • auto

    Краткие обзоры автоматического мышления.

  • none

    Никаких кратких изложений мысли.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "deep-research" .

перечисление визуализации (строка) (необязательно)

Стоит ли включать визуализации в ответ.

Возможные значения:

  • off

    Не включайте визуализации.

  • auto

    Автоматическое добавление визуализаций.

DynamicAgentConfig

Настройка для динамических агентов.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "dynamic" .

созданная строка (необязательно)

Только вывод. Время создания ответа в формате ISO 8601 (ГГГГ-ММ-ДДЧч:мм:ссЗ).

среда EnvironmentConfig или строка (необязательно)

Конфигурация среды для взаимодействия. Может представлять собой объект, указывающий на удаленные источники среды, или строку, ссылающуюся на существующий идентификатор среды.

environment_id строка (необязательно)

Только для вывода. Идентификатор среды для взаимодействия. Заполняется только в том случае, если в запросе задана конфигурация среды.

массив ошибок (Ошибка) (необязательно)

Только вывод. Диагностические ошибки / ошибки платформы, зафиксированные во время взаимодействия.

Сообщение об ошибке, возникшей в результате взаимодействия.

Поля

строка кода (необязательно)

URI, определяющий тип ошибки.

строка сообщения (необязательно)

Удобочитаемое сообщение об ошибке.

строка идентификатора (необязательно)

Обязательно. Только для вывода. Уникальный идентификатор завершения взаимодействия.

По умолчанию:

Входные данные: Content или массив ( Content ), массив ( Step ) или строка (необязательно).

Входные данные для взаимодействия.

объект меток (необязательно)

Метки с заданными пользователем метаданными для запроса.

модель ModelOption (необязательно)

Название модели, использованной для генерации взаимодействия.

Модель, которая выполнит ваш запрос.\n\nДополнительную информацию см. в разделе [модели](https://ai.google.dev/gemini-api/docs/models).

Возможные значения

  • gemini-2.5-flash

    Наша первая гибридная модель рассуждений, поддерживающая контекстное окно в 1 миллион токенов и имеющая бюджеты мышления.

  • gemini-2.5-pro

    Наша передовая многоцелевая модель, превосходно справляющаяся с задачами программирования и сложным логическим мышлением.

  • gemma-4-26b-a4b-it

    Джемма 4 26B A4B IT

  • gemma-4-31b-it

    Джемма 4 31B IT

  • gemini-flash-latest

    Последняя версия Gemini Flash

  • gemini-flash-lite-latest

    Новейшая версия фонарика Gemini Flash-Lite

  • gemini-pro-latest

    Последняя версия Gemini Pro

  • gemini-2.5-flash-lite

    Наша самая компактная и экономичная модель, предназначенная для масштабного использования.

  • gemini-2.5-flash-image

    Наша собственная модель генерации изображений, оптимизированная для скорости, гибкости и контекстного понимания. Стоимость ввода и вывода текста такая же, как у 2,5-дюймовой версии Flash.

  • gemini-3-flash-preview

    Наша самая интеллектуальная модель, созданная для скорости, сочетает в себе передовые методы разведки с превосходными возможностями поиска и посадки на землю.

  • gemini-3.1-pro-preview

    Наша новейшая, передовая модель логического мышления с беспрецедентной глубиной и детализацией, а также мощными возможностями многомодального понимания и кодирования.

  • gemini-3.1-pro-preview-customtools

    Gemini 3.1 Pro Preview оптимизирован для использования пользовательских инструментов.

  • gemini-3.1-flash-lite

    Наша наиболее экономичная модель, оптимизированная для выполнения больших объемов агентских задач, перевода и простой обработки данных.

  • gemini-3-pro-image

    Изображение Gemini 3 Pro

  • nano-banana-pro-preview

    Предварительный просмотр изображения Gemini 3 Pro

  • gemini-3.1-flash-image

    Изображение Gemini 3.1 Flash.

  • gemini-3.5-flash

    Наша наиболее интеллектуальная модель для достижения устойчиво высоких результатов в задачах, связанных с агентным программированием и кодированием.

  • gemini-3.6-flash

    Наша наиболее интеллектуальная модель для достижения устойчиво высоких результатов в задачах, связанных с агентным программированием и кодированием.

  • gemini-3.7-flash

    Наша наиболее интеллектуальная модель для достижения устойчиво высоких результатов в задачах, связанных с агентным программированием и кодированием.

  • lyria-3-clip-preview

    Наша модель генерации музыки с низкой задержкой оптимизирована для высококачественных аудиоклипов и точного контроля ритма.

  • lyria-3-pro-preview

    Наша передовая генеративная модель, способная обрабатывать целые композиции и обладающая глубоким пониманием композиции, оптимизирована для точного структурного контроля и сложных переходов между различными музыкальными стилями.

  • gemini-robotics-er-1.6-preview

    Gemini Robotics-ER 1.6 Preview

  • gemini-robotics-er-2-preview

    Предварительный обзор Gemini Robotics Embodied Reasoning 2

output_audio AudioContent (необязательно)

Последний аудиофайл, сгенерированный моделью в ответ на текущий запрос. Примечание: эта информация добавляется SDK.

Блок аудиоконтента.

Поля

каналы целое число (необязательно)

Количество аудиоканалов.

строка данных (необязательно)

Аудиоконтент.

перечисление mime_type (строка) (необязательно)

MIME-тип аудиофайла.

Возможные значения:

  • audio/wav

    аудиоформат WAV

  • audio/mp3

    аудиоформат MP3

  • audio/aiff

    аудиоформат AIFF

  • audio/aac

    аудиоформат AAC

  • audio/ogg

    Аудиоформат OGG

  • audio/flac

    аудиоформат FLAC

  • audio/mpeg

    аудиоформат MPEG

  • audio/m4a

    аудиоформат M4A

  • audio/l16

    аудиоформат L16

  • audio/opus

    Аудиоформат OPUS

  • audio/alaw

    Аудиоформат ALAW

  • audio/mulaw

    Аудиоформат MULAW

sample_rate — целое число (необязательно)

Частота дискретизации аудиосигнала.

тип объекта (необязательно)

Описание отсутствует.

Всегда устанавливайте значение "audio" .

строка URI (необязательно)

URI аудиофайла.

output_image ImageContent (необязательно)

Последнее изображение, сгенерированное моделью в ответ на текущий запрос. Примечание: оно добавляется SDK.

output_text строка (необязательно)

Конкатенированный текст из последнего результата работы модели в ответ на текущий запрос. Примечание: этот текст добавляется SDK.

output_video Видеоконтент (необязательно)

Последнее видео, сгенерированное моделью в ответ на текущий запрос. Примечание: оно добавляется SDK.

Блок видеоконтента.

Поля

строка данных (необязательно)

Видеоконтент.

перечисление mime_type (строка) (необязательно)

Тип MIME видео.

Возможные значения:

  • video/mp4

    видеоформат MP4

  • video/mpeg

    видеоформат MPEG

  • video/mpg

    видеоформат MPG

  • video/mov

    видеоформат MOV

  • video/avi

    видеоформат AVI

  • video/x-flv

    видеоформат FLV

  • video/webm

    видеоформат WebM

  • video/wmv

    видеоформат WMV

  • video/3gpp

    видеоформат 3GPP

Обработка медиафайлов или перечисление (строка) (необязательно)

Как модель обрабатывает это видео для понимания.

разрешение MediaResolution (необязательно)

Разрешение средств массовой информации.

Возможные значения

  • low

    Низкое разрешение.

  • medium

    Среднее разрешение.

  • high

    Высокое разрешение.

  • ultra_high

    Сверхвысокое разрешение.

тип объекта (необязательно)

Описание отсутствует.

Всегда устанавливайте значение "video" .

строка URI (необязательно)

URI видео.

previous_interaction_id строка (необязательно)

Идентификатор предыдущего взаимодействия, если таковое имелось.

response_format ResponseFormat или массив ( ResponseFormat ) (необязательно)

Обеспечивает, чтобы сгенерированный ответ представлял собой объект JSON, соответствующий схеме JSON, указанной в этом поле.

массив safety_settings (SafetySetting) (необязательно)

Настройки безопасности для взаимодействия.

Параметр безопасности, влияющий на поведение блокировки безопасности. Параметр безопасности состоит из категории вреда и порогового значения для этой категории.

Поля

метод перечисления (строка) (необязательно)

Необязательный параметр. Способ блокировки контента. Если не указан, по умолчанию используется оценка вероятности.

Возможные значения:

  • severity

    Метод блокировки вреда использует как вероятностные оценки, так и оценки тяжести последствий.

  • probability

    Метод блокировки вреда использует показатель вероятности.

пороговое значение перечисления (строка) (необязательно)

Обязательно. Пороговое значение для блокировки контента. Если вероятность причинения вреда превысит этот порог, контент будет заблокирован.

Возможные значения:

  • block_low_and_above

    Блокируйте контент с низкой или высокой вероятностью причинения вреда.

  • block_medium_and_above

    Блокируйте контент со средней или высокой вероятностью причинения вреда.

  • block_only_high

    Блокируйте контент с высокой вероятностью причинения вреда.

  • block_none

    Не блокируйте никакой контент, независимо от вероятности его нанесения вреда.

  • off

    Полностью отключите защитный фильтр.

тип HarmCategory (необязательно)

Обязательно. Категория вреда, подлежащая блокировке.

Возможные значения

  • hate_speech

    Контент, пропагандирующий насилие или разжигающий ненависть к отдельным лицам или группам на основе определенных признаков.

  • dangerous_content

    Контент, который пропагандирует, способствует или поощряет опасные действия.

  • harassment

    Оскорбительный, угрожающий контент, направленный на запугивание, мучение или высмеивание.

  • sexually_explicit

    Контент, содержащий материалы сексуального характера.

  • civic_integrity

    Устарело: фильтр выборов больше не поддерживается. Категория причинения вреда — гражданская неприкосновенность.

  • image_hate

    Изображения, содержащие разжигающие ненависть высказывания.

  • image_dangerous_content

    Изображения, содержащие опасный контент.

  • image_harassment

    Изображения, содержащие элементы домогательств.

  • image_sexually_explicit

    Изображения, содержащие материалы сексуального характера.

  • jailbreak

    Подсказки, предназначенные для обхода защитных фильтров.

service_tier ServiceTier (необязательно)

Уровень обслуживания для данного взаимодействия.

Возможные значения

  • flex

    Гибкий уровень обслуживания.

  • standard

    Стандартный уровень обслуживания.

  • priority

    Приоритетный уровень обслуживания.

  • deferred

    Отложенный уровень обслуживания.

перечисление статуса (строка) (необязательно)

Обязательный параметр. Только вывод. Статус взаимодействия.

Возможные значения:

  • in_progress

    Взаимодействие продолжается.

  • requires_action

    Для взаимодействия требуется действие/ввод данных от пользователя.

  • completed

    Взаимодействие завершено.

  • failed

    Взаимодействие не удалось.

  • cancelled

    Встреча была отменена.

  • incomplete

    Взаимодействие завершено, но результаты неполные (например, достигнуто значение max_tokens).

  • budget_exceeded

    Взаимодействие было прервано из-за превышения лимита токенов.

  • queued

    Взаимодействие поставлено в очередь и ожидает обработки.

массив шагов ( Шаг ) (необязательно)

Только вывод. Этапы взаимодействия, если они включены в ответ.

строка системной инструкции (необязательно)

Системная инструкция для взаимодействия.

массив инструментов ( Инструмент ) (необязательно)

Список объявлений инструментов, которые модель может вызывать во время взаимодействия.

обновленная строка (необязательно)

Только вывод. Время последнего обновления ответа в формате ISO 8601 (ГГГГ-ММ-ДДТч:мм:ссЗ).

Использование (необязательно )

Только вывод. Статистика использования токенов в запросе на взаимодействие.

Статистика использования токенов в запросах на взаимодействие.

Поля

массив cached_tokens_by_modality (ModalityTokens) (необязательно)

Анализ использования кэшированных токенов по способам доступа.

Количество токенов для одного варианта ответа.

Поля

модальность ResponseModality (необязательно)

Способ отображения количества токенов.

Возможные значения

  • text

    Указывает, что модель должна возвращать текст.

  • image

    Указывает, что модель должна возвращать изображения.

  • audio

    Указывает, что модель должна возвращать аудиоданные.

  • video

    Указывает, что модель должна возвращать видео.

  • document

    Указывает, что модель должна возвращать документы.

токены целое число (необязательно)

Количество токенов для данного режима.

массив grounding_tool_count (GroundingToolCount) (необязательно)

Количество инструментов для заземления.

Количество заземляющих инструментов подсчитывается.

Поля

count целое число (необязательно)

Количество заземляющих инструментов подсчитывается.

тип перечисления (строка) (необязательно)

Тип заземляющего инструмента, связанный с подсчетом.

Возможные значения:

  • google_search

    Интеграция веб-поиска Google и поиска изображений, а также интеграция веб-поиска с корпоративными приложениями.

  • google_maps

    Определить местоположение с помощью Google Maps.

  • retrieval

    Использование данных клиента, например, VertexAISearch.

input_tokens_by_modality array (ModalityTokens) (optional)

Анализ использования входных токенов в зависимости от модальности ввода.

Количество токенов для одного варианта ответа.

Поля

модальность ResponseModality (необязательно)

Способ отображения количества токенов.

Возможные значения

  • text

    Указывает, что модель должна возвращать текст.

  • image

    Указывает, что модель должна возвращать изображения.

  • audio

    Указывает, что модель должна возвращать аудиоданные.

  • video

    Указывает, что модель должна возвращать видео.

  • document

    Указывает, что модель должна возвращать документы.

токены целое число (необязательно)

Количество токенов для данного режима.

output_tokens_by_modality array (ModalityTokens) (optional)

Анализ использования выходных токенов по видам модальностей.

Количество токенов для одного варианта ответа.

Поля

модальность ResponseModality (необязательно)

Способ отображения количества токенов.

Возможные значения

  • text

    Указывает, что модель должна возвращать текст.

  • image

    Указывает, что модель должна возвращать изображения.

  • audio

    Указывает, что модель должна возвращать аудиоданные.

  • video

    Указывает, что модель должна возвращать видео.

  • document

    Указывает, что модель должна возвращать документы.

токены целое число (необязательно)

Количество токенов для данного режима.

tool_use_tokens_by_modality array (ModalityTokens) (optional)

Анализ использования токенов инструментов в зависимости от модальности.

Количество токенов для одного варианта ответа.

Поля

модальность ResponseModality (необязательно)

Способ отображения количества токенов.

Возможные значения

  • text

    Указывает, что модель должна возвращать текст.

  • image

    Указывает, что модель должна возвращать изображения.

  • audio

    Указывает, что модель должна возвращать аудиоданные.

  • video

    Указывает, что модель должна возвращать видео.

  • document

    Указывает, что модель должна возвращать документы.

токены целое число (необязательно)

Количество токенов для данного режима.

total_cached_tokens — целое число (необязательно)

Количество токенов в кэшированной части запроса (кэшированное содержимое).

total_input_tokens целое число (необязательно)

Количество токенов в подсказке (контексте).

total_output_tokens целое число (необязательно)

Общее количество токенов во всех сгенерированных ответах.

total_thought_tokens целое число (необязательно)

Количество токенов мыслей для моделей мышления.

total_tokens целое число (необязательно)

Общее количество токенов для запроса на взаимодействие (запрос + ответы + другие внутренние токены).

total_tool_use_tokens целое число (необязательно)

Количество токенов, присутствующих в подсказках использования инструмента.

webhook_config WebhookConfig (необязательно)

Необязательно. Настройка веб-перехватчика для получения уведомлений по завершении взаимодействия.

Сообщение для настройки событий веб-перехватчика для запроса.

Поля

Массив URIS (строка) (необязательно)

Необязательно. Если задано, эти URI веб-перехватчиков будут использоваться для событий веб-перехватчиков вместо зарегистрированных веб-перехватчиков.

Объект user_metadata (необязательно)

Необязательно. Метаданные пользователя, которые будут возвращаться веб-хукам при каждом срабатывании события.

Примеры

Пример

{
  "created": "2025-12-04T15:01:45Z",
  "id": "v1_ChdXS0l4YWZXTk9xbk0xZThQczhEcmlROBIXV0tJeGFmV05PcW5NMWU4UHM4RHJpUTg",
  "model": "gemini-3.6-flash",
  "object": "interaction",
  "status": "completed",
  "steps": [
    {
      "type": "model_output",
      "content": [
        {
          "type": "text",
          "text": "Hello! I'm doing well, functioning as expected. Thank you for asking! How are you doing today?"
        }
      ]
    }
  ],
  "updated": "2025-12-04T15:01:45Z",
  "usage": {
    "input_tokens_by_modality": [
      {
        "modality": "text",
        "tokens": 7
      }
    ],
    "total_cached_tokens": 0,
    "total_input_tokens": 7,
    "total_output_tokens": 23,
    "total_thought_tokens": 49,
    "total_tokens": 79,
    "total_tool_use_tokens": 0
  }
}

Модели данных

Содержание

Содержание ответа.

Возможные типы

Аудиоконтент

Блок аудиоконтента.

каналы целое число (необязательно)

Количество аудиоканалов.

строка данных (необязательно)

Аудиоконтент.

перечисление mime_type (строка) (необязательно)

MIME-тип аудиофайла.

Возможные значения:

  • audio/wav

    аудиоформат WAV

  • audio/mp3

    аудиоформат MP3

  • audio/aiff

    аудиоформат AIFF

  • audio/aac

    аудиоформат AAC

  • audio/ogg

    Аудиоформат OGG

  • audio/flac

    аудиоформат FLAC

  • audio/mpeg

    аудиоформат MPEG

  • audio/m4a

    аудиоформат M4A

  • audio/l16

    аудиоформат L16

  • audio/opus

    Аудиоформат OPUS

  • audio/alaw

    Аудиоформат ALAW

  • audio/mulaw

    Аудиоформат MULAW

sample_rate — целое число (необязательно)

Частота дискретизации аудиосигнала.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "audio" .

строка URI (необязательно)

URI аудиофайла.

Содержимое документа

Блок содержимого документа.

строка данных (необязательно)

Содержание документа.

перечисление mime_type (строка) (необязательно)

MIME-тип документа.

Возможные значения:

  • application/pdf

    PDF-документ

  • text/csv

    формат документа CSV

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "document" .

строка URI (необязательно)

URI документа.

ImageContent

Блок с графическим содержимым.

строка данных (необязательно)

Содержание изображения.

перечисление mime_type (строка) (необязательно)

MIME-тип изображения.

Возможные значения:

  • image/png

    формат изображения PNG

  • image/jpeg

    формат изображения JPEG

  • image/webp

    формат изображений WebP

  • image/heic

    формат изображения HEIC

  • image/heif

    формат изображения HEIF

  • image/gif

    формат изображения GIF

  • image/bmp

    формат изображения BMP

  • image/tiff

    формат изображения TIFF

разрешение MediaResolution (необязательно)

Разрешение средств массовой информации.

Возможные значения

  • low

    Низкое разрешение.

  • medium

    Среднее разрешение.

  • high

    Высокое разрешение.

  • ultra_high

    Сверхвысокое разрешение.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "image" .

строка URI (необязательно)

URI изображения.

Текстовое содержимое

Блок текстового содержимого.

массив аннотаций (Аннотация) (необязательно)

Информация об источниках для контента, сгенерированного моделью.

Информация об источниках для контента, сгенерированного моделью.

Возможные типы

FileCitation

Аннотация к файлу.

объект custom_metadata (необязательно)

Пользователь предоставил метаданные о полученном контексте.

document_uri строка (необязательно)

URI файла.

end_index целое число (необязательно)

Конец выделенного сегмента, без учета каких-либо ограничений.

file_name string (необязательно)

Название файла.

media_id строка (необязательно)

В случае цитирования изображений, пожалуйста, укажите идентификатор медиафайла (Media ID), если таковой имеется.

page_number целое число (необязательно)

Номер страницы цитируемого документа, если таковой имеется.

исходная строка (необязательно)

Источник указан для части текста.

start_index — целое число (необязательно)

Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "file_citation" .

PlaceCitation

Аннотация к географическому местоположению.

end_index целое число (необязательно)

Конец выделенного сегмента, без учета каких-либо ограничений.

строковое имя (необязательно)

Название места.

place_id строка (необязательно)

Идентификатор места в формате `places/{place_id}`.

массив review_snippets (ReviewSnippet) (необязательно)

Фрагменты отзывов, используемые для генерации ответов об особенностях того или иного места в Google Maps.

Представляет собой фрагмент отзыва пользователя, отвечающего на вопрос об особенностях конкретного места на Google Maps.

Поля

review_id строка (необязательно)

Идентификатор фрагмента отзыва.

заголовок (необязательно )

Заголовок рецензии.

строка URL (необязательно)

Ссылка, соответствующая отзыву пользователя на Google Maps.

start_index — целое число (необязательно)

Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "place_citation" .

строка URL (необязательно)

URI-ссылка на это место.

URLCitation

Аннотация URL-адреса.

end_index целое число (необязательно)

Конец выделенного сегмента, без учета каких-либо ограничений.

start_index — целое число (необязательно)

Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.

заголовок (необязательно )

Заголовок URL-адреса.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "url_citation" .

строка URL (необязательно)

URL.

WordInfo

Аннотации автоматического распознавания речи на уровне слов для вывода транскрипции. Содержат текст слова, необязательное время и необязательное указание говорящего.

end_index целое число (необязательно)

Конец выделенного сегмента, без учета каких-либо ограничений.

end_offset string (необязательно)

Смещение в конце слова относительно начала аудиозаписи. Присутствует, если timestamp_granularities содержит "word".

Кабель для подключения динамика (опционально)

Необязательно. Метка говорящего для этого слова (например, "spk_1", "spk_2"). Присутствует, если в TranscriptionConfig установлен параметр diarization_mode.

start_index — целое число (необязательно)

Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.

строка начального смещения (необязательно)

Начальное смещение слова относительно начала аудиозаписи. Присутствует, если timestamp_granularities содержит "word".

текстовая строка (необязательно)

Записанное слово.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "word_info" .

текстовая строка (обязательно)

Обязательно. Текстовое содержимое.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "text" .

Видеоконтент

Блок видеоконтента.

строка данных (необязательно)

Видеоконтент.

перечисление mime_type (строка) (необязательно)

Тип MIME видео.

Возможные значения:

  • video/mp4

    видеоформат MP4

  • video/mpeg

    видеоформат MPEG

  • video/mpg

    видеоформат MPG

  • video/mov

    видеоформат MOV

  • video/avi

    видеоформат AVI

  • video/x-flv

    видеоформат FLV

  • video/webm

    видеоформат WebM

  • video/wmv

    видеоформат WMV

  • video/3gpp

    видеоформат 3GPP

Обработка медиафайлов или перечисление (строка) (необязательно)

Как модель обрабатывает это видео для понимания.

разрешение MediaResolution (необязательно)

Разрешение средств массовой информации.

Возможные значения

  • low

    Низкое разрешение.

  • medium

    Среднее разрешение.

  • high

    Высокое разрешение.

  • ultra_high

    Сверхвысокое разрешение.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "video" .

строка URI (необязательно)

URI видео.

Примеры

Аудио

{
  "type": "audio",
  "data": "BASE64_ENCODED_AUDIO",
  "mime_type": "audio/wav"
}

Документ

{
  "type": "document",
  "data": "BASE64_ENCODED_DOCUMENT",
  "mime_type": "application/pdf"
}

Изображение

{
  "type": "image",
  "data": "BASE64_ENCODED_IMAGE",
  "mime_type": "image/png"
}

Текст

{
  "type": "text",
  "text": "Hello, how are you?"
}

Видео

{
  "type": "video",
  "uri": "https://www.youtube.com/watch?v=9hE5-98ZeCg"
}

Инструмент

Инструмент, который может быть использован моделью.

Возможные типы

Выполнение кода

Инструмент, который может использоваться моделью для выполнения кода.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "code_execution" .

Использование компьютера

Инструмент, который модель может использовать для взаимодействия с компьютером.

disabled_safety_policies array (enum (string)) (optional)

Необязательно. Отключены правила техники безопасности при использовании компьютера.

Возможные значения:

  • financial_transactions

    Политика безопасности финансовых транзакций.

  • sensitive_data_modification

    Политика безопасности при изменении конфиденциальных данных.

  • communication_tool

    Политика безопасности для средств связи (например, Gmail, Chat, Meet).

  • account_creation

    Политика безопасности при создании учетной записи.

  • data_modification

    Политика безопасности при изменении данных.

  • user_consent_management

    Политика безопасности в отношении управления согласием пользователей.

  • legal_terms_and_agreements

    Политика безопасности в отношении юридических условий и соглашений.

enable_prompt_injection_detection логическое значение (необязательно)

Включить ли проверку обнаружения инъекций при запросе на использование компьютера.

Перечисление переменных окружения (строка) (необязательно)

Рабочая среда.

Возможные значения:

  • browser

    Работает в веб-браузере.

  • mobile

    Работает в мобильной среде.

  • desktop

    Работает в настольной среде.

массив excluded_predefined_functions (строка) (необязательно)

Список предопределенных функций, исключенных из вызова модели.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "computer_use" .

Поиск файлов

Инструмент, который может использоваться моделью для поиска файлов.

массив file_search_store_names (строка) (необязательно)

Названия хранилищ файлов для поиска.

metadata_filter строка (необязательно)

Фильтр метаданных, применяемый к документам и фрагментам, полученным в результате семантического поиска.

top_k целое число (необязательно)

Количество фрагментов семантического поиска, которые необходимо извлечь.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "file_search" .

Функция

Инструмент, который может быть использован моделью.

строка описания (необязательно)

Описание функции.

строковое имя (необязательно)

Название функции.

объект параметров (необязательно)

JSON-схема для параметров функции.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "function" .

Google Карты

Инструмент, который модель может использовать для вызова Google Maps.

enable_widget boolean (необязательно)

Следует ли возвращать токен контекста виджета в результате вызова инструмента в ответе.

широта ( необязательно )

Широта местоположения пользователя.

Номер долготы (необязательно)

Долгота местоположения пользователя.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "google_maps" .

GoogleПоиск

Инструмент, который модель может использовать для поиска в Google.

массив search_types (перечисление (строка)) (необязательно)

Типы поиска, которые необходимо включить.

Возможные значения:

  • web_search

    Включение этого поля активирует веб-поиск. Возвращаются только текстовые результаты.

  • image_search

    Установив это поле, можно включить поиск изображений. Возвращаются байты изображения.

  • enterprise_web_search

    Включение корпоративного веб-поиска.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "google_search" .

McpServer

MCPServer — это сервер, который может быть вызван моделью для выполнения действий.

массив allowed_tools (AllowedTools) (необязательно)

Разрешенные инструменты.

Настройки для разрешенных инструментов.

Поля

режим перечисления (строка) (необязательно)

Способ выбора инструмента.

Возможные значения:

  • auto

    Автоматический выбор инструмента.

  • any

    Любой выбор инструмента.

  • none

    Выбор инструментов отсутствует.

  • validated

    Выбор инструмента подтвержден.

массив инструментов (строка) (необязательно)

Названия разрешенных инструментов.

объект заголовков (необязательно)

Необязательно: поля для заголовков аутентификации, тайм-аутов и т. д., если необходимо.

строковое имя (необязательно)

Имя MCPServer.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "mcp_server" .

строка URL (необязательно)

Полный URL-адрес конечной точки MCPServer. Пример: "https://api.example.com/mcp"

Извлечение

Инструмент, который может использоваться моделью для извлечения файлов.

exa_ai_search_config ExaAISearchConfig (необязательно)

Используется для указания конфигурации ExaAISearch.

Используется для указания конфигурации ExaAISearch.

Поля

api_key строка (необязательно)

Обязательно. API-ключ для ExaAiSearch.

объект custom_config (необязательно)

Необязательно. Это поле можно использовать для передачи любых параметров из API поиска Exa.ai.

parallel_ai_search_config ParallelAISearchConfig (необязательно)

Используется для указания конфигурации ParallelAISearch.

Используется для указания конфигурации ParallelAISearch.

Поля

api_key строка (необязательно)

Необязательно. Ключ API для ParallelAiSearch.

объект custom_config (необязательно)

Необязательно. Пользовательские настройки для ParallelAiSearch.

rag_store_config RagStoreConfig (необязательно)

Используется для указания конфигурации RagStore.

Используется для указания конфигурации хранилища RAG.

Поля

Массив rag_resources (RagResource) (необязательно)

Необязательно. Отображение исходного файла.

Определение ресурса Rag.

Поля

rag_corpus string (необязательно)

Необязательно. Имя ресурса RagCorpora.

Массив rag_file_ids (строка) (необязательно)

Необязательный параметр. rag_file_id. Файлы должны находиться в том же наборе данных rag_corpus, что и указано в поле rag_corpus.

rag_retrieval_config RagRetrievalConfig (необязательно)

Необязательно. Конфигурация получения данных для запроса Rag.

Задает конфигурацию получения контекста.

Поля

Фильтр ( необязательно )

Необязательно. Настройка фильтров.

Настройки фильтров.

Поля

metadata_filter строка (необязательно)

Необязательный параметр. Строка для фильтрации метаданных.

числовой порог векторного расстояния (необязательно)

Необязательный параметр. Возвращает только контексты, у которых векторное расстояние меньше порогового значения.

числовой порог сходства векторов (необязательно)

Необязательный параметр. Возвращает только контексты с векторным сходством, превышающим пороговое значение.

hybrid_search HybridSearch (необязательно)

Необязательно. Настройка для гибридного поиска.

Настройки для гибридного поиска.

Поля

буквенно-цифровой код (необязательно)

Необязательный параметр. Значение альфа определяет вес результатов поиска по плотным и разреженным векторам.

рейтинг Рейтинг (необязательно)

Необязательно. Настройки для ранжирования и переранжирования.

Настройки для ранжирования и переранжирования.

top_k целое число (необязательно)

Необязательный параметр. Количество контекстов для получения.

массив retrieval_types (перечисление (строка)) (необязательно)

Типы извлечения файлов, которые необходимо включить.

Возможные значения:

  • rag_store
  • exa_ai_search
  • parallel_ai_search
тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "retrieval" .

UrlContext

Инструмент, который может использоваться моделью для получения контекста URL-адреса.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "url_context" .

Примеры

Выполнение кода

Использование компьютера

Поиск файлов

Функция

Google Карты

GoogleПоиск

McpServer

Извлечение

Примеров для этого типа нет.

UrlContext

InteractionSseEvent

Возможные типы

Полиморфный дискриминатор: event_type

ErrorEvent

ошибка Ошибка (необязательно)

Описание отсутствует.

Сообщение об ошибке, возникшей в результате взаимодействия.

Поля

строка кода (необязательно)

URI, определяющий тип ошибки.

строка сообщения (необязательно)

Удобочитаемое сообщение об ошибке.

event_id строка (необязательно)

Токен event_id, который будет использоваться для возобновления потока взаимодействия с этого события.

event_type object (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "error" .

InteractionCompletedEvent

event_id строка (необязательно)

Токен event_id, который будет использоваться для возобновления потока взаимодействия с этого события.

event_type object (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "interaction.completed" .

interaction InteractionSseEventInteraction (required)

Частично завершенный ресурс взаимодействия выдается в конце потока.

Частичный ресурс взаимодействия, генерируемый событиями SSE жизненного цикла взаимодействия. Полезные нагрузки жизненного цикла потокового режима могут опускать поля, доступные только в полных ответах взаимодействия, не относящихся к потоковому режиму.

Поля

Строка агента (необязательно)

Агент, с которым необходимо взаимодействовать.

созданная строка (необязательно)

Только выходные данные. Время создания ответа в формате ISO 8601.

строка идентификатора (необязательно)

Обязательно. Только для вывода. Уникальный идентификатор завершения взаимодействия.

строка модели (необязательно)

Модель, которая поможет выполнить ваше задание.

строковый объект (необязательно)

Только вывод. Тип ресурса.

service_tier ServiceTier (необязательно)

Уровень обслуживания для данного взаимодействия.

Возможные значения

  • flex

    Гибкий уровень обслуживания.

  • standard

    Стандартный уровень обслуживания.

  • priority

    Приоритетный уровень обслуживания.

  • deferred

    Отложенный уровень обслуживания.

перечисление статуса (строка) (необязательно)

Обязательный параметр. Только вывод. Статус взаимодействия.

Возможные значения:

  • in_progress

    Взаимодействие продолжается.

  • requires_action

    Для взаимодействия требуется действие/ввод данных от пользователя.

  • completed

    Взаимодействие завершено.

  • failed

    Взаимодействие не удалось.

  • cancelled

    Встреча была отменена.

  • incomplete

    Взаимодействие завершено, но результаты неполные (например, достигнуто значение max_tokens).

массив шагов ( Шаг ) (необязательно)

Только вывод. Этапы взаимодействия, если они включены в это событие.

обновленная строка (необязательно)

Только выходные данные. Время последнего обновления ответа в формате ISO 8601.

Использование (необязательно )

Только вывод. Статистика использования токенов в запросе на взаимодействие.

Статистика использования токенов в запросах на взаимодействие.

Поля

массив cached_tokens_by_modality (ModalityTokens) (необязательно)

Анализ использования кэшированных токенов по способам доступа.

Количество токенов для одного варианта ответа.

Поля

модальность ResponseModality (необязательно)

Способ отображения количества токенов.

Возможные значения

  • text

    Указывает, что модель должна возвращать текст.

  • image

    Указывает, что модель должна возвращать изображения.

  • audio

    Указывает, что модель должна возвращать аудиоданные.

  • video

    Указывает, что модель должна возвращать видео.

  • document

    Указывает, что модель должна возвращать документы.

токены целое число (необязательно)

Количество токенов для данного режима.

массив grounding_tool_count (GroundingToolCount) (необязательно)

Количество инструментов для заземления.

Количество заземляющих инструментов подсчитывается.

Поля

count целое число (необязательно)

Количество заземляющих инструментов подсчитывается.

тип перечисления (строка) (необязательно)

Тип заземляющего инструмента, связанный с подсчетом.

Возможные значения:

  • google_search

    Интеграция веб-поиска Google и поиска изображений, а также интеграция веб-поиска с корпоративными приложениями.

  • google_maps

    Определить местоположение с помощью Google Maps.

  • retrieval

    Использование данных клиента, например, VertexAISearch.

input_tokens_by_modality array (ModalityTokens) (optional)

Анализ использования входных токенов в зависимости от модальности ввода.

Количество токенов для одного варианта ответа.

Поля

модальность ResponseModality (необязательно)

Способ отображения количества токенов.

Возможные значения

  • text

    Указывает, что модель должна возвращать текст.

  • image

    Указывает, что модель должна возвращать изображения.

  • audio

    Указывает, что модель должна возвращать аудиоданные.

  • video

    Указывает, что модель должна возвращать видео.

  • document

    Указывает, что модель должна возвращать документы.

токены целое число (необязательно)

Количество токенов для данного режима.

output_tokens_by_modality array (ModalityTokens) (optional)

Анализ использования выходных токенов по видам модальностей.

Количество токенов для одного варианта ответа.

Поля

модальность ResponseModality (необязательно)

Способ отображения количества токенов.

Возможные значения

  • text

    Указывает, что модель должна возвращать текст.

  • image

    Указывает, что модель должна возвращать изображения.

  • audio

    Указывает, что модель должна возвращать аудиоданные.

  • video

    Указывает, что модель должна возвращать видео.

  • document

    Указывает, что модель должна возвращать документы.

токены целое число (необязательно)

Количество токенов для данного режима.

tool_use_tokens_by_modality array (ModalityTokens) (optional)

Анализ использования токенов инструментов в зависимости от модальности.

Количество токенов для одного варианта ответа.

Поля

модальность ResponseModality (необязательно)

Способ отображения количества токенов.

Возможные значения

  • text

    Указывает, что модель должна возвращать текст.

  • image

    Указывает, что модель должна возвращать изображения.

  • audio

    Указывает, что модель должна возвращать аудиоданные.

  • video

    Указывает, что модель должна возвращать видео.

  • document

    Указывает, что модель должна возвращать документы.

токены целое число (необязательно)

Количество токенов для данного режима.

total_cached_tokens — целое число (необязательно)

Количество токенов в кэшированной части запроса (кэшированное содержимое).

total_input_tokens целое число (необязательно)

Количество токенов в подсказке (контексте).

total_output_tokens целое число (необязательно)

Общее количество токенов во всех сгенерированных ответах.

total_thought_tokens целое число (необязательно)

Количество токенов мыслей для моделей мышления.

total_tokens целое число (необязательно)

Общее количество токенов для запроса на взаимодействие (запрос + ответы + другие внутренние токены).

total_tool_use_tokens целое число (необязательно)

Количество токенов, присутствующих в подсказках использования инструмента.

InteractionCreatedEvent

event_id строка (необязательно)

Токен event_id, который будет использоваться для возобновления потока взаимодействия с этого события.

event_type object (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "interaction.created" .

interaction InteractionSseEventInteraction (required)

Ресурс частичного взаимодействия, генерируемый при создании потока.

Частичный ресурс взаимодействия, генерируемый событиями SSE жизненного цикла взаимодействия. Полезные нагрузки жизненного цикла потокового режима могут опускать поля, доступные только в полных ответах взаимодействия, не относящихся к потоковому режиму.

Поля

Строка агента (необязательно)

Агент, с которым необходимо взаимодействовать.

созданная строка (необязательно)

Только выходные данные. Время создания ответа в формате ISO 8601.

строка идентификатора (необязательно)

Обязательно. Только для вывода. Уникальный идентификатор завершения взаимодействия.

строка модели (необязательно)

Модель, которая поможет выполнить ваше задание.

строковый объект (необязательно)

Только вывод. Тип ресурса.

service_tier ServiceTier (необязательно)

Уровень обслуживания для данного взаимодействия.

Возможные значения

  • flex

    Гибкий уровень обслуживания.

  • standard

    Стандартный уровень обслуживания.

  • priority

    Приоритетный уровень обслуживания.

  • deferred

    Отложенный уровень обслуживания.

перечисление статуса (строка) (необязательно)

Обязательный параметр. Только вывод. Статус взаимодействия.

Возможные значения:

  • in_progress

    Взаимодействие продолжается.

  • requires_action

    Для взаимодействия требуется действие/ввод данных от пользователя.

  • completed

    Взаимодействие завершено.

  • failed

    Взаимодействие не удалось.

  • cancelled

    Встреча была отменена.

  • incomplete

    Взаимодействие завершено, но результаты неполные (например, достигнуто значение max_tokens).

массив шагов ( Шаг ) (необязательно)

Только вывод. Этапы взаимодействия, если они включены в это событие.

обновленная строка (необязательно)

Только выходные данные. Время последнего обновления ответа в формате ISO 8601.

Использование (необязательно )

Только вывод. Статистика использования токенов в запросе на взаимодействие.

Статистика использования токенов в запросах на взаимодействие.

Поля

массив cached_tokens_by_modality (ModalityTokens) (необязательно)

Анализ использования кэшированных токенов по способам доступа.

Количество токенов для одного варианта ответа.

Поля

модальность ResponseModality (необязательно)

Способ отображения количества токенов.

Возможные значения

  • text

    Указывает, что модель должна возвращать текст.

  • image

    Указывает, что модель должна возвращать изображения.

  • audio

    Указывает, что модель должна возвращать аудиоданные.

  • video

    Указывает, что модель должна возвращать видео.

  • document

    Указывает, что модель должна возвращать документы.

токены целое число (необязательно)

Количество токенов для данного режима.

массив grounding_tool_count (GroundingToolCount) (необязательно)

Количество инструментов для заземления.

Количество заземляющих инструментов подсчитывается.

Поля

count целое число (необязательно)

Количество заземляющих инструментов подсчитывается.

тип перечисления (строка) (необязательно)

Тип заземляющего инструмента, связанный с подсчетом.

Возможные значения:

  • google_search

    Интеграция веб-поиска Google и поиска изображений, а также интеграция веб-поиска с корпоративными приложениями.

  • google_maps

    Определить местоположение с помощью Google Maps.

  • retrieval

    Использование данных клиента, например, VertexAISearch.

input_tokens_by_modality array (ModalityTokens) (optional)

Анализ использования входных токенов в зависимости от модальности ввода.

Количество токенов для одного варианта ответа.

Поля

модальность ResponseModality (необязательно)

Способ отображения количества токенов.

Возможные значения

  • text

    Указывает, что модель должна возвращать текст.

  • image

    Указывает, что модель должна возвращать изображения.

  • audio

    Указывает, что модель должна возвращать аудиоданные.

  • video

    Указывает, что модель должна возвращать видео.

  • document

    Указывает, что модель должна возвращать документы.

токены целое число (необязательно)

Количество токенов для данного режима.

output_tokens_by_modality array (ModalityTokens) (optional)

Анализ использования выходных токенов по видам модальностей.

Количество токенов для одного варианта ответа.

Поля

модальность ResponseModality (необязательно)

Способ отображения количества токенов.

Возможные значения

  • text

    Указывает, что модель должна возвращать текст.

  • image

    Указывает, что модель должна возвращать изображения.

  • audio

    Указывает, что модель должна возвращать аудиоданные.

  • video

    Указывает, что модель должна возвращать видео.

  • document

    Указывает, что модель должна возвращать документы.

токены целое число (необязательно)

Количество токенов для данного режима.

tool_use_tokens_by_modality array (ModalityTokens) (optional)

Анализ использования токенов инструментов в зависимости от модальности.

Количество токенов для одного варианта ответа.

Поля

модальность ResponseModality (необязательно)

Способ отображения количества токенов.

Возможные значения

  • text

    Указывает, что модель должна возвращать текст.

  • image

    Указывает, что модель должна возвращать изображения.

  • audio

    Указывает, что модель должна возвращать аудиоданные.

  • video

    Указывает, что модель должна возвращать видео.

  • document

    Указывает, что модель должна возвращать документы.

токены целое число (необязательно)

Количество токенов для данного режима.

total_cached_tokens — целое число (необязательно)

Количество токенов в кэшированной части запроса (кэшированное содержимое).

total_input_tokens целое число (необязательно)

Количество токенов в подсказке (контексте).

total_output_tokens целое число (необязательно)

Общее количество токенов во всех сгенерированных ответах.

total_thought_tokens целое число (необязательно)

Количество токенов мыслей для моделей мышления.

total_tokens целое число (необязательно)

Общее количество токенов для запроса на взаимодействие (запрос + ответы + другие внутренние токены).

total_tool_use_tokens целое число (необязательно)

Количество токенов, присутствующих в подсказках использования инструмента.

InteractionStatusUpdate

event_id строка (необязательно)

Токен event_id, который будет использоваться для возобновления потока взаимодействия с этого события.

event_type object (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "interaction.status_update" .

interaction_id — строка (обязательно)

Описание отсутствует.

перечисление статуса (строка) (обязательно)

Описание отсутствует.

Возможные значения:

  • in_progress

    Взаимодействие продолжается.

  • requires_action

    Для взаимодействия требуется действие/ввод данных от пользователя.

  • completed

    Взаимодействие завершено.

  • failed

    Взаимодействие не удалось.

  • cancelled

    Встреча была отменена.

  • incomplete

    Взаимодействие завершено, но результаты неполные (например, достигнуто значение max_tokens).

  • budget_exceeded

    Взаимодействие было прервано из-за превышения лимита токенов.

  • queued

    Взаимодействие ставится в очередь, ожидая обработки (например, ожидая освобождения мест в непиковое время).

StepDelta

delta StepDeltaData (обязательно)

Описание отсутствует.

Возможные типы

АргументыДельта

строка аргументов (необязательно)

Описание отсутствует.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "arguments_delta" .

AudioDelta

каналы целое число (необязательно)

Количество аудиоканалов.

строка данных (необязательно)

Описание отсутствует.

перечисление mime_type (строка) (необязательно)

Описание отсутствует.

Возможные значения:

  • audio/wav

    аудиоформат WAV

  • audio/mp3

    аудиоформат MP3

  • audio/aiff

    аудиоформат AIFF

  • audio/aac

    аудиоформат AAC

  • audio/ogg

    Аудиоформат OGG

  • audio/flac

    аудиоформат FLAC

  • audio/mpeg

    аудиоформат MPEG

  • audio/m4a

    аудиоформат M4A

  • audio/l16

    аудиоформат L16

  • audio/opus

    Аудиоформат OPUS

  • audio/alaw

    Аудиоформат ALAW

  • audio/mulaw

    Аудиоформат MULAW

sample_rate — целое число (необязательно)

Частота дискретизации аудиосигнала.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "audio" .

строка URI (необязательно)

Описание отсутствует.

CodeExecutionCallDelta

аргументы CodeExecutionCallArguments (обязательно)

Описание отсутствует.

Аргументы, передаваемые для выполнения кода.

Поля

строка кода (необязательно)

Код, который необходимо выполнить.

языковой перечисление (строка) (необязательно)

Язык программирования кода.

Возможные значения:

  • python

    Python >= 3.10, с доступными библиотеками numpy и simpy.

строка подписи (необязательно)

Хэш подписи для проверки данных на стороне бэкэнда.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "code_execution_call" .

CodeExecutionResultDelta

is_error логическое значение (необязательно)

Описание отсутствует.

строка результата (обязательно)

Описание отсутствует.

строка подписи (необязательно)

Хэш подписи для проверки данных на стороне бэкэнда.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "code_execution_result" .

ДокументДельта

строка данных (необязательно)

Описание отсутствует.

перечисление mime_type (строка) (необязательно)

Описание отсутствует.

Возможные значения:

  • application/pdf

    PDF-документ

  • text/csv

    формат документа CSV

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "document" .

строка URI (необязательно)

Описание отсутствует.

FileSearchCallDelta

строка подписи (необязательно)

Хэш подписи для проверки данных на стороне бэкэнда.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "file_search_call" .

FileSearchResultDelta

массив результатов (FileSearchResult) (обязательно)

Описание отсутствует.

Результат поиска по файлу.

строка подписи (необязательно)

Хэш подписи для проверки данных на стороне бэкэнда.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "file_search_result" .

FunctionResultDelta

call_id — строка (обязательно)

Обязательно. Идентификатор, соответствующий идентификатору из блока вызова функции.

is_error логическое значение (необязательно)

Описание отсутствует.

строковое имя (необязательно)

Описание отсутствует.

результирующий массив ( ImageContent или TextContent ) или объект, или строка (обязательно)

Описание отсутствует.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "function_result" .

GoogleMapsCallDelta

arguments GoogleMapsCallArguments (необязательно)

Аргументы, передаваемые инструменту Google Maps.

Аргументы, передаваемые инструменту Google Maps.

Поля

массив запросов (строка) (необязательно)

Запросы, подлежащие выполнению.

строка подписи (необязательно)

Хэш подписи для проверки данных на стороне бэкэнда.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "google_maps_call" .

GoogleMapsResultDelta

массив результатов (GoogleMapsResult) (необязательно)

Результаты поиска в Google Maps.

Результат поиска в Google Maps.

Поля

массив мест (Места) (необязательно)

Места, которые были найдены.

Поля

строковое имя (необязательно)

Название места.

place_id строка (необязательно)

Идентификатор места в формате `places/{place_id}`.

массив review_snippets (ReviewSnippet) (необязательно)

Фрагменты отзывов, используемые для генерации ответов об особенностях того или иного места в Google Maps.

Представляет собой фрагмент отзыва пользователя, отвечающего на вопрос об особенностях конкретного места на Google Maps.

Поля

review_id строка (необязательно)

Идентификатор фрагмента отзыва.

заголовок (необязательно )

Заголовок рецензии.

строка URL (необязательно)

Ссылка, соответствующая отзыву пользователя на Google Maps.

строка URL (необязательно)

URI-ссылка на это место.

widget_context_token строка (необязательно)

Имя ресурса контекстного токена виджета Google Maps.

строка подписи (необязательно)

Хэш подписи для проверки данных на стороне бэкэнда.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "google_maps_result" .

GoogleSearchCallDelta

arguments GoogleSearchCallArguments (обязательно)

Описание отсутствует.

Аргументы, которые необходимо передать в поиск Google.

Поля

массив запросов (строка) (необязательно)

Поисковые запросы в интернете для последующего поиска.

строка подписи (необязательно)

Хэш подписи для проверки данных на стороне бэкэнда.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "google_search_call" .

GoogleSearchResultDelta

is_error логическое значение (необязательно)

Описание отсутствует.

массив результатов (GoogleSearchResult) (обязательно)

Описание отсутствует.

Результат поиска в Google.

Поля

строка search_suggestions (необязательно)

Фрагмент веб-контента, который можно встроить в веб-страницу или веб-представление приложения.

строка подписи (необязательно)

Хэш подписи для проверки данных на стороне бэкэнда.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "google_search_result" .

ImageDelta

строка данных (необязательно)

Описание отсутствует.

перечисление mime_type (строка) (необязательно)

Описание отсутствует.

Возможные значения:

  • image/png

    формат изображения PNG

  • image/jpeg

    формат изображения JPEG

  • image/webp

    формат изображений WebP

  • image/heic

    формат изображения HEIC

  • image/heif

    формат изображения HEIF

  • image/gif

    формат изображения GIF

  • image/bmp

    формат изображения BMP

  • image/tiff

    формат изображения TIFF

разрешение MediaResolution (необязательно)

Разрешение средств массовой информации.

Возможные значения

  • low

    Низкое разрешение.

  • medium

    Среднее разрешение.

  • high

    Высокое разрешение.

  • ultra_high

    Сверхвысокое разрешение.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "image" .

строка URI (необязательно)

Описание отсутствует.

McpServerToolCallDelta

Объект аргументов (обязательный)

Описание отсутствует.

имя строка (обязательно)

Описание отсутствует.

server_name — строка (обязательно)

Описание отсутствует.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "mcp_server_tool_call" .

McpServerToolResultDelta

строковое имя (необязательно)

Описание отсутствует.

результирующий массив ( ImageContent или TextContent ) или объект, или строка (обязательно)

Описание отсутствует.

server_name строка (необязательно)

Описание отсутствует.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "mcp_server_tool_result" .

RetrievalCallDelta

Используется инструментами поиска по вершинам, такими как Parallel AI, Exa AI, Vertex AI Search и др. Параметр RetrievalType определяет, какой инструмент будет использоваться.

arguments RetrievalStepArguments (required)

Обязательный параметр. Аргументы, которые будут переданы инструменту получения данных.

Аргументы, передаваемые инструментам извлечения данных.

Поля

массив запросов (строка) (необязательно)

Запросы для получения информации.

retrieval_type enum (string) (optional)

Тип инструментов поиска.

Возможные значения:

  • rag_store

    Тип инструментов поиска.

  • exa_ai_search

    Тип инструментов поиска.

  • parallel_ai_search

    Тип инструментов поиска.

строка подписи (необязательно)

Хэш подписи для проверки данных на стороне бэкэнда.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "retrieval_call" .

RetrievalResultDelta

Используется инструментами поиска вершин, такими как Parallel AI, Exa AI, Vertex AI Search и др. ToolResultDelta.type

is_error логическое значение (необязательно)

Произошла ли ошибка при извлечении данных?

строка подписи (необязательно)

Хэш подписи для проверки данных на стороне бэкэнда.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "retrieval_result" .

Текстовая аннотацияДельта

массив аннотаций (Аннотация) (необязательно)

Информация об источниках для контента, сгенерированного моделью.

Информация об источниках для контента, сгенерированного моделью.

Возможные типы

FileCitation

Аннотация к файлу.

объект custom_metadata (необязательно)

Пользователь предоставил метаданные о полученном контексте.

document_uri строка (необязательно)

URI файла.

end_index целое число (необязательно)

Конец выделенного сегмента, без учета каких-либо ограничений.

file_name string (необязательно)

Название файла.

media_id строка (необязательно)

В случае цитирования изображений, пожалуйста, укажите идентификатор медиафайла (Media ID), если таковой имеется.

page_number целое число (необязательно)

Номер страницы цитируемого документа, если таковой имеется.

исходная строка (необязательно)

Источник указан для части текста.

start_index — целое число (необязательно)

Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "file_citation" .

PlaceCitation

Аннотация к географическому местоположению.

end_index целое число (необязательно)

Конец выделенного сегмента, без учета каких-либо ограничений.

строковое имя (необязательно)

Название места.

place_id строка (необязательно)

Идентификатор места в формате `places/{place_id}`.

массив review_snippets (ReviewSnippet) (необязательно)

Фрагменты отзывов, используемые для генерации ответов об особенностях того или иного места в Google Maps.

Представляет собой фрагмент отзыва пользователя, отвечающего на вопрос об особенностях конкретного места на Google Maps.

Поля

review_id строка (необязательно)

Идентификатор фрагмента отзыва.

заголовок (необязательно )

Заголовок рецензии.

строка URL (необязательно)

Ссылка, соответствующая отзыву пользователя на Google Maps.

start_index — целое число (необязательно)

Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "place_citation" .

строка URL (необязательно)

URI-ссылка на это место.

URLCitation

Аннотация URL-адреса.

end_index целое число (необязательно)

Конец выделенного сегмента, без учета каких-либо ограничений.

start_index — целое число (необязательно)

Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.

заголовок (необязательно )

Заголовок URL-адреса.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "url_citation" .

строка URL (необязательно)

URL.

WordInfo

Аннотации автоматического распознавания речи на уровне слов для вывода транскрипции. Содержат текст слова, необязательное время и необязательное указание говорящего.

end_index целое число (необязательно)

Конец выделенного сегмента, без учета каких-либо ограничений.

end_offset string (необязательно)

Смещение в конце слова относительно начала аудиозаписи. Присутствует, если timestamp_granularities содержит "word".

Кабель для подключения динамика (опционально)

Необязательно. Метка говорящего для этого слова (например, "spk_1", "spk_2"). Присутствует, если в TranscriptionConfig установлен параметр diarization_mode.

start_index — целое число (необязательно)

Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.

строка начального смещения (необязательно)

Начальное смещение слова относительно начала аудиозаписи. Присутствует, если timestamp_granularities содержит "word".

текстовая строка (необязательно)

Записанное слово.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "word_info" .

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "text_annotation_delta" .

ТекстДельта

текстовая строка (обязательно)

Описание отсутствует.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "text" .

ThoughtSignatureDelta

строка подписи (необязательно)

Подпись должна соответствовать исходному коду бэкэнда и быть включена в процесс генерации.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "thought_signature" .

ThoughtSummaryDelta

Содержание ( необязательно )

К этой мысли следует добавить новый заключительный пункт.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "thought_summary" .

UrlContextCallDelta

arguments UrlContextCallArguments (required)

Описание отсутствует.

Аргументы, передаваемые в контекст URL.

Поля

массив URL-адресов (строка) (необязательно)

URL-адреса для загрузки.

строка подписи (необязательно)

Хэш подписи для проверки данных на стороне бэкэнда.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "url_context_call" .

UrlContextResultDelta

is_error логическое значение (необязательно)

Описание отсутствует.

массив результатов (UrlContextResult) (обязательно)

Описание отсутствует.

Результат анализа контекста URL.

Поля

перечисление статуса (строка) (необязательно)

Статус получения URL-адреса.

Возможные значения:

  • success

    Получение URL-адреса прошло успешно.

  • error

    Получение URL-адреса не удалось из-за ошибки.

  • paywall

    Не удалось получить URL-адрес, поскольку контент находится за платным доступом.

  • unsafe

    Не удалось получить URL-адрес, поскольку содержимое небезопасно.

строка URL (необязательно)

URL-адрес, который был получен.

строка подписи (необязательно)

Хэш подписи для проверки данных на стороне бэкэнда.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "url_context_result" .

ВидеоДельта

строка данных (необязательно)

Описание отсутствует.

перечисление mime_type (строка) (необязательно)

Описание отсутствует.

Возможные значения:

  • video/mp4

    видеоформат MP4

  • video/mpeg

    видеоформат MPEG

  • video/mpg

    видеоформат MPG

  • video/mov

    видеоформат MOV

  • video/avi

    видеоформат AVI

  • video/x-flv

    видеоформат FLV

  • video/webm

    видеоформат WebM

  • video/wmv

    видеоформат WMV

  • video/3gpp

    видеоформат 3GPP

  • video/jpeg2000

    видеоформат JPEG 2000

разрешение MediaResolution (необязательно)

Разрешение средств массовой информации.

Возможные значения

  • low

    Низкое разрешение.

  • medium

    Среднее разрешение.

  • high

    Высокое разрешение.

  • ultra_high

    Сверхвысокое разрешение.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "video" .

строка URI (необязательно)

Описание отсутствует.

event_id строка (необязательно)

Токен event_id, который будет использоваться для возобновления потока взаимодействия с этого события.

event_type object (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "step.delta" .

индекс целочисленный (обязательно)

Описание отсутствует.

метаданные StepDeltaMetadata (необязательно)

Описание отсутствует.

Дополнительные метаданные, сопровождающие ЛЮБОЕ потоковое событие.

Поля

total_usage Использование (необязательно)

Статистика использования токенов в запросах на взаимодействие.

Статистика использования токенов в запросах на взаимодействие.

Поля

массив cached_tokens_by_modality (ModalityTokens) (необязательно)

Анализ использования кэшированных токенов по способам доступа.

Количество токенов для одного варианта ответа.

Поля

модальность ResponseModality (необязательно)

Способ отображения количества токенов.

Возможные значения

  • text

    Указывает, что модель должна возвращать текст.

  • image

    Указывает, что модель должна возвращать изображения.

  • audio

    Указывает, что модель должна возвращать аудиоданные.

  • video

    Указывает, что модель должна возвращать видео.

  • document

    Указывает, что модель должна возвращать документы.

токены целое число (необязательно)

Количество токенов для данного режима.

массив grounding_tool_count (GroundingToolCount) (необязательно)

Количество инструментов для заземления.

Количество заземляющих инструментов подсчитывается.

Поля

count целое число (необязательно)

Количество заземляющих инструментов подсчитывается.

тип перечисления (строка) (необязательно)

Тип заземляющего инструмента, связанный с подсчетом.

Возможные значения:

  • google_search

    Интеграция веб-поиска Google и поиска изображений, а также интеграция веб-поиска с корпоративными приложениями.

  • google_maps

    Определить местоположение с помощью Google Maps.

  • retrieval

    Использование данных клиента, например, VertexAISearch.

input_tokens_by_modality array (ModalityTokens) (optional)

Анализ использования входных токенов в зависимости от модальности ввода.

Количество токенов для одного варианта ответа.

Поля

модальность ResponseModality (необязательно)

Способ отображения количества токенов.

Возможные значения

  • text

    Указывает, что модель должна возвращать текст.

  • image

    Указывает, что модель должна возвращать изображения.

  • audio

    Указывает, что модель должна возвращать аудиоданные.

  • video

    Указывает, что модель должна возвращать видео.

  • document

    Указывает, что модель должна возвращать документы.

токены целое число (необязательно)

Количество токенов для данного режима.

output_tokens_by_modality array (ModalityTokens) (optional)

Анализ использования выходных токенов по видам модальностей.

Количество токенов для одного варианта ответа.

Поля

модальность ResponseModality (необязательно)

Способ отображения количества токенов.

Возможные значения

  • text

    Указывает, что модель должна возвращать текст.

  • image

    Указывает, что модель должна возвращать изображения.

  • audio

    Указывает, что модель должна возвращать аудиоданные.

  • video

    Указывает, что модель должна возвращать видео.

  • document

    Указывает, что модель должна возвращать документы.

токены целое число (необязательно)

Количество токенов для данного режима.

tool_use_tokens_by_modality array (ModalityTokens) (optional)

Анализ использования токенов инструментов в зависимости от модальности.

Количество токенов для одного варианта ответа.

Поля

модальность ResponseModality (необязательно)

Способ отображения количества токенов.

Возможные значения

  • text

    Указывает, что модель должна возвращать текст.

  • image

    Указывает, что модель должна возвращать изображения.

  • audio

    Указывает, что модель должна возвращать аудиоданные.

  • video

    Указывает, что модель должна возвращать видео.

  • document

    Указывает, что модель должна возвращать документы.

токены целое число (необязательно)

Количество токенов для данного режима.

total_cached_tokens — целое число (необязательно)

Количество токенов в кэшированной части запроса (кэшированное содержимое).

total_input_tokens целое число (необязательно)

Количество токенов в подсказке (контексте).

total_output_tokens целое число (необязательно)

Общее количество токенов во всех сгенерированных ответах.

total_thought_tokens целое число (необязательно)

Количество токенов мыслей для моделей мышления.

total_tokens целое число (необязательно)

Общее количество токенов для запроса на взаимодействие (запрос + ответы + другие внутренние токены).

total_tool_use_tokens целое число (необязательно)

Количество токенов, присутствующих в подсказках использования инструмента.

StepStart

event_id строка (необязательно)

Токен event_id, который будет использоваться для возобновления потока взаимодействия с этого события.

event_type object (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "step.start" .

индекс целочисленный (обязательно)

Описание отсутствует.

шаг Шаг (обязательно)

Описание отсутствует.

ШагСтоп

event_id строка (необязательно)

Токен event_id, который будет использоваться для возобновления потока взаимодействия с этого события.

event_type object (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "step.stop" .

индекс целочисленный (обязательно)

Описание отсутствует.

step_usage Использование (необязательно)

Статистика использования модели для этого конкретного шага.

Статистика использования токенов в запросах на взаимодействие.

Поля

массив cached_tokens_by_modality (ModalityTokens) (необязательно)

Анализ использования кэшированных токенов по способам доступа.

Количество токенов для одного варианта ответа.

Поля

модальность ResponseModality (необязательно)

Способ отображения количества токенов.

Возможные значения

  • text

    Указывает, что модель должна возвращать текст.

  • image

    Указывает, что модель должна возвращать изображения.

  • audio

    Указывает, что модель должна возвращать аудиоданные.

  • video

    Указывает, что модель должна возвращать видео.

  • document

    Указывает, что модель должна возвращать документы.

токены целое число (необязательно)

Количество токенов для данного режима.

массив grounding_tool_count (GroundingToolCount) (необязательно)

Количество инструментов для заземления.

Количество заземляющих инструментов подсчитывается.

Поля

count целое число (необязательно)

Количество заземляющих инструментов подсчитывается.

тип перечисления (строка) (необязательно)

Тип заземляющего инструмента, связанный с подсчетом.

Возможные значения:

  • google_search

    Интеграция веб-поиска Google и поиска изображений, а также интеграция веб-поиска с корпоративными приложениями.

  • google_maps

    Определить местоположение с помощью Google Maps.

  • retrieval

    Использование данных клиента, например, VertexAISearch.

input_tokens_by_modality array (ModalityTokens) (optional)

Анализ использования входных токенов в зависимости от модальности ввода.

Количество токенов для одного варианта ответа.

Поля

модальность ResponseModality (необязательно)

Способ отображения количества токенов.

Возможные значения

  • text

    Указывает, что модель должна возвращать текст.

  • image

    Указывает, что модель должна возвращать изображения.

  • audio

    Указывает, что модель должна возвращать аудиоданные.

  • video

    Указывает, что модель должна возвращать видео.

  • document

    Указывает, что модель должна возвращать документы.

токены целое число (необязательно)

Количество токенов для данного режима.

output_tokens_by_modality array (ModalityTokens) (optional)

Анализ использования выходных токенов по видам модальностей.

Количество токенов для одного варианта ответа.

Поля

модальность ResponseModality (необязательно)

Способ отображения количества токенов.

Возможные значения

  • text

    Указывает, что модель должна возвращать текст.

  • image

    Указывает, что модель должна возвращать изображения.

  • audio

    Указывает, что модель должна возвращать аудиоданные.

  • video

    Указывает, что модель должна возвращать видео.

  • document

    Указывает, что модель должна возвращать документы.

токены целое число (необязательно)

Количество токенов для данного режима.

tool_use_tokens_by_modality array (ModalityTokens) (optional)

Анализ использования токенов инструментов в зависимости от модальности.

Количество токенов для одного варианта ответа.

Поля

модальность ResponseModality (необязательно)

Способ отображения количества токенов.

Возможные значения

  • text

    Указывает, что модель должна возвращать текст.

  • image

    Указывает, что модель должна возвращать изображения.

  • audio

    Указывает, что модель должна возвращать аудиоданные.

  • video

    Указывает, что модель должна возвращать видео.

  • document

    Указывает, что модель должна возвращать документы.

токены целое число (необязательно)

Количество токенов для данного режима.

total_cached_tokens — целое число (необязательно)

Количество токенов в кэшированной части запроса (кэшированное содержимое).

total_input_tokens целое число (необязательно)

Количество токенов в подсказке (контексте).

total_output_tokens целое число (необязательно)

Общее количество токенов во всех сгенерированных ответах.

total_thought_tokens целое число (необязательно)

Количество токенов мыслей для моделей мышления.

total_tokens целое число (необязательно)

Общее количество токенов для запроса на взаимодействие (запрос + ответы + другие внутренние токены).

total_tool_use_tokens целое число (необязательно)

Количество токенов, присутствующих в подсказках использования инструмента.

Использование (необязательно )

Совокупная статистика использования модели с начала сессии.

Статистика использования токенов в запросах на взаимодействие.

Поля

массив cached_tokens_by_modality (ModalityTokens) (необязательно)

Анализ использования кэшированных токенов по способам доступа.

Количество токенов для одного варианта ответа.

Поля

модальность ResponseModality (необязательно)

Способ отображения количества токенов.

Возможные значения

  • text

    Указывает, что модель должна возвращать текст.

  • image

    Указывает, что модель должна возвращать изображения.

  • audio

    Указывает, что модель должна возвращать аудиоданные.

  • video

    Указывает, что модель должна возвращать видео.

  • document

    Указывает, что модель должна возвращать документы.

токены целое число (необязательно)

Количество токенов для данного режима.

массив grounding_tool_count (GroundingToolCount) (необязательно)

Количество инструментов для заземления.

Количество заземляющих инструментов подсчитывается.

Поля

count целое число (необязательно)

Количество заземляющих инструментов подсчитывается.

тип перечисления (строка) (необязательно)

Тип заземляющего инструмента, связанный с подсчетом.

Возможные значения:

  • google_search

    Интеграция веб-поиска Google и поиска изображений, а также интеграция веб-поиска с корпоративными приложениями.

  • google_maps

    Определить местоположение с помощью Google Maps.

  • retrieval

    Использование данных клиента, например, VertexAISearch.

input_tokens_by_modality array (ModalityTokens) (optional)

Анализ использования входных токенов в зависимости от модальности ввода.

Количество токенов для одного варианта ответа.

Поля

модальность ResponseModality (необязательно)

Способ отображения количества токенов.

Возможные значения

  • text

    Указывает, что модель должна возвращать текст.

  • image

    Указывает, что модель должна возвращать изображения.

  • audio

    Указывает, что модель должна возвращать аудиоданные.

  • video

    Указывает, что модель должна возвращать видео.

  • document

    Указывает, что модель должна возвращать документы.

токены целое число (необязательно)

Количество токенов для данного режима.

output_tokens_by_modality array (ModalityTokens) (optional)

Анализ использования выходных токенов по видам модальностей.

Количество токенов для одного варианта ответа.

Поля

модальность ResponseModality (необязательно)

Способ отображения количества токенов.

Возможные значения

  • text

    Указывает, что модель должна возвращать текст.

  • image

    Указывает, что модель должна возвращать изображения.

  • audio

    Указывает, что модель должна возвращать аудиоданные.

  • video

    Указывает, что модель должна возвращать видео.

  • document

    Указывает, что модель должна возвращать документы.

токены целое число (необязательно)

Количество токенов для данного режима.

tool_use_tokens_by_modality array (ModalityTokens) (optional)

Анализ использования токенов инструментов в зависимости от модальности.

Количество токенов для одного варианта ответа.

Поля

модальность ResponseModality (необязательно)

Способ отображения количества токенов.

Возможные значения

  • text

    Указывает, что модель должна возвращать текст.

  • image

    Указывает, что модель должна возвращать изображения.

  • audio

    Указывает, что модель должна возвращать аудиоданные.

  • video

    Указывает, что модель должна возвращать видео.

  • document

    Указывает, что модель должна возвращать документы.

токены целое число (необязательно)

Количество токенов для данного режима.

total_cached_tokens — целое число (необязательно)

Количество токенов в кэшированной части запроса (кэшированное содержимое).

total_input_tokens целое число (необязательно)

Количество токенов в подсказке (контексте).

total_output_tokens целое число (необязательно)

Общее количество токенов во всех сгенерированных ответах.

total_thought_tokens целое число (необязательно)

Количество токенов мыслей для моделей мышления.

total_tokens целое число (необязательно)

Общее количество токенов для запроса на взаимодействие (запрос + ответы + другие внутренние токены).

total_tool_use_tokens целое число (необязательно)

Количество токенов, присутствующих в подсказках использования инструмента.

Примеры

Событие ошибки

{
  "error": {
    "code": "not_found",
    "message": "Failed to get completed interaction: Result not found."
  },
  "event_type": "error"
}

Взаимодействие завершено

{
  "event_id": "evt_123",
  "event_type": "interaction.completed",
  "interaction": {
    "created": "2025-12-04T15:01:45Z",
    "id": "v1_ChdXS0l4YWZXTk9xbk0xZThQczhEcmlROBIXV0tJeGFmV05PcW5NMWU4UHM4RHJpUTg",
    "model": "gemini-3.6-flash",
    "status": "completed",
    "updated": "2025-12-04T15:01:45Z"
  }
}

Взаимодействие завершено

{
  "event_id": "evt_123",
  "event_type": "interaction.completed",
  "interaction": {
    "created": "2025-12-04T15:01:45Z",
    "id": "v1_ChdXS0l4YWZXTk9xbk0xZThQczhEcmlROBIXV0tJeGFmV05PcW5NMWU4UHM4RHJpUTg",
    "model": "gemini-3-flash-preview",
    "object": "interaction",
    "status": "completed",
    "updated": "2025-12-04T15:01:45Z"
  }
}

Взаимодействие создано

{
  "event_id": "evt_123",
  "event_type": "interaction.created",
  "interaction": {
    "created": "2025-12-04T15:01:45Z",
    "id": "v1_ChdXS0l4YWZXTk9xbk0xZThQczhEcmlROBIXV0tJeGFmV05PcW5NMWU4UHM4RHJpUTg",
    "model": "gemini-3.6-flash",
    "status": "in_progress",
    "updated": "2025-12-04T15:01:45Z"
  }
}

Взаимодействие создано

{
  "event_id": "evt_123",
  "event_type": "interaction.created",
  "interaction": {
    "id": "v1_ChdXS0l4YWZXTk9xbk0xZThQczhEcmlROBIXV0tJeGFmV05PcW5NMWU4UHM4RHJpUTg",
    "model": "gemini-3-flash-preview",
    "object": "interaction",
    "status": "in_progress"
  }
}

Обновление статуса взаимодействия

{
  "event_type": "interaction.status_update",
  "interaction_id": "v1_ChdTMjQ0YWJ5TUF1TzcxZThQdjRpcnFRcxIXUzI0NGFieU1BdU83MWU4UHY0aXJxUXM",
  "status": "in_progress"
}

Шаг Дельта

{
  "delta": {
    "type": "text",
    "text": "Hello"
  },
  "event_type": "step.delta",
  "index": 0
}

Шаг Начало

{
  "event_type": "step.start",
  "index": 0,
  "step": {
    "type": "model_output"
  }
}

Шаг Стоп

{
  "event_type": "step.stop",
  "index": 0
}

ResponseFormat

Возможные типы

AudioResponseFormat

Настройка формата вывода звука.

bit_rate — целое число (необязательно)

Битрейт в битах в секунду (бит/с). Применимо только для сжатых форматов (MP3, Opus).

перечисление доставки (строка) (необязательно)

Режим вывода аудиосигнала.

Возможные значения:

  • inline

    Аудиоданные возвращаются непосредственно в ответе.

  • uri

    Аудиоданные возвращаются в виде URI.

перечисление mime_type (строка) (необязательно)

MIME-тип аудиовыхода.

Возможные значения:

  • audio/mp3

    Аудиоформат MP3.

  • audio/ogg_opus

    Аудиоформат OGG Opus.

  • audio/l16

    Необработанный аудиоформат PCM (L16).

  • audio/wav

    Аудиоформат WAV.

  • audio/alaw

    Аудиоформат A-law.

  • audio/mulaw

    Аудиоформат Mu-law.

sample_rate — целое число (необязательно)

Частота дискретизации в Гц.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "audio" .

ImageResponseFormat

Настройки формата вывода изображения.

aspect_ratio enum (string) (optional)

Соотношение сторон выходного изображения.

Возможные значения:

  • 1:1

    Соотношение сторон 1:1.

  • 2:3

    Соотношение сторон 2:3.

  • 3:2

    Соотношение сторон 3:2.

  • 3:4

    Соотношение сторон 3:4.

  • 4:3

    Соотношение сторон 4:3.

  • 4:5

    Соотношение сторон 4:5.

  • 5:4

    Соотношение сторон 5:4.

  • 9:16

    Соотношение сторон 9:16.

  • 16:9

    Соотношение сторон 16:9.

  • 21:9

    Соотношение сторон 21:9.

  • 1:8

    Соотношение сторон 1:8.

  • 8:1

    Соотношение сторон 8:1.

  • 1:4

    Соотношение сторон 1:4.

  • 4:1

    Соотношение сторон 4:1.

перечисление доставки (строка) (необязательно)

Способ доставки изображения на выходе.

Возможные значения:

  • inline

    Данные изображения возвращаются непосредственно в ответе.

  • uri

    Данные изображения возвращаются в виде URI.

Перечисление image_size (строка) (необязательно)

Размер выходного изображения.

Возможные значения:

  • 512

    Размер изображения: 512 пикселей.

  • 1K

    Размер изображения 1K.

  • 2K

    Размер изображения 2K.

  • 4K

    Размер изображения 4K.

перечисление mime_type (строка) (необязательно)

MIME-тип выходного изображения.

Возможные значения:

  • image/jpeg

    Формат изображения JPEG.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "image" .

TextResponseFormat

Настройка формата текстового вывода.

перечисление mime_type (строка) (необязательно)

MIME-тип выходного текстового файла.

Возможные значения:

  • application/json

    Формат вывода JSON.

  • text/plain

    Формат вывода в виде простого текста.

Объект схемы (необязательно)

JSON-схема, которой должен соответствовать выходной файл. Применимо только в том случае, если mime_type имеет значение application/json.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "text" .

VideoResponseFormat

Настройки формата видеовыхода.

aspect_ratio enum (string) (optional)

Соотношение сторон видеовыходного изображения.

Возможные значения:

  • 16:9

    Соотношение сторон 16:9.

  • 9:16

    Соотношение сторон 9:16.

перечисление доставки (строка) (необязательно)

Режим вывода видеосигнала.

Возможные значения:

  • inline

    Видеоданные возвращаются непосредственно в ответе.

  • uri

    Видеоданные возвращаются в виде URI.

строка продолжительности (необязательно)

Продолжительность видеовывода.

строка gcs_uri (необязательно)

URI облачного хранилища для сохранения видеоданных. Необходимо для Vertex, если режим доставки — URI.

Перечисление разрешений (строка) (необязательно)

Разрешение видеовыхода. По умолчанию — 720p.

Возможные значения:

  • 360p

    Разрешение 360p.

  • 720p

    Разрешение 720p.

  • 1080p

    Разрешение 1080p.

  • 4k

    Разрешение 4K.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "video" .

Примеры

Аудиовыход

{
  "type": "audio",
  "sample_rate": 24000
}

Вывод изображения

{
  "type": "image",
  "aspect_ratio": "16:9",
  "image_size": "1K",
  "mime_type": "image/jpeg"
}

Текстовый вывод (JSON-схема)

{
  "type": "text",
  "mime_type": "application/json",
  "schema": {
    "type": "object",
    "properties": {
      "ingredients": {
        "type": "array",
        "items": {
          "type": "string"
        }
      },
      "recipe_name": {
        "type": "string"
      }
    },
    "required": [
      "ingredients",
      "recipe_name"
    ]
  }
}

Видеовыход

{
  "type": "video",
  "aspect_ratio": "16:9",
  "delivery": "inline"
}

Шаг

Один из этапов взаимодействия.

Возможные типы

CodeExecutionCallStep

Шаг вызова выполнения кода.

аргументы CodeExecutionCallStepArguments (обязательно)

Обязательный параметр. Аргументы, передаваемые для выполнения кода.

Аргументы, передаваемые для выполнения кода.

Поля

строка кода (необязательно)

Код, который необходимо выполнить.

языковой перечисление (строка) (необязательно)

Язык программирования кода.

Возможные значения:

  • python

    Python >= 3.10, с доступными библиотеками numpy и simpy.

строковый идентификатор (обязательно)

Обязательно. Уникальный идентификатор для данного вызова инструмента.

строка подписи (необязательно)

Хэш подписи для проверки данных на стороне бэкэнда.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "code_execution_call" .

CodeExecutionResultStep

Шаг, определяющий результат выполнения кода.

call_id — строка (обязательно)

Обязательно. Идентификатор, соответствующий идентификатору из блока вызова функции.

is_error логическое значение (необязательно)

Выполнился ли код с ошибкой?

строка результата (обязательно)

Обязательно. Результат выполнения кода.

строка подписи (необязательно)

Хэш подписи для проверки данных на стороне бэкэнда.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "code_execution_result" .

FileSearchCallStep

Шаг вызова поиска файла.

строковый идентификатор (обязательно)

Обязательно. Уникальный идентификатор для данного вызова инструмента.

строка подписи (необязательно)

Хэш подписи для проверки данных на стороне бэкэнда.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "file_search_call" .

FileSearchResultStep

Шаг поиска файлов по результатам.

call_id — строка (обязательно)

Обязательно. Идентификатор, соответствующий идентификатору из блока вызова функции.

строка подписи (необязательно)

Хэш подписи для проверки данных на стороне бэкэнда.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "file_search_result" .

FunctionCallStep

Шаг вызова функции инструмента.

Объект аргументов (обязательный)

Обязательный параметр. Аргументы, передаваемые функции.

строковый идентификатор (обязательно)

Обязательно. Уникальный идентификатор для данного вызова инструмента.

имя строка (обязательно)

Обязательно. Название вызываемого инструмента.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "function_call" .

FunctionResultStep

Результат вызова функции инструмента.

call_id — строка (обязательно)

Обязательно. Идентификатор, соответствующий идентификатору из блока вызова функции.

is_error логическое значение (необязательно)

Вызвал ли вызов инструмента ошибку?

строковое имя (необязательно)

Название вызванного инструмента.

результирующий массив ( ImageContent или TextContent ) или объект, или строка (обязательно)

Обязательно. Результат вызова инструмента.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "function_result" .

GoogleКартыCallStep

Шаг вызова Google Maps.

аргументы GoogleMapsCallStepArguments (необязательно)

Аргументы, передаваемые инструменту Google Maps.

Аргументы, передаваемые инструменту Google Maps.

Поля

массив запросов (строка) (необязательно)

Запросы, подлежащие выполнению.

строковый идентификатор (обязательно)

Обязательно. Уникальный идентификатор для данного вызова инструмента.

строка подписи (необязательно)

Хэш подписи для проверки данных на стороне бэкэнда.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "google_maps_call" .

GoogleMapsResultStep

Шаг поиска результатов в Google Maps.

call_id — строка (обязательно)

Обязательно. Идентификатор, соответствующий идентификатору из блока вызова функции.

массив результатов (GoogleMapsResultItem) (обязательно)

Описание отсутствует.

Результат поиска в Google Maps.

Поля

массив мест (GoogleMapsResultPlaces) (необязательно)

Описание отсутствует.

Поля

строковое имя (необязательно)

Описание отсутствует.

place_id строка (необязательно)

Описание отсутствует.

массив review_snippets (ReviewSnippet) (необязательно)

Описание отсутствует.

Представляет собой фрагмент отзыва пользователя, отвечающего на вопрос об особенностях конкретного места на Google Maps.

Поля

review_id строка (необязательно)

Идентификатор фрагмента отзыва.

заголовок (необязательно )

Заголовок рецензии.

строка URL (необязательно)

Ссылка, соответствующая отзыву пользователя на Google Maps.

строка URL (необязательно)

Описание отсутствует.

widget_context_token строка (необязательно)

Описание отсутствует.

строка подписи (необязательно)

Хэш подписи для проверки данных на стороне бэкэнда.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "google_maps_result" .

GoogleSearchCallStep

Шаг вызова поиска Google.

arguments GoogleSearchCallStepArguments (required)

Обязательный параметр. Аргументы, которые будут переданы в поиск Google.

Аргументы, которые необходимо передать в поиск Google.

Поля

массив запросов (строка) (необязательно)

Поисковые запросы в интернете для последующего поиска.

строковый идентификатор (обязательно)

Обязательно. Уникальный идентификатор для данного вызова инструмента.

search_type enum (string) (optional)

Тип включенной привязки поиска.

Возможные значения:

  • web_search

    Включение этого поля активирует веб-поиск. Возвращаются только текстовые результаты.

  • image_search

    Установив это поле, можно включить поиск изображений. Возвращаются байты изображения.

  • enterprise_web_search

    Включение корпоративного веб-поиска.

строка подписи (необязательно)

Хэш подписи для проверки данных на стороне бэкэнда.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "google_search_call" .

GoogleSearchResultStep

Шаг поиска в Google.

call_id — строка (обязательно)

Обязательно. Идентификатор, соответствующий идентификатору из блока вызова функции.

is_error логическое значение (необязательно)

Вызвал ли поиск в Google ошибку.

массив результатов (GoogleSearchResultItem) (обязательно)

Обязательно. Результаты поиска Google.

Результат поиска в Google.

Поля

строка search_suggestions (необязательно)

Фрагмент веб-контента, который можно встроить в веб-страницу или веб-представление приложения.

строка подписи (необязательно)

Хэш подписи для проверки данных на стороне бэкэнда.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "google_search_result" .

McpServerToolCallStep

Шаг вызова инструмента MCPServer.

Объект аргументов (обязательный)

Обязательный параметр. JSON-объект с аргументами для функции.

строковый идентификатор (обязательно)

Обязательно. Уникальный идентификатор для данного вызова инструмента.

имя строка (обязательно)

Обязательно. Название вызванного инструмента.

server_name — строка (обязательно)

Обязательно. Имя используемого MCP-сервера.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "mcp_server_tool_call" .

McpServerToolResultStep

Шаг получения результатов работы инструмента MCPServer.

call_id — строка (обязательно)

Обязательно. Идентификатор, соответствующий идентификатору из блока вызова функции.

строковое имя (необязательно)

Название инструмента, который вызывается для данного конкретного вызова инструмента.

результирующий массив ( ImageContent или TextContent ) или объект, или строка (обязательно)

Обязательный параметр. Результат вызова сервера MCP. Может представлять собой простой текст или расширенное содержимое.

server_name строка (необязательно)

Название используемого MCP-сервера.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "mcp_server_tool_result" .

ModelOutputStep

Результаты, сгенерированные моделью.

массив содержимого (Содержимое) (необязательно)

Описание отсутствует.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "model_output" .

ThoughtStep

Шаг для размышления.

строка подписи (необязательно)

Хэш подписи для проверки данных на стороне бэкэнда.

массив сводных данных (ThoughtSummaryContent) (необязательно)

Краткое изложение мысли.

Возможные типы

ImageContent

Блок с графическим содержимым.

строка данных (необязательно)

Содержание изображения.

перечисление mime_type (строка) (необязательно)

MIME-тип изображения.

Возможные значения:

  • image/png

    формат изображения PNG

  • image/jpeg

    формат изображения JPEG

  • image/webp

    формат изображений WebP

  • image/heic

    формат изображения HEIC

  • image/heif

    формат изображения HEIF

  • image/gif

    формат изображения GIF

  • image/bmp

    формат изображения BMP

  • image/tiff

    формат изображения TIFF

разрешение MediaResolution (необязательно)

Разрешение средств массовой информации.

Возможные значения

  • low

    Низкое разрешение.

  • medium

    Среднее разрешение.

  • high

    Высокое разрешение.

  • ultra_high

    Сверхвысокое разрешение.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "image" .

строка URI (необязательно)

URI изображения.

Текстовое содержимое

Блок текстового содержимого.

массив аннотаций (Аннотация) (необязательно)

Информация об источниках для контента, сгенерированного моделью.

Информация об источниках для контента, сгенерированного моделью.

Возможные типы

FileCitation

Аннотация к файлу.

объект custom_metadata (необязательно)

Пользователь предоставил метаданные о полученном контексте.

document_uri строка (необязательно)

URI файла.

end_index целое число (необязательно)

Конец выделенного сегмента, без учета каких-либо ограничений.

file_name string (необязательно)

Название файла.

media_id строка (необязательно)

В случае цитирования изображений, пожалуйста, укажите идентификатор медиафайла (Media ID), если таковой имеется.

page_number целое число (необязательно)

Номер страницы цитируемого документа, если таковой имеется.

исходная строка (необязательно)

Источник указан для части текста.

start_index — целое число (необязательно)

Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "file_citation" .

PlaceCitation

Аннотация к географическому местоположению.

end_index целое число (необязательно)

Конец выделенного сегмента, без учета каких-либо ограничений.

строковое имя (необязательно)

Название места.

place_id строка (необязательно)

Идентификатор места в формате `places/{place_id}`.

массив review_snippets (ReviewSnippet) (необязательно)

Фрагменты отзывов, используемые для генерации ответов об особенностях того или иного места в Google Maps.

Представляет собой фрагмент отзыва пользователя, отвечающего на вопрос об особенностях конкретного места на Google Maps.

Поля

review_id строка (необязательно)

Идентификатор фрагмента отзыва.

заголовок (необязательно )

Заголовок рецензии.

строка URL (необязательно)

Ссылка, соответствующая отзыву пользователя на Google Maps.

start_index — целое число (необязательно)

Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "place_citation" .

строка URL (необязательно)

URI-ссылка на это место.

URLCitation

Аннотация URL-адреса.

end_index целое число (необязательно)

Конец выделенного сегмента, без учета каких-либо ограничений.

start_index — целое число (необязательно)

Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.

заголовок (необязательно )

Заголовок URL-адреса.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "url_citation" .

строка URL (необязательно)

URL.

WordInfo

Аннотации автоматического распознавания речи на уровне слов для вывода транскрипции. Содержат текст слова, необязательное время и необязательное указание говорящего.

end_index целое число (необязательно)

Конец выделенного сегмента, без учета каких-либо ограничений.

end_offset string (необязательно)

Смещение в конце слова относительно начала аудиозаписи. Присутствует, если timestamp_granularities содержит "word".

Кабель для подключения динамика (опционально)

Необязательно. Метка говорящего для этого слова (например, "spk_1", "spk_2"). Присутствует, если в TranscriptionConfig установлен параметр diarization_mode.

start_index — целое число (необязательно)

Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.

строка начального смещения (необязательно)

Начальное смещение слова относительно начала аудиозаписи. Присутствует, если timestamp_granularities содержит "word".

текстовая строка (необязательно)

Записанное слово.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "word_info" .

текстовая строка (обязательно)

Обязательно. Текстовое содержимое.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "text" .

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливать значение "thought" .

UrlContextCallStep

Шаг вызова контекста URL.

arguments UrlContextCallArguments (required)

Обязательный параметр. Аргументы, передаваемые в контекст URL.

Аргументы, передаваемые в контекст URL.

Поля

массив URL-адресов (строка) (необязательно)

URL-адреса для загрузки.

строковый идентификатор (обязательно)

Обязательно. Уникальный идентификатор для данного вызова инструмента.

строка подписи (необязательно)

Хэш подписи для проверки данных на стороне бэкэнда.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "url_context_call" .

UrlContextResultStep

Шаг получения результата контекста URL.

call_id — строка (обязательно)

Обязательно. Идентификатор, соответствующий идентификатору из блока вызова функции.

is_error логическое значение (необязательно)

Указывалось, привела ли контекстная информация URL к ошибке.

массив результатов (UrlContextResult) (обязательно)

Обязательно. Результаты анализа контекста URL.

Результат анализа контекста URL.

Поля

перечисление статуса (строка) (необязательно)

Статус получения URL-адреса.

Возможные значения:

  • success

    Получение URL-адреса прошло успешно.

  • error

    Url retrieval is failed due to error.

  • paywall

    Url retrieval is failed because the content is behind paywall.

  • unsafe

    Url retrieval is failed because the content is unsafe.

строка URL (необязательно)

The URL that was fetched.

строка подписи (необязательно)

Хэш подписи для проверки данных на стороне бэкэнда.

тип объекта (обязательно)

Описание отсутствует.

Always set to "url_context_result" .

UserInputStep

Input provided by the user.

content array ( Content ) (optional)

Описание отсутствует.

тип объекта (обязательно)

Описание отсутствует.

Always set to "user_input" .

Примеры

CodeExecutionCallStep

{
  "type": "code_execution_call",
  "arguments": {
    "code": "print(sum(range(1, 11)))"
  },
  "id": "code_call_71021"
}

CodeExecutionResultStep

{
  "type": "code_execution_result",
  "call_id": "code_call_71021",
  "result": "55\n"
}

FileSearchCallStep

{
  "type": "file_search_call",
  "id": "file_call_88192"
}

FileSearchResultStep

{
  "type": "file_search_result",
  "call_id": "file_call_88192"
}

FunctionCallStep

{
  "name": "get_weather",
  "type": "function_call",
  "arguments": {
    "location": "Boston, MA"
  },
  "id": "call_98231"
}

FunctionResultStep

{
  "name": "get_weather",
  "type": "function_result",
  "call_id": "call_98231",
  "result": [
    {
      "type": "text",
      "text": "{\"weather\":\"sunny\"}"
    }
  ]
}

GoogleMapsCallStep

{
  "type": "google_maps_call",
  "arguments": {
    "latitude": 37.7749,
    "longitude": -122.4194
  },
  "id": "maps_call_39201"
}

GoogleMapsResultStep

{
  "type": "google_maps_result",
  "call_id": "maps_call_39201",
  "result": [
    {
      "name": "Golden Gate Park",
      "place_id": "ChIJIQBpAG2ahYAR9R7bNdTLg8M",
      "rating": 4.8
    }
  ]
}

GoogleSearchCallStep

{
  "type": "google_search_call",
  "arguments": {
    "query": "Who won the men's 100m in Paris 2024?"
  },
  "id": "search_call_19201"
}

GoogleSearchResultStep

{
  "type": "google_search_result",
  "call_id": "search_call_19201",
  "result": [
    {
      "title": "Paris 2024 Olympics: Noah Lyles wins men's 100m gold",
      "url": "https://olympics.com/en/news/paris-2024-noah-lyles-wins-mens-100m-gold",
      "snippet": "American Noah Lyles won the Olympic men's 100m gold medal in a photo finish."
    }
  ]
}

McpServerToolCallStep

{
  "name": "calculate_tax",
  "type": "mcp_server_tool_call",
  "arguments": {
    "income": 120000,
    "state": "CA"
  },
  "id": "mcp_call_29012",
  "server_name": "financial_mcp_server"
}

McpServerToolResultStep

{
  "type": "mcp_server_tool_result",
  "call_id": "mcp_call_29012",
  "result": {
    "tax_due": 32400
  }
}

ModelOutputStep

{
  "type": "model_output",
  "content": [
    {
      "type": "text",
      "text": "The capital of France is Paris."
    }
  ]
}

ThoughtStep

{
  "type": "thought",
  "signature": "thought_sig_abcd1234",
  "summary": [
    {
      "type": "text",
      "text": "The model is searching Google for the capital of France."
    }
  ]
}

UrlContextCallStep

{
  "type": "url_context_call",
  "arguments": {
    "urls": [
      "https://www.example.com"
    ]
  },
  "id": "url_call_10219"
}

UrlContextResultStep

{
  "type": "url_context_result",
  "call_id": "url_call_10219",
  "result": [
    {
      "title": "Example Domain",
      "url": "https://www.example.com",
      "snippet": "This domain is for use in illustrative examples in documents."
    }
  ]
}

UserInputStep

{
  "type": "user_input",
  "content": [
    {
      "type": "text",
      "text": "What is the capital of France?"
    }
  ]
}

EnvironmentConfig

Configuration for a custom environment.

Поля

environment_id string (optional)

Optional. The environment ID for the interaction. If specified, the request will update the existing environment instead of creating a new one.

network EnvironmentNetworkEgressAllowlist или enum (строка) (необязательно)

Настройка сети для данной среды.

Возможные значения:

  • disabled

    Отключает всю сеть.

массив источников (Источник) (необязательно)

Описание отсутствует.

Источник, предназначенный для установки в окружающую среду.

Поля

строка содержимого (необязательно)

Встроенное содержимое, если `type` имеет значение `INLINE`.

строка кодировки (необязательно)

Дополнительная кодировка для встроенного контента (например, `base64`).

исходная строка (необязательно)

Источник среды. Для Cloud Storage это путь к Cloud Storage. Для GitHub это путь к GitHub.

Целевая строка (необязательно)

Где должен отображаться исходный код в окружающей среде.

тип перечисления (строка) (необязательно)

Описание отсутствует.

Возможные значения:

  • gcs

    Сегмент облачного хранилища.

  • inline

    Встроенный контент.

  • repository

    Универсальный репозиторий. Префикс протокола в URL-адресе источника идентифицирует поставщика (например, github://, gcs://).

  • skill_registry

    Ресурс навыков из службы регистрации навыков. Навык: projects/{project}/locations/{location}/skills/{skill} Ревизия навыка: projects/{project}/locations/{location}/skills/{skill}/revisions/{revision} Поддерживается подключение всех навыков в рамках проекта: projects/{project}/locations/{location}/skills.

тип объекта (необязательно)

Описание отсутствует.

Always set to "remote" .

Примеры

Inline Sources

{
  "type": "remote",
  "sources": [
    {
      "type": "inline",
      "content": "You are a data analyst. Always include visualizations and export results as PDF.",
      "target": ".agents/AGENTS.md"
    },
    {
      "type": "inline",
      "content": "---\nname: slide-maker\ndescription: Create HTML slide decks\n---\n# Slide Maker\n\nWhen asked to create a presentation:\n1. Analyze the input data\n2. Create an HTML slide deck with reveal.js\n3. Save to /workspace/output/slides.html",
      "target": ".agents/skills/slide-maker/SKILL.md"
    }
  ]
}

External Sources

{
  "type": "remote",
  "sources": [
    {
      "type": "repository",
      "source": "https://github.com/my-org/my-skills.git",
      "target": ".agents/skills"
    },
    {
      "type": "gcs",
      "source": "gs://my-bucket/my-folder",
      "target": "/workspace/data"
    }
  ]
}

Network Allowlist

{
  "type": "remote",
  "network": {
    "allowlist": [
      {
        "domain": "pypi.org"
      },
      {
        "domain": "*.github.com"
      }
    ]
  }
}

Учетные данные прокси-сервера

{
  "type": "remote",
  "network": {
    "allowlist": [
      {
        "domain": "api.github.com",
        "transform": {
          "Authorization": "Bearer YOUR_GITHUB_TOKEN"
        }
      }
    ]
  }
}

EnvironmentNetworkEgressAllowlist

Конфигурация исходящей сети для песочницы. Принимает объект с массивом 'allowlist' для ограничения трафика или строку 'disabled' для отключения всего сетевого доступа. Полностью опустите параметр, чтобы разрешить весь исходящий трафик без внедрения заголовка.

Возможные типы

объект

Настройки исходящей сети для песочницы. При указании ограничивает доступ песочницы к внешним доменам. Полное исключение позволяет разрешить весь исходящий трафик без внедрения заголовков.

Массив разрешенных записей (AllowlistEntry) (необязательно)

Список разрешенных исходящих доменов. Разрешены только запросы к перечисленным доменам. Используйте [{'domain': '*'}], чтобы разрешить все домены, но при этом добавить заголовки только к определенным из них.

Правило, содержащее один домен в списке разрешенных, с возможностью добавления заголовка.

Поля

строка домена (необязательно)

Домен, разрешающий исходящие запросы. Поддерживаются подстановочные знаки (например, '*.googleapis.com'). Используйте '*' для разрешения всех доменов.

преобразование массива (объекта) или объекта (необязательно)

Заголовки для добавления во все исходящие запросы, соответствующие этому домену. Принимает один словарь или список словарей. Исходящий прокси добавляет их автоматически.

нить

Отключает всю сеть.

Возможные значения

  • disabled

    Отключает всю сеть.

Примеры

Пример

{
  "allowlist": [
    {
      "domain": "github.com",
      "transform": [
        {
          "Authorization": "Bearer your-token"
        }
      ]
    },
    {
      "domain": "*.googleapis.com"
    }
  ]
}

ToolChoiceConfig

The tool choice configuration containing allowed tools.

Поля

allowed_tools AllowedTools (optional)

The allowed tools.

The configuration for allowed tools.

Поля

mode enum (string) (optional)

The mode of the tool choice.

Возможные значения:

  • auto

    Автоматический выбор инструмента.

  • any

    Любой выбор инструмента.

  • none

    Выбор инструментов отсутствует.

  • validated

    Выбор инструмента подтвержден.

tools array (string) (optional)

The names of the allowed tools.

Примеры

Пример

{
  "allowed_tools": {
    "mode": "any",
    "tools": [
      "my_tool"
    ]
  }
}

ImageContent

Блок с графическим содержимым.

Поля

строка данных (необязательно)

Содержание изображения.

перечисление mime_type (строка) (необязательно)

MIME-тип изображения.

Возможные значения:

  • image/png

    формат изображения PNG

  • image/jpeg

    формат изображения JPEG

  • image/webp

    формат изображений WebP

  • image/heic

    формат изображения HEIC

  • image/heif

    формат изображения HEIF

  • image/gif

    формат изображения GIF

  • image/bmp

    формат изображения BMP

  • image/tiff

    формат изображения TIFF

разрешение MediaResolution (необязательно)

Разрешение средств массовой информации.

Возможные значения

  • low

    Низкое разрешение.

  • medium

    Среднее разрешение.

  • high

    Высокое разрешение.

  • ultra_high

    Сверхвысокое разрешение.

тип объекта (необязательно)

No description provided.

Всегда устанавливайте значение "image" .

строка URI (необязательно)

URI изображения.

Примеры

Изображение

{
  "type": "image",
  "data": "BASE64_ENCODED_IMAGE",
  "mime_type": "image/png"
}

Текстовое содержимое

Блок текстового содержимого.

Поля

массив аннотаций (Аннотация) (необязательно)

Информация об источниках для контента, сгенерированного моделью.

Информация об источниках для контента, сгенерированного моделью.

Возможные типы

FileCitation

Аннотация к файлу.

объект custom_metadata (необязательно)

Пользователь предоставил метаданные о полученном контексте.

document_uri строка (необязательно)

URI файла.

end_index целое число (необязательно)

Конец выделенного сегмента, без учета каких-либо ограничений.

file_name string (необязательно)

Название файла.

media_id строка (необязательно)

В случае цитирования изображений, пожалуйста, укажите идентификатор медиафайла (Media ID), если таковой имеется.

page_number целое число (необязательно)

Номер страницы цитируемого документа, если таковой имеется.

исходная строка (необязательно)

Источник указан для части текста.

start_index — целое число (необязательно)

Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.

тип объекта (обязательно)

No description provided.

Всегда устанавливайте значение "file_citation" .

PlaceCitation

Аннотация к географическому местоположению.

end_index целое число (необязательно)

Конец выделенного сегмента, без учета каких-либо ограничений.

строковое имя (необязательно)

Название места.

place_id строка (необязательно)

Идентификатор места в формате `places/{place_id}`.

массив review_snippets (ReviewSnippet) (необязательно)

Фрагменты отзывов, используемые для генерации ответов об особенностях того или иного места в Google Maps.

Представляет собой фрагмент отзыва пользователя, отвечающего на вопрос об особенностях конкретного места на Google Maps.

Поля

review_id строка (необязательно)

Идентификатор фрагмента отзыва.

заголовок (необязательно )

Заголовок рецензии.

строка URL (необязательно)

Ссылка, соответствующая отзыву пользователя на Google Maps.

start_index — целое число (необязательно)

Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.

тип объекта (обязательно)

No description provided.

Всегда устанавливайте значение "place_citation" .

строка URL (необязательно)

URI-ссылка на это место.

URLCitation

Аннотация URL-адреса.

end_index целое число (необязательно)

Конец выделенного сегмента, без учета каких-либо ограничений.

start_index — целое число (необязательно)

Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.

заголовок (необязательно )

Заголовок URL-адреса.

тип объекта (обязательно)

Описание отсутствует.

Всегда устанавливайте значение "url_citation" .

строка URL (необязательно)

URL.

WordInfo

Word-level ASR annotation for transcription output. Carries the word text, optional timing, and optional speaker attribution.

end_index целое число (необязательно)

Конец выделенного сегмента, без учета каких-либо ограничений.

end_offset string (optional)

End offset in time of the word relative to the start of the audio. Present when timestamp_granularities contains "word".

speaker string (optional)

Optional. Speaker label for this word (eg "spk_1", "spk_2"). Present when diarization_mode is set in TranscriptionConfig.

start_index — целое число (необязательно)

Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.

start_offset string (optional)

Start offset in time of the word relative to the start of the audio. Present when timestamp_granularities contains "word".

text string (optional)

The transcribed word.

тип объекта (обязательно)

No description provided.

Always set to "word_info" .

text string (optional)

Обязательно. Текстовое содержимое.

тип объекта (необязательно)

No description provided.

Всегда устанавливайте значение "text" .

Примеры

Текст

{
  "type": "text",
  "text": "Hello, how are you?"
}