API взаимодействия Gemini позволяет разработчикам создавать приложения генеративного ИИ, используя модели Gemini. Gemini — наша самая мощная модель, разработанная с нуля для мультимодального взаимодействия. Она способна обобщать и беспрепятственно понимать, обрабатывать и комбинировать различные типы информации, включая язык, изображения, аудио, видео и код. Вы можете использовать API Gemini для таких задач, как рассуждения на основе текста и изображений, генерация контента, диалоговые агенты, системы суммирования и классификации и многое другое.
Создание взаимодействия
Создает новое взаимодействие.
Путь / Параметры запроса
Какую версию API использовать?
Текст запроса
Тело запроса содержит данные следующей структуры:
модель ModelOption (необязательно)
Название модели, использованной для генерации взаимодействия.
Обязательно, если параметр `agent` не указан.
Возможные значения
-
gemini-2.5-flashНаша первая гибридная модель рассуждений, поддерживающая контекстное окно в 1 миллион токенов и имеющая бюджеты мышления.
-
gemini-2.5-proНаша передовая многоцелевая модель, превосходно справляющаяся с задачами программирования и сложным логическим мышлением.
-
gemma-4-26b-a4b-itДжемма 4 26B A4B IT
-
gemma-4-31b-itДжемма 4 31B IT
-
gemini-flash-latestПоследняя версия Gemini Flash
-
gemini-flash-lite-latestНовейшая версия фонарика Gemini Flash-Lite
-
gemini-pro-latestПоследняя версия Gemini Pro
-
gemini-2.5-flash-liteНаша самая компактная и экономичная модель, предназначенная для масштабного использования.
-
gemini-2.5-flash-imageНаша собственная модель генерации изображений, оптимизированная для скорости, гибкости и контекстного понимания. Стоимость ввода и вывода текста такая же, как у 2,5-дюймовой версии Flash.
-
gemini-3-flash-previewНаша самая интеллектуальная модель, созданная для скорости, сочетает в себе передовые методы разведки с превосходными возможностями поиска и посадки на землю.
-
gemini-3.1-pro-previewНаша новейшая, передовая модель логического мышления с беспрецедентной глубиной и детализацией, а также мощными возможностями многомодального понимания и кодирования.
-
gemini-3.1-pro-preview-customtoolsGemini 3.1 Pro Preview оптимизирован для использования пользовательских инструментов.
-
gemini-3.1-flash-liteНаша наиболее экономичная модель, оптимизированная для выполнения больших объемов агентских задач, перевода и простой обработки данных.
-
gemini-3-pro-imageИзображение Gemini 3 Pro
-
nano-banana-pro-previewПредварительный просмотр изображения Gemini 3 Pro
-
gemini-3.1-flash-imageИзображение Gemini 3.1 Flash.
-
gemini-3.5-flashНаша наиболее интеллектуальная модель для достижения устойчиво высоких результатов в задачах, связанных с агентным программированием и кодированием.
-
gemini-3.6-flashНаша наиболее интеллектуальная модель для достижения устойчиво высоких результатов в задачах, связанных с агентным программированием и кодированием.
-
gemini-3.7-flashНаша наиболее интеллектуальная модель для достижения устойчиво высоких результатов в задачах, связанных с агентным программированием и кодированием.
-
lyria-3-clip-previewНаша модель генерации музыки с низкой задержкой оптимизирована для высококачественных аудиоклипов и точного контроля ритма.
-
lyria-3-pro-previewНаша передовая генеративная модель, способная обрабатывать целые композиции и обладающая глубоким пониманием композиции, оптимизирована для точного структурного контроля и сложных переходов между различными музыкальными стилями.
-
gemini-robotics-er-1.6-previewGemini Robotics-ER 1.6 Preview
-
gemini-robotics-er-2-previewПредварительный обзор Gemini Robotics Embodied Reasoning 2
агент AgentOption (необязательно)
Имя агента, использованного для генерации взаимодействия.
Обязательно, если параметр `model` не указан.
Возможные значения
-
deep-research-pro-preview-12-2025Агент по глубоким исследованиям компании Gemini
-
deep-research-preview-04-2026Агент по глубоким исследованиям компании Gemini
-
deep-research-max-preview-04-2026Gemini Deep Research Max Agent
-
antigravity-preview-05-2026Используйте управляемый агент Antigravity для выполнения многоэтапных задач, требующих логического мышления, работы с файлами и использования инструментов.
Входные данные для взаимодействия (общие для модели и агента).
Системная инструкция для взаимодействия.
Список объявлений инструментов, которые модель может вызывать во время взаимодействия.
Обеспечивает, чтобы сгенерированный ответ представлял собой объект JSON, соответствующий схеме JSON, указанной в этом поле.
Только ввод данных. Будет ли взаимодействие передаваться в потоковом режиме.
Только ввод. Следует ли сохранять ответ и запрос для последующего получения.
Только ввод данных. Следует ли запускать взаимодействие с моделью в фоновом режиме.
generation_config GenerationConfig (необязательно)
Конфигурация модели
Параметры конфигурации для взаимодействия модели.
Альтернатива `agent_config`. Применимо только при заданном `model`.
Поля
Максимальное количество токенов, которые можно включить в ответ.
Исходные данные используются при декодировании для обеспечения воспроизводимости.
speech_config SpeakerConfig или массив (SpeechConfig) (необязательно)
Дополнительно. Настройка речи и работы с несколькими говорящими.
Поля
Массив динамиков (SpeechConfig) (необязательно)
Индивидуальные настройки акустических систем.
Поля
Язык речи.
Имя выступающего должно совпадать с именем выступающего, указанным в задании.
Голос говорящего.
Список последовательностей символов, которые прекратят взаимодействие с выводом.
thinking_level ThinkingLevel (необязательно)
Уровень мыслительных токенов, которые должна генерировать модель.
Возможные значения
-
minimalПрактически никакого размышления.
-
lowНизкий уровень мышления.
-
mediumСредний уровень сложности мышления.
-
highВысокий уровень мыслительных способностей.
thinking_summaries ThinkingSummaries (необязательно)
Стоит ли включать в ответ краткое изложение мыслей?
Возможные значения
-
autoКраткие обзоры автоматического мышления.
-
noneНикаких кратких изложений мысли.
Конфигурация выбора инструмента.
Возможные значения:
-
autoАвтоматический выбор инструмента.
-
anyЛюбой выбор инструмента.
-
noneВыбор инструментов отсутствует.
-
validatedВыбор инструмента подтвержден.
transcription_config TranscriptionConfig (необязательно)
Необязательно. Настройки для распознавания речи (транскрипции). Если присутствует, функция автоматического распознавания речи (ASR) включена.
Поля
Необязательно. Список пользовательских лексических фраз, которые помогут модели распознавания речи сместить акцент в сторону распознавания конкретных терминов.
Необязательно. Коды языков BCP-47, указывающие на языки, присутствующие в аудиозаписи. Если поле опущено или пустое, по умолчанию используется автоматическое определение языка.
режим TranscriptionMode или перечисление (строка) (необязательно)
Параметры или перечисление режима дифференцированной транскрипции.
Возможные типы
SmartTranscriptionMode
Настройки для режима интеллектуальной транскрипции.
Описание отсутствует.
Всегда устанавливать режим "smart" .
Режим дословной транскрипции
Настройки для режима дословной транскрипции.
Необязательный параметр. Настраивает диаризацию говорящих. Поддерживаемые значения: "speaker".
Необязательный параметр. Укажите степень детализации временных меток, которые будут включены в выходные данные транскрипции. Поддерживаемые значения: "word". Если поле пустое, временные метки не генерируются.
Описание отсутствует.
Всегда устанавливайте значение "verbatim" .
video_config VideoConfig (необязательно)
Настройки для генерации видео.
Поля
Дополнительный режим работы для генерации видео. Если не указан, модель автоматически определяет соответствующий режим на основе предоставленной текстовой подсказки и входных данных.
Возможные значения:
-
text_to_videoСоздает видео исключительно на основе текстовой подсказки.
-
image_to_videoСоздает видео из одного или двух исходных изображений. Первое изображение определяет начальный кадр, а дополнительное второе изображение определяет конечный кадр.
-
reference_to_videoСоздает видео, используя исходные медиафайлы (такие как изображения, аудио или видео).
-
editИзменяет существующее входное видео.
-
extendРасширяет возможности существующего входного видео.
объект agent_config (необязательно)
Конфигурация агента
Настройки агента.
Альтернатива `generation_config`. Применимо только при заданном `agent`.
Возможные типы
Полиморфный дискриминатор: type
AntigravityAgentConfig
Настройки среды выполнения агента Antigravity. Обеспечивают управление средой выполнения агента и конфигурацией инструментов на стороне сервера.
Максимальное общее количество токенов для выполнения задания агентом.
Модель, используемая для рассуждений агента.
Описание отсутствует.
Всегда устанавливайте режим "antigravity" .
CodeMenderAgentConfig
Настройки агента CodeMender.
find_request FindRequest (необязательно)
Параметры для поиска уязвимостей.
Поля
Дополнительный контекст или пользовательские инструкции, предоставленные пользователем для проведения анализа уязвимостей.
Идентификатор конкретной уязвимости, подлежащей проверке. В основном используется в режиме ПРОВЕРКИ (VERIFY) для того, чтобы сосредоточить проверку агента на выполнении на одной конкретной уязвимости.
Режим работы поисковой сессии.
Возможные значения:
-
scanБыстрое сканирование с использованием только исходного классификатора.
-
verifyПроводит классификацию с последующим детальным исследованием.
массив source_files (FileContent) (необязательно)
Список исходных файлов, которые необходимо предоставить в качестве контекста для сканирования.
Поля
Содержимое файла, закодированное в UTF-8.
Относительный путь к файлу относительно корневого каталога проекта.
fix_request FixRequest (необязательно)
Параметры для устранения уязвимостей.
Поля
Дополнительный контекст или пользовательские инструкции, предоставленные пользователем для управления процессом создания патча.
Идентификатор конкретной уязвимости, подлежащей устранению. Этот идентификатор соответствует ранее обнаруженной уязвимости.
массив source_files (FileContent) (необязательно)
Список исходных файлов, предоставляющих контекст для устранения проблемы. Как правило, это файлы, содержащие выявленную уязвимость.
Поля
Содержимое файла, закодированное в UTF-8.
Относительный путь к файлу относительно корневого каталога проекта.
Название модели, используемой для агента CodeMender. Одна сессия CodeMender будет использовать только одну модель.
session_config SessionConfig (необязательно)
Дополнительные параметры конфигурации, специфичные для каждой сессии, позволяют переопределить поведение агента по умолчанию.
Поля
Максимальное количество раундов взаимодействия, которое агент может выполнить до истечения тайм-аута.
Параметр для группировки нескольких взаимодействий, относящихся к одной и той же сессии CodeMender.
Описание отсутствует.
Всегда устанавливайте значение "code-mender" .
DeepResearchAgentConfig
Настройки агента Deep Research.
Включает планирование с участием человека для агента Deep Research. Если установлено значение true, агент Deep Research предоставит план исследования в своем ответе. Затем агент продолжит работу только в том случае, если пользователь подтвердит план на следующем ходу.
Включает инструмент BigQuery для агента Deep Research.
thinking_summaries ThinkingSummaries (необязательно)
Стоит ли включать в ответ краткое изложение мыслей?
Возможные значения
-
autoКраткие обзоры автоматического мышления.
-
noneНикаких кратких изложений мысли.
Описание отсутствует.
Всегда устанавливайте значение "deep-research" .
Стоит ли включать визуализации в ответ.
Возможные значения:
-
offНе включайте визуализации.
-
autoАвтоматическое добавление визуализаций.
DynamicAgentConfig
Настройка для динамических агентов.
Описание отсутствует.
Всегда устанавливайте значение "dynamic" .
Конфигурация среды для взаимодействия. Может представлять собой объект, указывающий на удаленные источники среды, или строку, ссылающуюся на существующий идентификатор среды.
Метки с заданными пользователем метаданными для запроса.
Идентификатор предыдущего взаимодействия, если таковое имелось.
массив safety_settings (SafetySetting) (необязательно)
Настройки безопасности для взаимодействия.
Поля
Необязательный параметр. Способ блокировки контента. Если не указан, по умолчанию используется оценка вероятности.
Возможные значения:
-
severityМетод блокировки вреда использует как вероятностные оценки, так и оценки тяжести последствий.
-
probabilityМетод блокировки вреда использует показатель вероятности.
Обязательно. Пороговое значение для блокировки контента. Если вероятность причинения вреда превысит этот порог, контент будет заблокирован.
Возможные значения:
-
block_low_and_aboveБлокируйте контент с низкой или высокой вероятностью причинения вреда.
-
block_medium_and_aboveБлокируйте контент со средней или высокой вероятностью причинения вреда.
-
block_only_highБлокируйте контент с высокой вероятностью причинения вреда.
-
block_noneНе блокируйте никакой контент, независимо от вероятности его нанесения вреда.
-
offПолностью отключите защитный фильтр.
тип HarmCategory (необязательно)
Обязательно. Категория вреда, подлежащая блокировке.
Возможные значения
-
hate_speechКонтент, пропагандирующий насилие или разжигающий ненависть к отдельным лицам или группам на основе определенных признаков.
-
dangerous_contentКонтент, который пропагандирует, способствует или поощряет опасные действия.
-
harassmentОскорбительный, угрожающий контент, направленный на запугивание, мучение или высмеивание.
-
sexually_explicitКонтент, содержащий материалы сексуального характера.
-
civic_integrityУстарело: фильтр выборов больше не поддерживается. Категория причинения вреда — гражданская неприкосновенность.
-
image_hateИзображения, содержащие разжигающие ненависть высказывания.
-
image_dangerous_contentИзображения, содержащие опасный контент.
-
image_harassmentИзображения, содержащие элементы домогательств.
-
image_sexually_explicitИзображения, содержащие материалы сексуального характера.
-
jailbreakПодсказки, предназначенные для обхода защитных фильтров.
service_tier ServiceTier (необязательно)
Уровень обслуживания для данного взаимодействия.
Возможные значения
-
flexГибкий уровень обслуживания.
-
standardСтандартный уровень обслуживания.
-
priorityПриоритетный уровень обслуживания.
-
deferredОтложенный уровень обслуживания.
webhook_config WebhookConfig (необязательно)
Необязательно. Настройка веб-перехватчика для получения уведомлений по завершении взаимодействия.
Поля
Необязательно. Если задано, эти URI веб-перехватчиков будут использоваться для событий веб-перехватчиков вместо зарегистрированных веб-перехватчиков.
Необязательно. Метаданные пользователя, которые будут возвращаться веб-хукам при каждом срабатывании события.
Ответ
Возвращает ресурс " Взаимодействие" .
Простая просьба
Пример ответа
{ "created": "2025-11-26T12:25:15Z", "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg", "model": "gemini-3.6-flash", "object": "interaction", "status": "completed", "steps": [ { "type": "model_output", "content": [ { "type": "text", "text": "Hello! I'm functioning perfectly and ready to assist you.\n\nHow are you doing today?" } ] } ], "updated": "2025-11-26T12:25:15Z", "usage": { "input_tokens_by_modality": [ { "modality": "text", "tokens": 7 } ], "total_cached_tokens": 0, "total_input_tokens": 7, "total_output_tokens": 20, "total_thought_tokens": 22, "total_tokens": 49, "total_tool_use_tokens": 0 } }
Многооборотный
Пример ответа
{ "created": "2025-11-26T12:22:47Z", "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg", "model": "gemini-3.6-flash", "object": "interaction", "status": "completed", "steps": [ { "type": "model_output", "content": [ { "type": "text", "text": "The capital of France is Paris." } ] } ], "updated": "2025-11-26T12:22:47Z", "usage": { "input_tokens_by_modality": [ { "modality": "text", "tokens": 50 } ], "total_cached_tokens": 0, "total_input_tokens": 50, "total_output_tokens": 10, "total_thought_tokens": 0, "total_tokens": 60, "total_tool_use_tokens": 0 } }
Ввод изображения
Пример ответа
{ "created": "2025-11-26T12:22:47Z", "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg", "model": "gemini-3.6-flash", "object": "interaction", "status": "completed", "steps": [ { "type": "model_output", "content": [ { "type": "text", "text": "A white humanoid robot with glowing blue eyes stands holding a red skateboard." } ] } ], "updated": "2025-11-26T12:22:47Z", "usage": { "input_tokens_by_modality": [ { "modality": "text", "tokens": 10 }, { "modality": "image", "tokens": 258 } ], "total_cached_tokens": 0, "total_input_tokens": 268, "total_output_tokens": 20, "total_thought_tokens": 0, "total_tokens": 288, "total_tool_use_tokens": 0 } }
Вызов функции
Пример ответа
{ "created": "2025-11-26T12:22:47Z", "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg", "model": "gemini-3.6-flash", "object": "interaction", "status": "requires_action", "steps": [ { "name": "get_weather", "type": "function_call", "arguments": { "location": "Boston, MA" }, "id": "gth23981" } ], "updated": "2025-11-26T12:22:47Z", "usage": { "input_tokens_by_modality": [ { "modality": "text", "tokens": 100 } ], "total_cached_tokens": 0, "total_input_tokens": 100, "total_output_tokens": 25, "total_thought_tokens": 0, "total_tokens": 125, "total_tool_use_tokens": 50 } }
Глубокое исследование
Пример ответа
{ "agent": "deep-research-pro-preview-12-2025", "created": "2025-11-26T12:22:47Z", "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg", "object": "interaction", "status": "completed", "steps": [ { "type": "model_output", "content": [ { "type": "text", "text": "Here is a comprehensive research report on the current state of cancer research..." } ] } ], "updated": "2025-11-26T12:22:47Z", "usage": { "input_tokens_by_modality": [ { "modality": "text", "tokens": 20 } ], "total_cached_tokens": 0, "total_input_tokens": 20, "total_output_tokens": 1000, "total_thought_tokens": 500, "total_tokens": 1520, "total_tool_use_tokens": 0 } }
Антигравитационный агент
Пример ответа
{ "agent": "antigravity-preview-05-2026", "created": "2025-11-26T12:22:47Z", "environment_id": "env_abc123", "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg", "object": "interaction", "status": "completed", "steps": [ { "type": "model_output", "content": [ { "type": "text", "text": "I've summarized the top 5 Hacker News stories and saved the results to /workspace/summary.md." } ] } ], "updated": "2025-11-26T12:22:47Z", "usage": { "input_tokens_by_modality": [ { "modality": "text", "tokens": 50 } ], "total_cached_tokens": 0, "total_input_tokens": 50, "total_output_tokens": 500, "total_thought_tokens": 200, "total_tokens": 750, "total_tool_use_tokens": 0 } }
Среда повторного использования
Пример ответа
{ "agent": "antigravity-preview-05-2026", "created": "2025-11-26T12:23:00Z", "environment_id": "env_abc123", "id": "v1_Chd2ZTJhYmNkZWZnaGlqa2xtbm9wcXJzdHV2d3h5ejAxMjM0NTY3ODkwMTIzNDU2Nzg", "object": "interaction", "status": "completed", "steps": [ { "type": "model_output", "content": [ { "type": "text", "text": "I've updated /workspace/hello.py to accept a name argument and greet the user." } ] } ], "updated": "2025-11-26T12:23:00Z", "usage": { "input_tokens_by_modality": [ { "modality": "text", "tokens": 80 } ], "total_cached_tokens": 0, "total_input_tokens": 80, "total_output_tokens": 200, "total_thought_tokens": 100, "total_tokens": 380, "total_tool_use_tokens": 0 } }
С использованием источников.
Агент по работе с клиентами
Отмена взаимодействия
Отменяет взаимодействие по идентификатору. Это относится только к фоновым взаимодействиям, которые все еще выполняются.
Путь / Параметры запроса
Какую версию API использовать?
Уникальный идентификатор взаимодействия, которое необходимо отменить.
Ответ
Возвращает ресурс " Взаимодействие" .
Отменить взаимодействие
Пример ответа
{ "agent": "deep-research-pro-preview-12-2025", "created": "2026-06-22T04:55:47Z", "id": "v1_ChdVc0E0YXJTYk1zYlV6N0lQcXRXVG1BYxIXVXNBNGFyU2JNc2JVejdJUHF0V1RtQWM", "status": "cancelled", "steps": [ { "type": "user_input", "content": [ { "type": "text", "text": "Research the history of the Google TPUs with a focus on 2025 specs." } ] } ], "updated": "2026-06-22T04:55:47Z" }
Получение информации о взаимодействии
Получает полную информацию об одном взаимодействии на основе его `Interaction.id`.
Путь / Параметры запроса
Какую версию API использовать?
Уникальный идентификатор взаимодействия, который необходимо получить.
Необязательный параметр. Если задан, возобновляет поток взаимодействия со следующего фрагмента после события, отмеченного идентификатором события. Может использоваться только в том случае, если `stream` имеет значение true.
Если установить значение true, сгенерированный контент будет передаваться потоком инкрементально.
Значение по умолчанию: False
Ответ
Возвращает ресурс " Взаимодействие" .
Получить взаимодействие
Пример ответа
{ "created": "2025-11-26T12:25:15Z", "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg", "model": "gemini-3.6-flash", "object": "interaction", "status": "completed", "steps": [ { "type": "model_output", "content": [ { "type": "text", "text": "I'm doing great, thank you for asking! How can I help you today?" } ] } ], "updated": "2025-11-26T12:25:15Z" }
Удаление взаимодействия
Удаляет взаимодействие по идентификатору.
Путь / Параметры запроса
Какую версию API использовать?
Уникальный идентификатор взаимодействия, которое необходимо удалить.
Ответ
В случае успеха ответ будет пустым.
Удалить
Ресурсы
Взаимодействие
Ресурс "Взаимодействие".
Поля
агент AgentOption (необязательно)
Имя агента, использованного для генерации взаимодействия.
Возможные значения
-
deep-research-pro-preview-12-2025Агент по глубоким исследованиям компании Gemini
-
deep-research-preview-04-2026Агент по глубоким исследованиям компании Gemini
-
deep-research-max-preview-04-2026Gemini Deep Research Max Agent
-
antigravity-preview-05-2026Используйте управляемый агент Antigravity для выполнения многоэтапных задач, требующих логического мышления, работы с файлами и использования инструментов.
объект agent_config (необязательно)
Параметры конфигурации для взаимодействия с агентом.
Возможные типы
Полиморфный дискриминатор: type
AntigravityAgentConfig
Настройки среды выполнения агента Antigravity. Обеспечивают управление средой выполнения агента и конфигурацией инструментов на стороне сервера.
Максимальное общее количество токенов для выполнения задания агентом.
Модель, используемая для рассуждений агента.
Описание отсутствует.
Всегда устанавливайте режим "antigravity" .
CodeMenderAgentConfig
Настройки агента CodeMender.
find_request FindRequest (необязательно)
Параметры для поиска уязвимостей.
Поля
Дополнительный контекст или пользовательские инструкции, предоставленные пользователем для проведения анализа уязвимостей.
Идентификатор конкретной уязвимости, подлежащей проверке. В основном используется в режиме ПРОВЕРКИ (VERIFY) для того, чтобы сосредоточить проверку агента на выполнении на одной конкретной уязвимости.
Режим работы поисковой сессии.
Возможные значения:
-
scanБыстрое сканирование с использованием только исходного классификатора.
-
verifyПроводит классификацию с последующим детальным исследованием.
массив source_files (FileContent) (необязательно)
Список исходных файлов, которые необходимо предоставить в качестве контекста для сканирования.
Поля
Содержимое файла, закодированное в UTF-8.
Относительный путь к файлу относительно корневого каталога проекта.
fix_request FixRequest (необязательно)
Параметры для устранения уязвимостей.
Поля
Дополнительный контекст или пользовательские инструкции, предоставленные пользователем для управления процессом создания патча.
Идентификатор конкретной уязвимости, подлежащей устранению. Этот идентификатор соответствует ранее обнаруженной уязвимости.
массив source_files (FileContent) (необязательно)
Список исходных файлов, предоставляющих контекст для устранения проблемы. Как правило, это файлы, содержащие выявленную уязвимость.
Поля
Содержимое файла, закодированное в UTF-8.
Относительный путь к файлу относительно корневого каталога проекта.
Название модели, используемой для агента CodeMender. Одна сессия CodeMender будет использовать только одну модель.
session_config SessionConfig (необязательно)
Дополнительные параметры конфигурации, специфичные для каждой сессии, позволяют переопределить поведение агента по умолчанию.
Поля
Максимальное количество раундов взаимодействия, которое агент может выполнить до истечения тайм-аута.
Параметр для группировки нескольких взаимодействий, относящихся к одной и той же сессии CodeMender.
Описание отсутствует.
Всегда устанавливайте значение "code-mender" .
DeepResearchAgentConfig
Настройки агента Deep Research.
Включает планирование с участием человека для агента Deep Research. Если установлено значение true, агент Deep Research предоставит план исследования в своем ответе. Затем агент продолжит работу только в том случае, если пользователь подтвердит план на следующем ходу.
Включает инструмент BigQuery для агента Deep Research.
thinking_summaries ThinkingSummaries (необязательно)
Стоит ли включать в ответ краткое изложение мыслей?
Возможные значения
-
autoКраткие обзоры автоматического мышления.
-
noneНикаких кратких изложений мысли.
Описание отсутствует.
Всегда устанавливайте значение "deep-research" .
Стоит ли включать визуализации в ответ.
Возможные значения:
-
offНе включайте визуализации.
-
autoАвтоматическое добавление визуализаций.
DynamicAgentConfig
Настройка для динамических агентов.
Описание отсутствует.
Всегда устанавливайте значение "dynamic" .
Только вывод. Время создания ответа в формате ISO 8601 (ГГГГ-ММ-ДДЧч:мм:ссЗ).
Конфигурация среды для взаимодействия. Может представлять собой объект, указывающий на удаленные источники среды, или строку, ссылающуюся на существующий идентификатор среды.
Только для вывода. Идентификатор среды для взаимодействия. Заполняется только в том случае, если в запросе задана конфигурация среды.
массив ошибок (Ошибка) (необязательно)
Только вывод. Диагностические ошибки / ошибки платформы, зафиксированные во время взаимодействия.
Поля
URI, определяющий тип ошибки.
Удобочитаемое сообщение об ошибке.
Обязательно. Только для вывода. Уникальный идентификатор завершения взаимодействия.
По умолчанию:
Входные данные для взаимодействия.
Метки с заданными пользователем метаданными для запроса.
модель ModelOption (необязательно)
Название модели, использованной для генерации взаимодействия.
Возможные значения
-
gemini-2.5-flashНаша первая гибридная модель рассуждений, поддерживающая контекстное окно в 1 миллион токенов и имеющая бюджеты мышления.
-
gemini-2.5-proНаша передовая многоцелевая модель, превосходно справляющаяся с задачами программирования и сложным логическим мышлением.
-
gemma-4-26b-a4b-itДжемма 4 26B A4B IT
-
gemma-4-31b-itДжемма 4 31B IT
-
gemini-flash-latestПоследняя версия Gemini Flash
-
gemini-flash-lite-latestНовейшая версия фонарика Gemini Flash-Lite
-
gemini-pro-latestПоследняя версия Gemini Pro
-
gemini-2.5-flash-liteНаша самая компактная и экономичная модель, предназначенная для масштабного использования.
-
gemini-2.5-flash-imageНаша собственная модель генерации изображений, оптимизированная для скорости, гибкости и контекстного понимания. Стоимость ввода и вывода текста такая же, как у 2,5-дюймовой версии Flash.
-
gemini-3-flash-previewНаша самая интеллектуальная модель, созданная для скорости, сочетает в себе передовые методы разведки с превосходными возможностями поиска и посадки на землю.
-
gemini-3.1-pro-previewНаша новейшая, передовая модель логического мышления с беспрецедентной глубиной и детализацией, а также мощными возможностями многомодального понимания и кодирования.
-
gemini-3.1-pro-preview-customtoolsGemini 3.1 Pro Preview оптимизирован для использования пользовательских инструментов.
-
gemini-3.1-flash-liteНаша наиболее экономичная модель, оптимизированная для выполнения больших объемов агентских задач, перевода и простой обработки данных.
-
gemini-3-pro-imageИзображение Gemini 3 Pro
-
nano-banana-pro-previewПредварительный просмотр изображения Gemini 3 Pro
-
gemini-3.1-flash-imageИзображение Gemini 3.1 Flash.
-
gemini-3.5-flashНаша наиболее интеллектуальная модель для достижения устойчиво высоких результатов в задачах, связанных с агентным программированием и кодированием.
-
gemini-3.6-flashНаша наиболее интеллектуальная модель для достижения устойчиво высоких результатов в задачах, связанных с агентным программированием и кодированием.
-
gemini-3.7-flashНаша наиболее интеллектуальная модель для достижения устойчиво высоких результатов в задачах, связанных с агентным программированием и кодированием.
-
lyria-3-clip-previewНаша модель генерации музыки с низкой задержкой оптимизирована для высококачественных аудиоклипов и точного контроля ритма.
-
lyria-3-pro-previewНаша передовая генеративная модель, способная обрабатывать целые композиции и обладающая глубоким пониманием композиции, оптимизирована для точного структурного контроля и сложных переходов между различными музыкальными стилями.
-
gemini-robotics-er-1.6-previewGemini Robotics-ER 1.6 Preview
-
gemini-robotics-er-2-previewПредварительный обзор Gemini Robotics Embodied Reasoning 2
output_audio AudioContent (необязательно)
Последний аудиофайл, сгенерированный моделью в ответ на текущий запрос. Примечание: эта информация добавляется SDK.
Поля
Количество аудиоканалов.
Аудиоконтент.
MIME-тип аудиофайла.
Возможные значения:
-
audio/wavаудиоформат WAV
-
audio/mp3аудиоформат MP3
-
audio/aiffаудиоформат AIFF
-
audio/aacаудиоформат AAC
-
audio/oggАудиоформат OGG
-
audio/flacаудиоформат FLAC
-
audio/mpegаудиоформат MPEG
-
audio/m4aаудиоформат M4A
-
audio/l16аудиоформат L16
-
audio/opusАудиоформат OPUS
-
audio/alawАудиоформат ALAW
-
audio/mulawАудиоформат MULAW
Частота дискретизации аудиосигнала.
Описание отсутствует.
Всегда устанавливайте значение "audio" .
URI аудиофайла.
Последнее изображение, сгенерированное моделью в ответ на текущий запрос. Примечание: оно добавляется SDK.
Конкатенированный текст из последнего результата работы модели в ответ на текущий запрос. Примечание: этот текст добавляется SDK.
output_video Видеоконтент (необязательно)
Последнее видео, сгенерированное моделью в ответ на текущий запрос. Примечание: оно добавляется SDK.
Поля
Видеоконтент.
Тип MIME видео.
Возможные значения:
-
video/mp4видеоформат MP4
-
video/mpegвидеоформат MPEG
-
video/mpgвидеоформат MPG
-
video/movвидеоформат MOV
-
video/aviвидеоформат AVI
-
video/x-flvвидеоформат FLV
-
video/webmвидеоформат WebM
-
video/wmvвидеоформат WMV
-
video/3gppвидеоформат 3GPP
Обработка медиафайлов или перечисление (строка) (необязательно)
Как модель обрабатывает это видео для понимания.
разрешение MediaResolution (необязательно)
Разрешение средств массовой информации.
Возможные значения
-
lowНизкое разрешение.
-
mediumСреднее разрешение.
-
highВысокое разрешение.
-
ultra_highСверхвысокое разрешение.
Описание отсутствует.
Всегда устанавливайте значение "video" .
URI видео.
Идентификатор предыдущего взаимодействия, если таковое имелось.
Обеспечивает, чтобы сгенерированный ответ представлял собой объект JSON, соответствующий схеме JSON, указанной в этом поле.
массив safety_settings (SafetySetting) (необязательно)
Настройки безопасности для взаимодействия.
Поля
Необязательный параметр. Способ блокировки контента. Если не указан, по умолчанию используется оценка вероятности.
Возможные значения:
-
severityМетод блокировки вреда использует как вероятностные оценки, так и оценки тяжести последствий.
-
probabilityМетод блокировки вреда использует показатель вероятности.
Обязательно. Пороговое значение для блокировки контента. Если вероятность причинения вреда превысит этот порог, контент будет заблокирован.
Возможные значения:
-
block_low_and_aboveБлокируйте контент с низкой или высокой вероятностью причинения вреда.
-
block_medium_and_aboveБлокируйте контент со средней или высокой вероятностью причинения вреда.
-
block_only_highБлокируйте контент с высокой вероятностью причинения вреда.
-
block_noneНе блокируйте никакой контент, независимо от вероятности его нанесения вреда.
-
offПолностью отключите защитный фильтр.
тип HarmCategory (необязательно)
Обязательно. Категория вреда, подлежащая блокировке.
Возможные значения
-
hate_speechКонтент, пропагандирующий насилие или разжигающий ненависть к отдельным лицам или группам на основе определенных признаков.
-
dangerous_contentКонтент, который пропагандирует, способствует или поощряет опасные действия.
-
harassmentОскорбительный, угрожающий контент, направленный на запугивание, мучение или высмеивание.
-
sexually_explicitКонтент, содержащий материалы сексуального характера.
-
civic_integrityУстарело: фильтр выборов больше не поддерживается. Категория причинения вреда — гражданская неприкосновенность.
-
image_hateИзображения, содержащие разжигающие ненависть высказывания.
-
image_dangerous_contentИзображения, содержащие опасный контент.
-
image_harassmentИзображения, содержащие элементы домогательств.
-
image_sexually_explicitИзображения, содержащие материалы сексуального характера.
-
jailbreakПодсказки, предназначенные для обхода защитных фильтров.
service_tier ServiceTier (необязательно)
Уровень обслуживания для данного взаимодействия.
Возможные значения
-
flexГибкий уровень обслуживания.
-
standardСтандартный уровень обслуживания.
-
priorityПриоритетный уровень обслуживания.
-
deferredОтложенный уровень обслуживания.
Обязательный параметр. Только вывод. Статус взаимодействия.
Возможные значения:
-
in_progressВзаимодействие продолжается.
-
requires_actionДля взаимодействия требуется действие/ввод данных от пользователя.
-
completedВзаимодействие завершено.
-
failedВзаимодействие не удалось.
-
cancelledВстреча была отменена.
-
incompleteВзаимодействие завершено, но результаты неполные (например, достигнуто значение max_tokens).
-
budget_exceededВзаимодействие было прервано из-за превышения лимита токенов.
-
queuedВзаимодействие поставлено в очередь и ожидает обработки.
Только вывод. Этапы взаимодействия, если они включены в ответ.
Системная инструкция для взаимодействия.
Список объявлений инструментов, которые модель может вызывать во время взаимодействия.
Только вывод. Время последнего обновления ответа в формате ISO 8601 (ГГГГ-ММ-ДДТч:мм:ссЗ).
Использование (необязательно )
Только вывод. Статистика использования токенов в запросе на взаимодействие.
Поля
массив cached_tokens_by_modality (ModalityTokens) (необязательно)
Анализ использования кэшированных токенов по способам доступа.
Поля
модальность ResponseModality (необязательно)
Способ отображения количества токенов.
Возможные значения
-
textУказывает, что модель должна возвращать текст.
-
imageУказывает, что модель должна возвращать изображения.
-
audioУказывает, что модель должна возвращать аудиоданные.
-
videoУказывает, что модель должна возвращать видео.
-
documentУказывает, что модель должна возвращать документы.
Количество токенов для данного режима.
массив grounding_tool_count (GroundingToolCount) (необязательно)
Количество инструментов для заземления.
Поля
Количество заземляющих инструментов подсчитывается.
Тип заземляющего инструмента, связанный с подсчетом.
Возможные значения:
-
google_searchИнтеграция веб-поиска Google и поиска изображений, а также интеграция веб-поиска с корпоративными приложениями.
-
google_mapsОпределить местоположение с помощью Google Maps.
-
retrievalИспользование данных клиента, например, VertexAISearch.
input_tokens_by_modality array (ModalityTokens) (optional)
Анализ использования входных токенов в зависимости от модальности ввода.
Поля
модальность ResponseModality (необязательно)
Способ отображения количества токенов.
Возможные значения
-
textУказывает, что модель должна возвращать текст.
-
imageУказывает, что модель должна возвращать изображения.
-
audioУказывает, что модель должна возвращать аудиоданные.
-
videoУказывает, что модель должна возвращать видео.
-
documentУказывает, что модель должна возвращать документы.
Количество токенов для данного режима.
output_tokens_by_modality array (ModalityTokens) (optional)
Анализ использования выходных токенов по видам модальностей.
Поля
модальность ResponseModality (необязательно)
Способ отображения количества токенов.
Возможные значения
-
textУказывает, что модель должна возвращать текст.
-
imageУказывает, что модель должна возвращать изображения.
-
audioУказывает, что модель должна возвращать аудиоданные.
-
videoУказывает, что модель должна возвращать видео.
-
documentУказывает, что модель должна возвращать документы.
Количество токенов для данного режима.
tool_use_tokens_by_modality array (ModalityTokens) (optional)
Анализ использования токенов инструментов в зависимости от модальности.
Поля
модальность ResponseModality (необязательно)
Способ отображения количества токенов.
Возможные значения
-
textУказывает, что модель должна возвращать текст.
-
imageУказывает, что модель должна возвращать изображения.
-
audioУказывает, что модель должна возвращать аудиоданные.
-
videoУказывает, что модель должна возвращать видео.
-
documentУказывает, что модель должна возвращать документы.
Количество токенов для данного режима.
Количество токенов в кэшированной части запроса (кэшированное содержимое).
Количество токенов в подсказке (контексте).
Общее количество токенов во всех сгенерированных ответах.
Количество токенов мыслей для моделей мышления.
Общее количество токенов для запроса на взаимодействие (запрос + ответы + другие внутренние токены).
Количество токенов, присутствующих в подсказках использования инструмента.
webhook_config WebhookConfig (необязательно)
Необязательно. Настройка веб-перехватчика для получения уведомлений по завершении взаимодействия.
Поля
Необязательно. Если задано, эти URI веб-перехватчиков будут использоваться для событий веб-перехватчиков вместо зарегистрированных веб-перехватчиков.
Необязательно. Метаданные пользователя, которые будут возвращаться веб-хукам при каждом срабатывании события.
Примеры
Пример
{ "created": "2025-12-04T15:01:45Z", "id": "v1_ChdXS0l4YWZXTk9xbk0xZThQczhEcmlROBIXV0tJeGFmV05PcW5NMWU4UHM4RHJpUTg", "model": "gemini-3.6-flash", "object": "interaction", "status": "completed", "steps": [ { "type": "model_output", "content": [ { "type": "text", "text": "Hello! I'm doing well, functioning as expected. Thank you for asking! How are you doing today?" } ] } ], "updated": "2025-12-04T15:01:45Z", "usage": { "input_tokens_by_modality": [ { "modality": "text", "tokens": 7 } ], "total_cached_tokens": 0, "total_input_tokens": 7, "total_output_tokens": 23, "total_thought_tokens": 49, "total_tokens": 79, "total_tool_use_tokens": 0 } }
Модели данных
Содержание
Содержание ответа.
Возможные типы
Аудиоконтент
Блок аудиоконтента.
Количество аудиоканалов.
Аудиоконтент.
MIME-тип аудиофайла.
Возможные значения:
-
audio/wavаудиоформат WAV
-
audio/mp3аудиоформат MP3
-
audio/aiffаудиоформат AIFF
-
audio/aacаудиоформат AAC
-
audio/oggАудиоформат OGG
-
audio/flacаудиоформат FLAC
-
audio/mpegаудиоформат MPEG
-
audio/m4aаудиоформат M4A
-
audio/l16аудиоформат L16
-
audio/opusАудиоформат OPUS
-
audio/alawАудиоформат ALAW
-
audio/mulawАудиоформат MULAW
Частота дискретизации аудиосигнала.
Описание отсутствует.
Всегда устанавливайте значение "audio" .
URI аудиофайла.
Содержимое документа
Блок содержимого документа.
Содержание документа.
MIME-тип документа.
Возможные значения:
-
application/pdfPDF-документ
-
text/csvформат документа CSV
Описание отсутствует.
Всегда устанавливайте значение "document" .
URI документа.
ImageContent
Блок с графическим содержимым.
Содержание изображения.
MIME-тип изображения.
Возможные значения:
-
image/pngформат изображения PNG
-
image/jpegформат изображения JPEG
-
image/webpформат изображений WebP
-
image/heicформат изображения HEIC
-
image/heifформат изображения HEIF
-
image/gifформат изображения GIF
-
image/bmpформат изображения BMP
-
image/tiffформат изображения TIFF
разрешение MediaResolution (необязательно)
Разрешение средств массовой информации.
Возможные значения
-
lowНизкое разрешение.
-
mediumСреднее разрешение.
-
highВысокое разрешение.
-
ultra_highСверхвысокое разрешение.
Описание отсутствует.
Всегда устанавливайте значение "image" .
URI изображения.
Текстовое содержимое
Блок текстового содержимого.
массив аннотаций (Аннотация) (необязательно)
Информация об источниках для контента, сгенерированного моделью.
Возможные типы
FileCitation
Аннотация к файлу.
Пользователь предоставил метаданные о полученном контексте.
URI файла.
Конец выделенного сегмента, без учета каких-либо ограничений.
Название файла.
В случае цитирования изображений, пожалуйста, укажите идентификатор медиафайла (Media ID), если таковой имеется.
Номер страницы цитируемого документа, если таковой имеется.
Источник указан для части текста.
Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.
Описание отсутствует.
Всегда устанавливайте значение "file_citation" .
PlaceCitation
Аннотация к географическому местоположению.
Конец выделенного сегмента, без учета каких-либо ограничений.
Название места.
Идентификатор места в формате `places/{place_id}`.
массив review_snippets (ReviewSnippet) (необязательно)
Фрагменты отзывов, используемые для генерации ответов об особенностях того или иного места в Google Maps.
Поля
Идентификатор фрагмента отзыва.
Заголовок рецензии.
Ссылка, соответствующая отзыву пользователя на Google Maps.
Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.
Описание отсутствует.
Всегда устанавливайте значение "place_citation" .
URI-ссылка на это место.
URLCitation
Аннотация URL-адреса.
Конец выделенного сегмента, без учета каких-либо ограничений.
Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.
Заголовок URL-адреса.
Описание отсутствует.
Всегда устанавливайте значение "url_citation" .
URL.
WordInfo
Аннотации автоматического распознавания речи на уровне слов для вывода транскрипции. Содержат текст слова, необязательное время и необязательное указание говорящего.
Конец выделенного сегмента, без учета каких-либо ограничений.
Смещение в конце слова относительно начала аудиозаписи. Присутствует, если timestamp_granularities содержит "word".
Необязательно. Метка говорящего для этого слова (например, "spk_1", "spk_2"). Присутствует, если в TranscriptionConfig установлен параметр diarization_mode.
Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.
Начальное смещение слова относительно начала аудиозаписи. Присутствует, если timestamp_granularities содержит "word".
Записанное слово.
Описание отсутствует.
Всегда устанавливайте значение "word_info" .
Обязательно. Текстовое содержимое.
Описание отсутствует.
Всегда устанавливайте значение "text" .
Видеоконтент
Блок видеоконтента.
Видеоконтент.
Тип MIME видео.
Возможные значения:
-
video/mp4видеоформат MP4
-
video/mpegвидеоформат MPEG
-
video/mpgвидеоформат MPG
-
video/movвидеоформат MOV
-
video/aviвидеоформат AVI
-
video/x-flvвидеоформат FLV
-
video/webmвидеоформат WebM
-
video/wmvвидеоформат WMV
-
video/3gppвидеоформат 3GPP
Обработка медиафайлов или перечисление (строка) (необязательно)
Как модель обрабатывает это видео для понимания.
разрешение MediaResolution (необязательно)
Разрешение средств массовой информации.
Возможные значения
-
lowНизкое разрешение.
-
mediumСреднее разрешение.
-
highВысокое разрешение.
-
ultra_highСверхвысокое разрешение.
Описание отсутствует.
Всегда устанавливайте значение "video" .
URI видео.
Примеры
Аудио
{ "type": "audio", "data": "BASE64_ENCODED_AUDIO", "mime_type": "audio/wav" }
Документ
{ "type": "document", "data": "BASE64_ENCODED_DOCUMENT", "mime_type": "application/pdf" }
Изображение
{ "type": "image", "data": "BASE64_ENCODED_IMAGE", "mime_type": "image/png" }
Текст
{ "type": "text", "text": "Hello, how are you?" }
Видео
{ "type": "video", "uri": "https://www.youtube.com/watch?v=9hE5-98ZeCg" }
Инструмент
Инструмент, который может быть использован моделью.
Возможные типы
Выполнение кода
Инструмент, который может использоваться моделью для выполнения кода.
Описание отсутствует.
Всегда устанавливайте значение "code_execution" .
Использование компьютера
Инструмент, который модель может использовать для взаимодействия с компьютером.
Необязательно. Отключены правила техники безопасности при использовании компьютера.
Возможные значения:
-
financial_transactionsПолитика безопасности финансовых транзакций.
-
sensitive_data_modificationПолитика безопасности при изменении конфиденциальных данных.
-
communication_toolПолитика безопасности для средств связи (например, Gmail, Chat, Meet).
-
account_creationПолитика безопасности при создании учетной записи.
-
data_modificationПолитика безопасности при изменении данных.
-
user_consent_managementПолитика безопасности в отношении управления согласием пользователей.
-
legal_terms_and_agreementsПолитика безопасности в отношении юридических условий и соглашений.
Включить ли проверку обнаружения инъекций при запросе на использование компьютера.
Рабочая среда.
Возможные значения:
-
browserРаботает в веб-браузере.
-
mobileРаботает в мобильной среде.
-
desktopРаботает в настольной среде.
Список предопределенных функций, исключенных из вызова модели.
Описание отсутствует.
Всегда устанавливайте значение "computer_use" .
Поиск файлов
Инструмент, который может использоваться моделью для поиска файлов.
Названия хранилищ файлов для поиска.
Фильтр метаданных, применяемый к документам и фрагментам, полученным в результате семантического поиска.
Количество фрагментов семантического поиска, которые необходимо извлечь.
Описание отсутствует.
Всегда устанавливайте значение "file_search" .
Функция
Инструмент, который может быть использован моделью.
Описание функции.
Название функции.
JSON-схема для параметров функции.
Описание отсутствует.
Всегда устанавливайте значение "function" .
Google Карты
Инструмент, который модель может использовать для вызова Google Maps.
Следует ли возвращать токен контекста виджета в результате вызова инструмента в ответе.
Широта местоположения пользователя.
Долгота местоположения пользователя.
Описание отсутствует.
Всегда устанавливайте значение "google_maps" .
GoogleПоиск
Инструмент, который модель может использовать для поиска в Google.
Типы поиска, которые необходимо включить.
Возможные значения:
-
web_searchВключение этого поля активирует веб-поиск. Возвращаются только текстовые результаты.
-
image_searchУстановив это поле, можно включить поиск изображений. Возвращаются байты изображения.
-
enterprise_web_searchВключение корпоративного веб-поиска.
Описание отсутствует.
Всегда устанавливайте значение "google_search" .
McpServer
MCPServer — это сервер, который может быть вызван моделью для выполнения действий.
массив allowed_tools (AllowedTools) (необязательно)
Разрешенные инструменты.
Поля
Способ выбора инструмента.
Возможные значения:
-
autoАвтоматический выбор инструмента.
-
anyЛюбой выбор инструмента.
-
noneВыбор инструментов отсутствует.
-
validatedВыбор инструмента подтвержден.
Названия разрешенных инструментов.
Необязательно: поля для заголовков аутентификации, тайм-аутов и т. д., если необходимо.
Имя MCPServer.
Описание отсутствует.
Всегда устанавливайте значение "mcp_server" .
Полный URL-адрес конечной точки MCPServer. Пример: "https://api.example.com/mcp"
Извлечение
Инструмент, который может использоваться моделью для извлечения файлов.
exa_ai_search_config ExaAISearchConfig (необязательно)
Используется для указания конфигурации ExaAISearch.
Поля
Обязательно. API-ключ для ExaAiSearch.
Необязательно. Это поле можно использовать для передачи любых параметров из API поиска Exa.ai.
parallel_ai_search_config ParallelAISearchConfig (необязательно)
Используется для указания конфигурации ParallelAISearch.
Поля
Необязательно. Ключ API для ParallelAiSearch.
Необязательно. Пользовательские настройки для ParallelAiSearch.
rag_store_config RagStoreConfig (необязательно)
Используется для указания конфигурации RagStore.
Поля
Массив rag_resources (RagResource) (необязательно)
Необязательно. Отображение исходного файла.
Поля
Необязательно. Имя ресурса RagCorpora.
Необязательный параметр. rag_file_id. Файлы должны находиться в том же наборе данных rag_corpus, что и указано в поле rag_corpus.
rag_retrieval_config RagRetrievalConfig (необязательно)
Необязательно. Конфигурация получения данных для запроса Rag.
Поля
Фильтр ( необязательно )
Необязательно. Настройка фильтров.
Поля
Необязательный параметр. Строка для фильтрации метаданных.
Необязательный параметр. Возвращает только контексты, у которых векторное расстояние меньше порогового значения.
Необязательный параметр. Возвращает только контексты с векторным сходством, превышающим пороговое значение.
hybrid_search HybridSearch (необязательно)
Необязательно. Настройка для гибридного поиска.
Поля
Необязательный параметр. Значение альфа определяет вес результатов поиска по плотным и разреженным векторам.
рейтинг Рейтинг (необязательно)
Необязательно. Настройки для ранжирования и переранжирования.
Необязательный параметр. Количество контекстов для получения.
Типы извлечения файлов, которые необходимо включить.
Возможные значения:
-
rag_store -
exa_ai_search -
parallel_ai_search
Описание отсутствует.
Всегда устанавливайте значение "retrieval" .
UrlContext
Инструмент, который может использоваться моделью для получения контекста URL-адреса.
Описание отсутствует.
Всегда устанавливайте значение "url_context" .
Примеры
Выполнение кода
Использование компьютера
Поиск файлов
Функция
Google Карты
GoogleПоиск
McpServer
Извлечение
Примеров для этого типа нет.
UrlContext
InteractionSseEvent
Возможные типы
Полиморфный дискриминатор: event_type
ErrorEvent
ошибка Ошибка (необязательно)
Описание отсутствует.
Поля
URI, определяющий тип ошибки.
Удобочитаемое сообщение об ошибке.
Токен event_id, который будет использоваться для возобновления потока взаимодействия с этого события.
Описание отсутствует.
Всегда устанавливайте значение "error" .
InteractionCompletedEvent
Токен event_id, который будет использоваться для возобновления потока взаимодействия с этого события.
Описание отсутствует.
Всегда устанавливайте значение "interaction.completed" .
interaction InteractionSseEventInteraction (required)
Частично завершенный ресурс взаимодействия выдается в конце потока.
Поля
Агент, с которым необходимо взаимодействовать.
Только выходные данные. Время создания ответа в формате ISO 8601.
Обязательно. Только для вывода. Уникальный идентификатор завершения взаимодействия.
Модель, которая поможет выполнить ваше задание.
Только вывод. Тип ресурса.
service_tier ServiceTier (необязательно)
Уровень обслуживания для данного взаимодействия.
Возможные значения
-
flexГибкий уровень обслуживания.
-
standardСтандартный уровень обслуживания.
-
priorityПриоритетный уровень обслуживания.
-
deferredОтложенный уровень обслуживания.
Обязательный параметр. Только вывод. Статус взаимодействия.
Возможные значения:
-
in_progressВзаимодействие продолжается.
-
requires_actionДля взаимодействия требуется действие/ввод данных от пользователя.
-
completedВзаимодействие завершено.
-
failedВзаимодействие не удалось.
-
cancelledВстреча была отменена.
-
incompleteВзаимодействие завершено, но результаты неполные (например, достигнуто значение max_tokens).
Только вывод. Этапы взаимодействия, если они включены в это событие.
Только выходные данные. Время последнего обновления ответа в формате ISO 8601.
Использование (необязательно )
Только вывод. Статистика использования токенов в запросе на взаимодействие.
Поля
массив cached_tokens_by_modality (ModalityTokens) (необязательно)
Анализ использования кэшированных токенов по способам доступа.
Поля
модальность ResponseModality (необязательно)
Способ отображения количества токенов.
Возможные значения
-
textУказывает, что модель должна возвращать текст.
-
imageУказывает, что модель должна возвращать изображения.
-
audioУказывает, что модель должна возвращать аудиоданные.
-
videoУказывает, что модель должна возвращать видео.
-
documentУказывает, что модель должна возвращать документы.
Количество токенов для данного режима.
массив grounding_tool_count (GroundingToolCount) (необязательно)
Количество инструментов для заземления.
Поля
Количество заземляющих инструментов подсчитывается.
Тип заземляющего инструмента, связанный с подсчетом.
Возможные значения:
-
google_searchИнтеграция веб-поиска Google и поиска изображений, а также интеграция веб-поиска с корпоративными приложениями.
-
google_mapsОпределить местоположение с помощью Google Maps.
-
retrievalИспользование данных клиента, например, VertexAISearch.
input_tokens_by_modality array (ModalityTokens) (optional)
Анализ использования входных токенов в зависимости от модальности ввода.
Поля
модальность ResponseModality (необязательно)
Способ отображения количества токенов.
Возможные значения
-
textУказывает, что модель должна возвращать текст.
-
imageУказывает, что модель должна возвращать изображения.
-
audioУказывает, что модель должна возвращать аудиоданные.
-
videoУказывает, что модель должна возвращать видео.
-
documentУказывает, что модель должна возвращать документы.
Количество токенов для данного режима.
output_tokens_by_modality array (ModalityTokens) (optional)
Анализ использования выходных токенов по видам модальностей.
Поля
модальность ResponseModality (необязательно)
Способ отображения количества токенов.
Возможные значения
-
textУказывает, что модель должна возвращать текст.
-
imageУказывает, что модель должна возвращать изображения.
-
audioУказывает, что модель должна возвращать аудиоданные.
-
videoУказывает, что модель должна возвращать видео.
-
documentУказывает, что модель должна возвращать документы.
Количество токенов для данного режима.
tool_use_tokens_by_modality array (ModalityTokens) (optional)
Анализ использования токенов инструментов в зависимости от модальности.
Поля
модальность ResponseModality (необязательно)
Способ отображения количества токенов.
Возможные значения
-
textУказывает, что модель должна возвращать текст.
-
imageУказывает, что модель должна возвращать изображения.
-
audioУказывает, что модель должна возвращать аудиоданные.
-
videoУказывает, что модель должна возвращать видео.
-
documentУказывает, что модель должна возвращать документы.
Количество токенов для данного режима.
Количество токенов в кэшированной части запроса (кэшированное содержимое).
Количество токенов в подсказке (контексте).
Общее количество токенов во всех сгенерированных ответах.
Количество токенов мыслей для моделей мышления.
Общее количество токенов для запроса на взаимодействие (запрос + ответы + другие внутренние токены).
Количество токенов, присутствующих в подсказках использования инструмента.
InteractionCreatedEvent
Токен event_id, который будет использоваться для возобновления потока взаимодействия с этого события.
Описание отсутствует.
Всегда устанавливайте значение "interaction.created" .
interaction InteractionSseEventInteraction (required)
Ресурс частичного взаимодействия, генерируемый при создании потока.
Поля
Агент, с которым необходимо взаимодействовать.
Только выходные данные. Время создания ответа в формате ISO 8601.
Обязательно. Только для вывода. Уникальный идентификатор завершения взаимодействия.
Модель, которая поможет выполнить ваше задание.
Только вывод. Тип ресурса.
service_tier ServiceTier (необязательно)
Уровень обслуживания для данного взаимодействия.
Возможные значения
-
flexГибкий уровень обслуживания.
-
standardСтандартный уровень обслуживания.
-
priorityПриоритетный уровень обслуживания.
-
deferredОтложенный уровень обслуживания.
Обязательный параметр. Только вывод. Статус взаимодействия.
Возможные значения:
-
in_progressВзаимодействие продолжается.
-
requires_actionДля взаимодействия требуется действие/ввод данных от пользователя.
-
completedВзаимодействие завершено.
-
failedВзаимодействие не удалось.
-
cancelledВстреча была отменена.
-
incompleteВзаимодействие завершено, но результаты неполные (например, достигнуто значение max_tokens).
Только вывод. Этапы взаимодействия, если они включены в это событие.
Только выходные данные. Время последнего обновления ответа в формате ISO 8601.
Использование (необязательно )
Только вывод. Статистика использования токенов в запросе на взаимодействие.
Поля
массив cached_tokens_by_modality (ModalityTokens) (необязательно)
Анализ использования кэшированных токенов по способам доступа.
Поля
модальность ResponseModality (необязательно)
Способ отображения количества токенов.
Возможные значения
-
textУказывает, что модель должна возвращать текст.
-
imageУказывает, что модель должна возвращать изображения.
-
audioУказывает, что модель должна возвращать аудиоданные.
-
videoУказывает, что модель должна возвращать видео.
-
documentУказывает, что модель должна возвращать документы.
Количество токенов для данного режима.
массив grounding_tool_count (GroundingToolCount) (необязательно)
Количество инструментов для заземления.
Поля
Количество заземляющих инструментов подсчитывается.
Тип заземляющего инструмента, связанный с подсчетом.
Возможные значения:
-
google_searchИнтеграция веб-поиска Google и поиска изображений, а также интеграция веб-поиска с корпоративными приложениями.
-
google_mapsОпределить местоположение с помощью Google Maps.
-
retrievalИспользование данных клиента, например, VertexAISearch.
input_tokens_by_modality array (ModalityTokens) (optional)
Анализ использования входных токенов в зависимости от модальности ввода.
Поля
модальность ResponseModality (необязательно)
Способ отображения количества токенов.
Возможные значения
-
textУказывает, что модель должна возвращать текст.
-
imageУказывает, что модель должна возвращать изображения.
-
audioУказывает, что модель должна возвращать аудиоданные.
-
videoУказывает, что модель должна возвращать видео.
-
documentУказывает, что модель должна возвращать документы.
Количество токенов для данного режима.
output_tokens_by_modality array (ModalityTokens) (optional)
Анализ использования выходных токенов по видам модальностей.
Поля
модальность ResponseModality (необязательно)
Способ отображения количества токенов.
Возможные значения
-
textУказывает, что модель должна возвращать текст.
-
imageУказывает, что модель должна возвращать изображения.
-
audioУказывает, что модель должна возвращать аудиоданные.
-
videoУказывает, что модель должна возвращать видео.
-
documentУказывает, что модель должна возвращать документы.
Количество токенов для данного режима.
tool_use_tokens_by_modality array (ModalityTokens) (optional)
Анализ использования токенов инструментов в зависимости от модальности.
Поля
модальность ResponseModality (необязательно)
Способ отображения количества токенов.
Возможные значения
-
textУказывает, что модель должна возвращать текст.
-
imageУказывает, что модель должна возвращать изображения.
-
audioУказывает, что модель должна возвращать аудиоданные.
-
videoУказывает, что модель должна возвращать видео.
-
documentУказывает, что модель должна возвращать документы.
Количество токенов для данного режима.
Количество токенов в кэшированной части запроса (кэшированное содержимое).
Количество токенов в подсказке (контексте).
Общее количество токенов во всех сгенерированных ответах.
Количество токенов мыслей для моделей мышления.
Общее количество токенов для запроса на взаимодействие (запрос + ответы + другие внутренние токены).
Количество токенов, присутствующих в подсказках использования инструмента.
InteractionStatusUpdate
Токен event_id, который будет использоваться для возобновления потока взаимодействия с этого события.
Описание отсутствует.
Всегда устанавливайте значение "interaction.status_update" .
Описание отсутствует.
Описание отсутствует.
Возможные значения:
-
in_progressВзаимодействие продолжается.
-
requires_actionДля взаимодействия требуется действие/ввод данных от пользователя.
-
completedВзаимодействие завершено.
-
failedВзаимодействие не удалось.
-
cancelledВстреча была отменена.
-
incompleteВзаимодействие завершено, но результаты неполные (например, достигнуто значение max_tokens).
-
budget_exceededВзаимодействие было прервано из-за превышения лимита токенов.
-
queuedВзаимодействие ставится в очередь, ожидая обработки (например, ожидая освобождения мест в непиковое время).
StepDelta
delta StepDeltaData (обязательно)
Описание отсутствует.
Возможные типы
АргументыДельта
Описание отсутствует.
Описание отсутствует.
Всегда устанавливайте значение "arguments_delta" .
AudioDelta
Количество аудиоканалов.
Описание отсутствует.
Описание отсутствует.
Возможные значения:
-
audio/wavаудиоформат WAV
-
audio/mp3аудиоформат MP3
-
audio/aiffаудиоформат AIFF
-
audio/aacаудиоформат AAC
-
audio/oggАудиоформат OGG
-
audio/flacаудиоформат FLAC
-
audio/mpegаудиоформат MPEG
-
audio/m4aаудиоформат M4A
-
audio/l16аудиоформат L16
-
audio/opusАудиоформат OPUS
-
audio/alawАудиоформат ALAW
-
audio/mulawАудиоформат MULAW
Частота дискретизации аудиосигнала.
Описание отсутствует.
Всегда устанавливайте значение "audio" .
Описание отсутствует.
CodeExecutionCallDelta
аргументы CodeExecutionCallArguments (обязательно)
Описание отсутствует.
Поля
Код, который необходимо выполнить.
Язык программирования кода.
Возможные значения:
-
pythonPython >= 3.10, с доступными библиотеками numpy и simpy.
Хэш подписи для проверки данных на стороне бэкэнда.
Описание отсутствует.
Всегда устанавливайте значение "code_execution_call" .
CodeExecutionResultDelta
Описание отсутствует.
Описание отсутствует.
Хэш подписи для проверки данных на стороне бэкэнда.
Описание отсутствует.
Всегда устанавливайте значение "code_execution_result" .
ДокументДельта
Описание отсутствует.
Описание отсутствует.
Возможные значения:
-
application/pdfPDF-документ
-
text/csvформат документа CSV
Описание отсутствует.
Всегда устанавливайте значение "document" .
Описание отсутствует.
FileSearchCallDelta
Хэш подписи для проверки данных на стороне бэкэнда.
Описание отсутствует.
Всегда устанавливайте значение "file_search_call" .
FileSearchResultDelta
массив результатов (FileSearchResult) (обязательно)
Описание отсутствует.
Хэш подписи для проверки данных на стороне бэкэнда.
Описание отсутствует.
Всегда устанавливайте значение "file_search_result" .
FunctionResultDelta
Обязательно. Идентификатор, соответствующий идентификатору из блока вызова функции.
Описание отсутствует.
Описание отсутствует.
Описание отсутствует.
Описание отсутствует.
Всегда устанавливайте значение "function_result" .
GoogleMapsCallDelta
arguments GoogleMapsCallArguments (необязательно)
Аргументы, передаваемые инструменту Google Maps.
Поля
Запросы, подлежащие выполнению.
Хэш подписи для проверки данных на стороне бэкэнда.
Описание отсутствует.
Всегда устанавливайте значение "google_maps_call" .
GoogleMapsResultDelta
массив результатов (GoogleMapsResult) (необязательно)
Результаты поиска в Google Maps.
Поля
массив мест (Места) (необязательно)
Места, которые были найдены.
Поля
Название места.
Идентификатор места в формате `places/{place_id}`.
массив review_snippets (ReviewSnippet) (необязательно)
Фрагменты отзывов, используемые для генерации ответов об особенностях того или иного места в Google Maps.
Поля
Идентификатор фрагмента отзыва.
Заголовок рецензии.
Ссылка, соответствующая отзыву пользователя на Google Maps.
URI-ссылка на это место.
Имя ресурса контекстного токена виджета Google Maps.
Хэш подписи для проверки данных на стороне бэкэнда.
Описание отсутствует.
Всегда устанавливайте значение "google_maps_result" .
GoogleSearchCallDelta
arguments GoogleSearchCallArguments (обязательно)
Описание отсутствует.
Поля
Поисковые запросы в интернете для последующего поиска.
Хэш подписи для проверки данных на стороне бэкэнда.
Описание отсутствует.
Всегда устанавливайте значение "google_search_call" .
GoogleSearchResultDelta
Описание отсутствует.
массив результатов (GoogleSearchResult) (обязательно)
Описание отсутствует.
Поля
Фрагмент веб-контента, который можно встроить в веб-страницу или веб-представление приложения.
Хэш подписи для проверки данных на стороне бэкэнда.
Описание отсутствует.
Всегда устанавливайте значение "google_search_result" .
ImageDelta
Описание отсутствует.
Описание отсутствует.
Возможные значения:
-
image/pngформат изображения PNG
-
image/jpegформат изображения JPEG
-
image/webpформат изображений WebP
-
image/heicформат изображения HEIC
-
image/heifформат изображения HEIF
-
image/gifформат изображения GIF
-
image/bmpформат изображения BMP
-
image/tiffформат изображения TIFF
разрешение MediaResolution (необязательно)
Разрешение средств массовой информации.
Возможные значения
-
lowНизкое разрешение.
-
mediumСреднее разрешение.
-
highВысокое разрешение.
-
ultra_highСверхвысокое разрешение.
Описание отсутствует.
Всегда устанавливайте значение "image" .
Описание отсутствует.
McpServerToolCallDelta
Описание отсутствует.
Описание отсутствует.
Описание отсутствует.
Описание отсутствует.
Всегда устанавливайте значение "mcp_server_tool_call" .
McpServerToolResultDelta
Описание отсутствует.
Описание отсутствует.
Описание отсутствует.
Описание отсутствует.
Всегда устанавливайте значение "mcp_server_tool_result" .
RetrievalCallDelta
Используется инструментами поиска по вершинам, такими как Parallel AI, Exa AI, Vertex AI Search и др. Параметр RetrievalType определяет, какой инструмент будет использоваться.
arguments RetrievalStepArguments (required)
Обязательный параметр. Аргументы, которые будут переданы инструменту получения данных.
Поля
Запросы для получения информации.
Тип инструментов поиска.
Возможные значения:
-
rag_storeТип инструментов поиска.
-
exa_ai_searchТип инструментов поиска.
-
parallel_ai_searchТип инструментов поиска.
Хэш подписи для проверки данных на стороне бэкэнда.
Описание отсутствует.
Всегда устанавливайте значение "retrieval_call" .
RetrievalResultDelta
Используется инструментами поиска вершин, такими как Parallel AI, Exa AI, Vertex AI Search и др. ToolResultDelta.type
Произошла ли ошибка при извлечении данных?
Хэш подписи для проверки данных на стороне бэкэнда.
Описание отсутствует.
Всегда устанавливайте значение "retrieval_result" .
Текстовая аннотацияДельта
массив аннотаций (Аннотация) (необязательно)
Информация об источниках для контента, сгенерированного моделью.
Возможные типы
FileCitation
Аннотация к файлу.
Пользователь предоставил метаданные о полученном контексте.
URI файла.
Конец выделенного сегмента, без учета каких-либо ограничений.
Название файла.
В случае цитирования изображений, пожалуйста, укажите идентификатор медиафайла (Media ID), если таковой имеется.
Номер страницы цитируемого документа, если таковой имеется.
Источник указан для части текста.
Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.
Описание отсутствует.
Всегда устанавливайте значение "file_citation" .
PlaceCitation
Аннотация к географическому местоположению.
Конец выделенного сегмента, без учета каких-либо ограничений.
Название места.
Идентификатор места в формате `places/{place_id}`.
массив review_snippets (ReviewSnippet) (необязательно)
Фрагменты отзывов, используемые для генерации ответов об особенностях того или иного места в Google Maps.
Поля
Идентификатор фрагмента отзыва.
Заголовок рецензии.
Ссылка, соответствующая отзыву пользователя на Google Maps.
Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.
Описание отсутствует.
Всегда устанавливайте значение "place_citation" .
URI-ссылка на это место.
URLCitation
Аннотация URL-адреса.
Конец выделенного сегмента, без учета каких-либо ограничений.
Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.
Заголовок URL-адреса.
Описание отсутствует.
Всегда устанавливайте значение "url_citation" .
URL.
WordInfo
Аннотации автоматического распознавания речи на уровне слов для вывода транскрипции. Содержат текст слова, необязательное время и необязательное указание говорящего.
Конец выделенного сегмента, без учета каких-либо ограничений.
Смещение в конце слова относительно начала аудиозаписи. Присутствует, если timestamp_granularities содержит "word".
Необязательно. Метка говорящего для этого слова (например, "spk_1", "spk_2"). Присутствует, если в TranscriptionConfig установлен параметр diarization_mode.
Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.
Начальное смещение слова относительно начала аудиозаписи. Присутствует, если timestamp_granularities содержит "word".
Записанное слово.
Описание отсутствует.
Всегда устанавливайте значение "word_info" .
Описание отсутствует.
Всегда устанавливайте значение "text_annotation_delta" .
ТекстДельта
Описание отсутствует.
Описание отсутствует.
Всегда устанавливайте значение "text" .
ThoughtSignatureDelta
Подпись должна соответствовать исходному коду бэкэнда и быть включена в процесс генерации.
Описание отсутствует.
Всегда устанавливайте значение "thought_signature" .
ThoughtSummaryDelta
К этой мысли следует добавить новый заключительный пункт.
Описание отсутствует.
Всегда устанавливайте значение "thought_summary" .
UrlContextCallDelta
arguments UrlContextCallArguments (required)
Описание отсутствует.
Поля
URL-адреса для загрузки.
Хэш подписи для проверки данных на стороне бэкэнда.
Описание отсутствует.
Всегда устанавливайте значение "url_context_call" .
UrlContextResultDelta
Описание отсутствует.
массив результатов (UrlContextResult) (обязательно)
Описание отсутствует.
Поля
Статус получения URL-адреса.
Возможные значения:
-
successПолучение URL-адреса прошло успешно.
-
errorПолучение URL-адреса не удалось из-за ошибки.
-
paywallНе удалось получить URL-адрес, поскольку контент находится за платным доступом.
-
unsafeНе удалось получить URL-адрес, поскольку содержимое небезопасно.
URL-адрес, который был получен.
Хэш подписи для проверки данных на стороне бэкэнда.
Описание отсутствует.
Всегда устанавливайте значение "url_context_result" .
ВидеоДельта
Описание отсутствует.
Описание отсутствует.
Возможные значения:
-
video/mp4видеоформат MP4
-
video/mpegвидеоформат MPEG
-
video/mpgвидеоформат MPG
-
video/movвидеоформат MOV
-
video/aviвидеоформат AVI
-
video/x-flvвидеоформат FLV
-
video/webmвидеоформат WebM
-
video/wmvвидеоформат WMV
-
video/3gppвидеоформат 3GPP
-
video/jpeg2000видеоформат JPEG 2000
разрешение MediaResolution (необязательно)
Разрешение средств массовой информации.
Возможные значения
-
lowНизкое разрешение.
-
mediumСреднее разрешение.
-
highВысокое разрешение.
-
ultra_highСверхвысокое разрешение.
Описание отсутствует.
Всегда устанавливайте значение "video" .
Описание отсутствует.
Токен event_id, который будет использоваться для возобновления потока взаимодействия с этого события.
Описание отсутствует.
Всегда устанавливайте значение "step.delta" .
Описание отсутствует.
метаданные StepDeltaMetadata (необязательно)
Описание отсутствует.
Поля
total_usage Использование (необязательно)
Статистика использования токенов в запросах на взаимодействие.
Поля
массив cached_tokens_by_modality (ModalityTokens) (необязательно)
Анализ использования кэшированных токенов по способам доступа.
Поля
модальность ResponseModality (необязательно)
Способ отображения количества токенов.
Возможные значения
-
textУказывает, что модель должна возвращать текст.
-
imageУказывает, что модель должна возвращать изображения.
-
audioУказывает, что модель должна возвращать аудиоданные.
-
videoУказывает, что модель должна возвращать видео.
-
documentУказывает, что модель должна возвращать документы.
Количество токенов для данного режима.
массив grounding_tool_count (GroundingToolCount) (необязательно)
Количество инструментов для заземления.
Поля
Количество заземляющих инструментов подсчитывается.
Тип заземляющего инструмента, связанный с подсчетом.
Возможные значения:
-
google_searchИнтеграция веб-поиска Google и поиска изображений, а также интеграция веб-поиска с корпоративными приложениями.
-
google_mapsОпределить местоположение с помощью Google Maps.
-
retrievalИспользование данных клиента, например, VertexAISearch.
input_tokens_by_modality array (ModalityTokens) (optional)
Анализ использования входных токенов в зависимости от модальности ввода.
Поля
модальность ResponseModality (необязательно)
Способ отображения количества токенов.
Возможные значения
-
textУказывает, что модель должна возвращать текст.
-
imageУказывает, что модель должна возвращать изображения.
-
audioУказывает, что модель должна возвращать аудиоданные.
-
videoУказывает, что модель должна возвращать видео.
-
documentУказывает, что модель должна возвращать документы.
Количество токенов для данного режима.
output_tokens_by_modality array (ModalityTokens) (optional)
Анализ использования выходных токенов по видам модальностей.
Поля
модальность ResponseModality (необязательно)
Способ отображения количества токенов.
Возможные значения
-
textУказывает, что модель должна возвращать текст.
-
imageУказывает, что модель должна возвращать изображения.
-
audioУказывает, что модель должна возвращать аудиоданные.
-
videoУказывает, что модель должна возвращать видео.
-
documentУказывает, что модель должна возвращать документы.
Количество токенов для данного режима.
tool_use_tokens_by_modality array (ModalityTokens) (optional)
Анализ использования токенов инструментов в зависимости от модальности.
Поля
модальность ResponseModality (необязательно)
Способ отображения количества токенов.
Возможные значения
-
textУказывает, что модель должна возвращать текст.
-
imageУказывает, что модель должна возвращать изображения.
-
audioУказывает, что модель должна возвращать аудиоданные.
-
videoУказывает, что модель должна возвращать видео.
-
documentУказывает, что модель должна возвращать документы.
Количество токенов для данного режима.
Количество токенов в кэшированной части запроса (кэшированное содержимое).
Количество токенов в подсказке (контексте).
Общее количество токенов во всех сгенерированных ответах.
Количество токенов мыслей для моделей мышления.
Общее количество токенов для запроса на взаимодействие (запрос + ответы + другие внутренние токены).
Количество токенов, присутствующих в подсказках использования инструмента.
StepStart
Токен event_id, который будет использоваться для возобновления потока взаимодействия с этого события.
Описание отсутствует.
Всегда устанавливайте значение "step.start" .
Описание отсутствует.
Описание отсутствует.
ШагСтоп
Токен event_id, который будет использоваться для возобновления потока взаимодействия с этого события.
Описание отсутствует.
Всегда устанавливайте значение "step.stop" .
Описание отсутствует.
step_usage Использование (необязательно)
Статистика использования модели для этого конкретного шага.
Поля
массив cached_tokens_by_modality (ModalityTokens) (необязательно)
Анализ использования кэшированных токенов по способам доступа.
Поля
модальность ResponseModality (необязательно)
Способ отображения количества токенов.
Возможные значения
-
textУказывает, что модель должна возвращать текст.
-
imageУказывает, что модель должна возвращать изображения.
-
audioУказывает, что модель должна возвращать аудиоданные.
-
videoУказывает, что модель должна возвращать видео.
-
documentУказывает, что модель должна возвращать документы.
Количество токенов для данного режима.
массив grounding_tool_count (GroundingToolCount) (необязательно)
Количество инструментов для заземления.
Поля
Количество заземляющих инструментов подсчитывается.
Тип заземляющего инструмента, связанный с подсчетом.
Возможные значения:
-
google_searchИнтеграция веб-поиска Google и поиска изображений, а также интеграция веб-поиска с корпоративными приложениями.
-
google_mapsОпределить местоположение с помощью Google Maps.
-
retrievalИспользование данных клиента, например, VertexAISearch.
input_tokens_by_modality array (ModalityTokens) (optional)
Анализ использования входных токенов в зависимости от модальности ввода.
Поля
модальность ResponseModality (необязательно)
Способ отображения количества токенов.
Возможные значения
-
textУказывает, что модель должна возвращать текст.
-
imageУказывает, что модель должна возвращать изображения.
-
audioУказывает, что модель должна возвращать аудиоданные.
-
videoУказывает, что модель должна возвращать видео.
-
documentУказывает, что модель должна возвращать документы.
Количество токенов для данного режима.
output_tokens_by_modality array (ModalityTokens) (optional)
Анализ использования выходных токенов по видам модальностей.
Поля
модальность ResponseModality (необязательно)
Способ отображения количества токенов.
Возможные значения
-
textУказывает, что модель должна возвращать текст.
-
imageУказывает, что модель должна возвращать изображения.
-
audioУказывает, что модель должна возвращать аудиоданные.
-
videoУказывает, что модель должна возвращать видео.
-
documentУказывает, что модель должна возвращать документы.
Количество токенов для данного режима.
tool_use_tokens_by_modality array (ModalityTokens) (optional)
Анализ использования токенов инструментов в зависимости от модальности.
Поля
модальность ResponseModality (необязательно)
Способ отображения количества токенов.
Возможные значения
-
textУказывает, что модель должна возвращать текст.
-
imageУказывает, что модель должна возвращать изображения.
-
audioУказывает, что модель должна возвращать аудиоданные.
-
videoУказывает, что модель должна возвращать видео.
-
documentУказывает, что модель должна возвращать документы.
Количество токенов для данного режима.
Количество токенов в кэшированной части запроса (кэшированное содержимое).
Количество токенов в подсказке (контексте).
Общее количество токенов во всех сгенерированных ответах.
Количество токенов мыслей для моделей мышления.
Общее количество токенов для запроса на взаимодействие (запрос + ответы + другие внутренние токены).
Количество токенов, присутствующих в подсказках использования инструмента.
Использование (необязательно )
Совокупная статистика использования модели с начала сессии.
Поля
массив cached_tokens_by_modality (ModalityTokens) (необязательно)
Анализ использования кэшированных токенов по способам доступа.
Поля
модальность ResponseModality (необязательно)
Способ отображения количества токенов.
Возможные значения
-
textУказывает, что модель должна возвращать текст.
-
imageУказывает, что модель должна возвращать изображения.
-
audioУказывает, что модель должна возвращать аудиоданные.
-
videoУказывает, что модель должна возвращать видео.
-
documentУказывает, что модель должна возвращать документы.
Количество токенов для данного режима.
массив grounding_tool_count (GroundingToolCount) (необязательно)
Количество инструментов для заземления.
Поля
Количество заземляющих инструментов подсчитывается.
Тип заземляющего инструмента, связанный с подсчетом.
Возможные значения:
-
google_searchИнтеграция веб-поиска Google и поиска изображений, а также интеграция веб-поиска с корпоративными приложениями.
-
google_mapsОпределить местоположение с помощью Google Maps.
-
retrievalИспользование данных клиента, например, VertexAISearch.
input_tokens_by_modality array (ModalityTokens) (optional)
Анализ использования входных токенов в зависимости от модальности ввода.
Поля
модальность ResponseModality (необязательно)
Способ отображения количества токенов.
Возможные значения
-
textУказывает, что модель должна возвращать текст.
-
imageУказывает, что модель должна возвращать изображения.
-
audioУказывает, что модель должна возвращать аудиоданные.
-
videoУказывает, что модель должна возвращать видео.
-
documentУказывает, что модель должна возвращать документы.
Количество токенов для данного режима.
output_tokens_by_modality array (ModalityTokens) (optional)
Анализ использования выходных токенов по видам модальностей.
Поля
модальность ResponseModality (необязательно)
Способ отображения количества токенов.
Возможные значения
-
textУказывает, что модель должна возвращать текст.
-
imageУказывает, что модель должна возвращать изображения.
-
audioУказывает, что модель должна возвращать аудиоданные.
-
videoУказывает, что модель должна возвращать видео.
-
documentУказывает, что модель должна возвращать документы.
Количество токенов для данного режима.
tool_use_tokens_by_modality array (ModalityTokens) (optional)
Анализ использования токенов инструментов в зависимости от модальности.
Поля
модальность ResponseModality (необязательно)
Способ отображения количества токенов.
Возможные значения
-
textУказывает, что модель должна возвращать текст.
-
imageУказывает, что модель должна возвращать изображения.
-
audioУказывает, что модель должна возвращать аудиоданные.
-
videoУказывает, что модель должна возвращать видео.
-
documentУказывает, что модель должна возвращать документы.
Количество токенов для данного режима.
Количество токенов в кэшированной части запроса (кэшированное содержимое).
Количество токенов в подсказке (контексте).
Общее количество токенов во всех сгенерированных ответах.
Количество токенов мыслей для моделей мышления.
Общее количество токенов для запроса на взаимодействие (запрос + ответы + другие внутренние токены).
Количество токенов, присутствующих в подсказках использования инструмента.
Примеры
Событие ошибки
{ "error": { "code": "not_found", "message": "Failed to get completed interaction: Result not found." }, "event_type": "error" }
Взаимодействие завершено
{ "event_id": "evt_123", "event_type": "interaction.completed", "interaction": { "created": "2025-12-04T15:01:45Z", "id": "v1_ChdXS0l4YWZXTk9xbk0xZThQczhEcmlROBIXV0tJeGFmV05PcW5NMWU4UHM4RHJpUTg", "model": "gemini-3.6-flash", "status": "completed", "updated": "2025-12-04T15:01:45Z" } }
Взаимодействие завершено
{ "event_id": "evt_123", "event_type": "interaction.completed", "interaction": { "created": "2025-12-04T15:01:45Z", "id": "v1_ChdXS0l4YWZXTk9xbk0xZThQczhEcmlROBIXV0tJeGFmV05PcW5NMWU4UHM4RHJpUTg", "model": "gemini-3-flash-preview", "object": "interaction", "status": "completed", "updated": "2025-12-04T15:01:45Z" } }
Взаимодействие создано
{ "event_id": "evt_123", "event_type": "interaction.created", "interaction": { "created": "2025-12-04T15:01:45Z", "id": "v1_ChdXS0l4YWZXTk9xbk0xZThQczhEcmlROBIXV0tJeGFmV05PcW5NMWU4UHM4RHJpUTg", "model": "gemini-3.6-flash", "status": "in_progress", "updated": "2025-12-04T15:01:45Z" } }
Взаимодействие создано
{ "event_id": "evt_123", "event_type": "interaction.created", "interaction": { "id": "v1_ChdXS0l4YWZXTk9xbk0xZThQczhEcmlROBIXV0tJeGFmV05PcW5NMWU4UHM4RHJpUTg", "model": "gemini-3-flash-preview", "object": "interaction", "status": "in_progress" } }
Обновление статуса взаимодействия
{ "event_type": "interaction.status_update", "interaction_id": "v1_ChdTMjQ0YWJ5TUF1TzcxZThQdjRpcnFRcxIXUzI0NGFieU1BdU83MWU4UHY0aXJxUXM", "status": "in_progress" }
Шаг Дельта
{ "delta": { "type": "text", "text": "Hello" }, "event_type": "step.delta", "index": 0 }
Шаг Начало
{ "event_type": "step.start", "index": 0, "step": { "type": "model_output" } }
Шаг Стоп
{ "event_type": "step.stop", "index": 0 }
ResponseFormat
Возможные типы
AudioResponseFormat
Настройка формата вывода звука.
Битрейт в битах в секунду (бит/с). Применимо только для сжатых форматов (MP3, Opus).
Режим вывода аудиосигнала.
Возможные значения:
-
inlineАудиоданные возвращаются непосредственно в ответе.
-
uriАудиоданные возвращаются в виде URI.
MIME-тип аудиовыхода.
Возможные значения:
-
audio/mp3Аудиоформат MP3.
-
audio/ogg_opusАудиоформат OGG Opus.
-
audio/l16Необработанный аудиоформат PCM (L16).
-
audio/wavАудиоформат WAV.
-
audio/alawАудиоформат A-law.
-
audio/mulawАудиоформат Mu-law.
Частота дискретизации в Гц.
Описание отсутствует.
Всегда устанавливайте значение "audio" .
ImageResponseFormat
Настройки формата вывода изображения.
Соотношение сторон выходного изображения.
Возможные значения:
-
1:1Соотношение сторон 1:1.
-
2:3Соотношение сторон 2:3.
-
3:2Соотношение сторон 3:2.
-
3:4Соотношение сторон 3:4.
-
4:3Соотношение сторон 4:3.
-
4:5Соотношение сторон 4:5.
-
5:4Соотношение сторон 5:4.
-
9:16Соотношение сторон 9:16.
-
16:9Соотношение сторон 16:9.
-
21:9Соотношение сторон 21:9.
-
1:8Соотношение сторон 1:8.
-
8:1Соотношение сторон 8:1.
-
1:4Соотношение сторон 1:4.
-
4:1Соотношение сторон 4:1.
Способ доставки изображения на выходе.
Возможные значения:
-
inlineДанные изображения возвращаются непосредственно в ответе.
-
uriДанные изображения возвращаются в виде URI.
Размер выходного изображения.
Возможные значения:
-
512Размер изображения: 512 пикселей.
-
1KРазмер изображения 1K.
-
2KРазмер изображения 2K.
-
4KРазмер изображения 4K.
MIME-тип выходного изображения.
Возможные значения:
-
image/jpegФормат изображения JPEG.
Описание отсутствует.
Всегда устанавливайте значение "image" .
TextResponseFormat
Настройка формата текстового вывода.
MIME-тип выходного текстового файла.
Возможные значения:
-
application/jsonФормат вывода JSON.
-
text/plainФормат вывода в виде простого текста.
JSON-схема, которой должен соответствовать выходной файл. Применимо только в том случае, если mime_type имеет значение application/json.
Описание отсутствует.
Всегда устанавливайте значение "text" .
VideoResponseFormat
Настройки формата видеовыхода.
Соотношение сторон видеовыходного изображения.
Возможные значения:
-
16:9Соотношение сторон 16:9.
-
9:16Соотношение сторон 9:16.
Режим вывода видеосигнала.
Возможные значения:
-
inlineВидеоданные возвращаются непосредственно в ответе.
-
uriВидеоданные возвращаются в виде URI.
Продолжительность видеовывода.
URI облачного хранилища для сохранения видеоданных. Необходимо для Vertex, если режим доставки — URI.
Разрешение видеовыхода. По умолчанию — 720p.
Возможные значения:
-
360pРазрешение 360p.
-
720pРазрешение 720p.
-
1080pРазрешение 1080p.
-
4kРазрешение 4K.
Описание отсутствует.
Всегда устанавливайте значение "video" .
Примеры
Аудиовыход
{ "type": "audio", "sample_rate": 24000 }
Вывод изображения
{ "type": "image", "aspect_ratio": "16:9", "image_size": "1K", "mime_type": "image/jpeg" }
Текстовый вывод (JSON-схема)
{ "type": "text", "mime_type": "application/json", "schema": { "type": "object", "properties": { "ingredients": { "type": "array", "items": { "type": "string" } }, "recipe_name": { "type": "string" } }, "required": [ "ingredients", "recipe_name" ] } }
Видеовыход
{ "type": "video", "aspect_ratio": "16:9", "delivery": "inline" }
Шаг
Один из этапов взаимодействия.
Возможные типы
CodeExecutionCallStep
Шаг вызова выполнения кода.
аргументы CodeExecutionCallStepArguments (обязательно)
Обязательный параметр. Аргументы, передаваемые для выполнения кода.
Поля
Код, который необходимо выполнить.
Язык программирования кода.
Возможные значения:
-
pythonPython >= 3.10, с доступными библиотеками numpy и simpy.
Обязательно. Уникальный идентификатор для данного вызова инструмента.
Хэш подписи для проверки данных на стороне бэкэнда.
Описание отсутствует.
Всегда устанавливайте значение "code_execution_call" .
CodeExecutionResultStep
Шаг, определяющий результат выполнения кода.
Обязательно. Идентификатор, соответствующий идентификатору из блока вызова функции.
Выполнился ли код с ошибкой?
Обязательно. Результат выполнения кода.
Хэш подписи для проверки данных на стороне бэкэнда.
Описание отсутствует.
Всегда устанавливайте значение "code_execution_result" .
FileSearchCallStep
Шаг вызова поиска файла.
Обязательно. Уникальный идентификатор для данного вызова инструмента.
Хэш подписи для проверки данных на стороне бэкэнда.
Описание отсутствует.
Всегда устанавливайте значение "file_search_call" .
FileSearchResultStep
Шаг поиска файлов по результатам.
Обязательно. Идентификатор, соответствующий идентификатору из блока вызова функции.
Хэш подписи для проверки данных на стороне бэкэнда.
Описание отсутствует.
Всегда устанавливайте значение "file_search_result" .
FunctionCallStep
Шаг вызова функции инструмента.
Обязательный параметр. Аргументы, передаваемые функции.
Обязательно. Уникальный идентификатор для данного вызова инструмента.
Обязательно. Название вызываемого инструмента.
Описание отсутствует.
Всегда устанавливайте значение "function_call" .
FunctionResultStep
Результат вызова функции инструмента.
Обязательно. Идентификатор, соответствующий идентификатору из блока вызова функции.
Вызвал ли вызов инструмента ошибку?
Название вызванного инструмента.
Обязательно. Результат вызова инструмента.
Описание отсутствует.
Всегда устанавливайте значение "function_result" .
GoogleКартыCallStep
Шаг вызова Google Maps.
аргументы GoogleMapsCallStepArguments (необязательно)
Аргументы, передаваемые инструменту Google Maps.
Поля
Запросы, подлежащие выполнению.
Обязательно. Уникальный идентификатор для данного вызова инструмента.
Хэш подписи для проверки данных на стороне бэкэнда.
Описание отсутствует.
Всегда устанавливайте значение "google_maps_call" .
GoogleMapsResultStep
Шаг поиска результатов в Google Maps.
Обязательно. Идентификатор, соответствующий идентификатору из блока вызова функции.
массив результатов (GoogleMapsResultItem) (обязательно)
Описание отсутствует.
Поля
массив мест (GoogleMapsResultPlaces) (необязательно)
Описание отсутствует.
Поля
Описание отсутствует.
Описание отсутствует.
массив review_snippets (ReviewSnippet) (необязательно)
Описание отсутствует.
Поля
Идентификатор фрагмента отзыва.
Заголовок рецензии.
Ссылка, соответствующая отзыву пользователя на Google Maps.
Описание отсутствует.
Описание отсутствует.
Хэш подписи для проверки данных на стороне бэкэнда.
Описание отсутствует.
Всегда устанавливайте значение "google_maps_result" .
GoogleSearchCallStep
Шаг вызова поиска Google.
arguments GoogleSearchCallStepArguments (required)
Обязательный параметр. Аргументы, которые будут переданы в поиск Google.
Поля
Поисковые запросы в интернете для последующего поиска.
Обязательно. Уникальный идентификатор для данного вызова инструмента.
Тип включенной привязки поиска.
Возможные значения:
-
web_searchВключение этого поля активирует веб-поиск. Возвращаются только текстовые результаты.
-
image_searchУстановив это поле, можно включить поиск изображений. Возвращаются байты изображения.
-
enterprise_web_searchВключение корпоративного веб-поиска.
Хэш подписи для проверки данных на стороне бэкэнда.
Описание отсутствует.
Всегда устанавливайте значение "google_search_call" .
GoogleSearchResultStep
Шаг поиска в Google.
Обязательно. Идентификатор, соответствующий идентификатору из блока вызова функции.
Вызвал ли поиск в Google ошибку.
массив результатов (GoogleSearchResultItem) (обязательно)
Обязательно. Результаты поиска Google.
Поля
Фрагмент веб-контента, который можно встроить в веб-страницу или веб-представление приложения.
Хэш подписи для проверки данных на стороне бэкэнда.
Описание отсутствует.
Всегда устанавливайте значение "google_search_result" .
McpServerToolCallStep
Шаг вызова инструмента MCPServer.
Обязательный параметр. JSON-объект с аргументами для функции.
Обязательно. Уникальный идентификатор для данного вызова инструмента.
Обязательно. Название вызванного инструмента.
Обязательно. Имя используемого MCP-сервера.
Описание отсутствует.
Всегда устанавливайте значение "mcp_server_tool_call" .
McpServerToolResultStep
Шаг получения результатов работы инструмента MCPServer.
Обязательно. Идентификатор, соответствующий идентификатору из блока вызова функции.
Название инструмента, который вызывается для данного конкретного вызова инструмента.
Обязательный параметр. Результат вызова сервера MCP. Может представлять собой простой текст или расширенное содержимое.
Название используемого MCP-сервера.
Описание отсутствует.
Всегда устанавливайте значение "mcp_server_tool_result" .
ModelOutputStep
Результаты, сгенерированные моделью.
Описание отсутствует.
Описание отсутствует.
Всегда устанавливайте значение "model_output" .
ThoughtStep
Шаг для размышления.
Хэш подписи для проверки данных на стороне бэкэнда.
массив сводных данных (ThoughtSummaryContent) (необязательно)
Краткое изложение мысли.
Возможные типы
ImageContent
Блок с графическим содержимым.
Содержание изображения.
MIME-тип изображения.
Возможные значения:
-
image/pngформат изображения PNG
-
image/jpegформат изображения JPEG
-
image/webpформат изображений WebP
-
image/heicформат изображения HEIC
-
image/heifформат изображения HEIF
-
image/gifформат изображения GIF
-
image/bmpформат изображения BMP
-
image/tiffформат изображения TIFF
разрешение MediaResolution (необязательно)
Разрешение средств массовой информации.
Возможные значения
-
lowНизкое разрешение.
-
mediumСреднее разрешение.
-
highВысокое разрешение.
-
ultra_highСверхвысокое разрешение.
Описание отсутствует.
Всегда устанавливайте значение "image" .
URI изображения.
Текстовое содержимое
Блок текстового содержимого.
массив аннотаций (Аннотация) (необязательно)
Информация об источниках для контента, сгенерированного моделью.
Возможные типы
FileCitation
Аннотация к файлу.
Пользователь предоставил метаданные о полученном контексте.
URI файла.
Конец выделенного сегмента, без учета каких-либо ограничений.
Название файла.
В случае цитирования изображений, пожалуйста, укажите идентификатор медиафайла (Media ID), если таковой имеется.
Номер страницы цитируемого документа, если таковой имеется.
Источник указан для части текста.
Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.
Описание отсутствует.
Всегда устанавливайте значение "file_citation" .
PlaceCitation
Аннотация к географическому местоположению.
Конец выделенного сегмента, без учета каких-либо ограничений.
Название места.
Идентификатор места в формате `places/{place_id}`.
массив review_snippets (ReviewSnippet) (необязательно)
Фрагменты отзывов, используемые для генерации ответов об особенностях того или иного места в Google Maps.
Поля
Идентификатор фрагмента отзыва.
Заголовок рецензии.
Ссылка, соответствующая отзыву пользователя на Google Maps.
Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.
Описание отсутствует.
Всегда устанавливайте значение "place_citation" .
URI-ссылка на это место.
URLCitation
Аннотация URL-адреса.
Конец выделенного сегмента, без учета каких-либо ограничений.
Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.
Заголовок URL-адреса.
Описание отсутствует.
Всегда устанавливайте значение "url_citation" .
URL.
WordInfo
Аннотации автоматического распознавания речи на уровне слов для вывода транскрипции. Содержат текст слова, необязательное время и необязательное указание говорящего.
Конец выделенного сегмента, без учета каких-либо ограничений.
Смещение в конце слова относительно начала аудиозаписи. Присутствует, если timestamp_granularities содержит "word".
Необязательно. Метка говорящего для этого слова (например, "spk_1", "spk_2"). Присутствует, если в TranscriptionConfig установлен параметр diarization_mode.
Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.
Начальное смещение слова относительно начала аудиозаписи. Присутствует, если timestamp_granularities содержит "word".
Записанное слово.
Описание отсутствует.
Всегда устанавливайте значение "word_info" .
Обязательно. Текстовое содержимое.
Описание отсутствует.
Всегда устанавливайте значение "text" .
Описание отсутствует.
Всегда устанавливать значение "thought" .
UrlContextCallStep
Шаг вызова контекста URL.
arguments UrlContextCallArguments (required)
Обязательный параметр. Аргументы, передаваемые в контекст URL.
Поля
URL-адреса для загрузки.
Обязательно. Уникальный идентификатор для данного вызова инструмента.
Хэш подписи для проверки данных на стороне бэкэнда.
Описание отсутствует.
Всегда устанавливайте значение "url_context_call" .
UrlContextResultStep
Шаг получения результата контекста URL.
Обязательно. Идентификатор, соответствующий идентификатору из блока вызова функции.
Указывалось, привела ли контекстная информация URL к ошибке.
массив результатов (UrlContextResult) (обязательно)
Обязательно. Результаты анализа контекста URL.
Поля
Статус получения URL-адреса.
Возможные значения:
-
successПолучение URL-адреса прошло успешно.
-
errorUrl retrieval is failed due to error.
-
paywallUrl retrieval is failed because the content is behind paywall.
-
unsafeUrl retrieval is failed because the content is unsafe.
The URL that was fetched.
Хэш подписи для проверки данных на стороне бэкэнда.
Описание отсутствует.
Always set to "url_context_result" .
UserInputStep
Input provided by the user.
Описание отсутствует.
Описание отсутствует.
Always set to "user_input" .
Примеры
CodeExecutionCallStep
{ "type": "code_execution_call", "arguments": { "code": "print(sum(range(1, 11)))" }, "id": "code_call_71021" }
CodeExecutionResultStep
{ "type": "code_execution_result", "call_id": "code_call_71021", "result": "55\n" }
FileSearchCallStep
{ "type": "file_search_call", "id": "file_call_88192" }
FileSearchResultStep
{ "type": "file_search_result", "call_id": "file_call_88192" }
FunctionCallStep
{ "name": "get_weather", "type": "function_call", "arguments": { "location": "Boston, MA" }, "id": "call_98231" }
FunctionResultStep
{ "name": "get_weather", "type": "function_result", "call_id": "call_98231", "result": [ { "type": "text", "text": "{\"weather\":\"sunny\"}" } ] }
GoogleMapsCallStep
{ "type": "google_maps_call", "arguments": { "latitude": 37.7749, "longitude": -122.4194 }, "id": "maps_call_39201" }
GoogleMapsResultStep
{ "type": "google_maps_result", "call_id": "maps_call_39201", "result": [ { "name": "Golden Gate Park", "place_id": "ChIJIQBpAG2ahYAR9R7bNdTLg8M", "rating": 4.8 } ] }
GoogleSearchCallStep
{ "type": "google_search_call", "arguments": { "query": "Who won the men's 100m in Paris 2024?" }, "id": "search_call_19201" }
GoogleSearchResultStep
{ "type": "google_search_result", "call_id": "search_call_19201", "result": [ { "title": "Paris 2024 Olympics: Noah Lyles wins men's 100m gold", "url": "https://olympics.com/en/news/paris-2024-noah-lyles-wins-mens-100m-gold", "snippet": "American Noah Lyles won the Olympic men's 100m gold medal in a photo finish." } ] }
McpServerToolCallStep
{ "name": "calculate_tax", "type": "mcp_server_tool_call", "arguments": { "income": 120000, "state": "CA" }, "id": "mcp_call_29012", "server_name": "financial_mcp_server" }
McpServerToolResultStep
{ "type": "mcp_server_tool_result", "call_id": "mcp_call_29012", "result": { "tax_due": 32400 } }
ModelOutputStep
{ "type": "model_output", "content": [ { "type": "text", "text": "The capital of France is Paris." } ] }
ThoughtStep
{ "type": "thought", "signature": "thought_sig_abcd1234", "summary": [ { "type": "text", "text": "The model is searching Google for the capital of France." } ] }
UrlContextCallStep
{ "type": "url_context_call", "arguments": { "urls": [ "https://www.example.com" ] }, "id": "url_call_10219" }
UrlContextResultStep
{ "type": "url_context_result", "call_id": "url_call_10219", "result": [ { "title": "Example Domain", "url": "https://www.example.com", "snippet": "This domain is for use in illustrative examples in documents." } ] }
UserInputStep
{ "type": "user_input", "content": [ { "type": "text", "text": "What is the capital of France?" } ] }
EnvironmentConfig
Configuration for a custom environment.
Поля
Optional. The environment ID for the interaction. If specified, the request will update the existing environment instead of creating a new one.
Настройка сети для данной среды.
Возможные значения:
-
disabledОтключает всю сеть.
массив источников (Источник) (необязательно)
Описание отсутствует.
Поля
Встроенное содержимое, если `type` имеет значение `INLINE`.
Дополнительная кодировка для встроенного контента (например, `base64`).
Источник среды. Для Cloud Storage это путь к Cloud Storage. Для GitHub это путь к GitHub.
Где должен отображаться исходный код в окружающей среде.
Описание отсутствует.
Возможные значения:
-
gcsСегмент облачного хранилища.
-
inlineВстроенный контент.
-
repositoryУниверсальный репозиторий. Префикс протокола в URL-адресе источника идентифицирует поставщика (например, github://, gcs://).
-
skill_registryРесурс навыков из службы регистрации навыков. Навык: projects/{project}/locations/{location}/skills/{skill} Ревизия навыка: projects/{project}/locations/{location}/skills/{skill}/revisions/{revision} Поддерживается подключение всех навыков в рамках проекта: projects/{project}/locations/{location}/skills.
Описание отсутствует.
Always set to "remote" .
Примеры
Inline Sources
{ "type": "remote", "sources": [ { "type": "inline", "content": "You are a data analyst. Always include visualizations and export results as PDF.", "target": ".agents/AGENTS.md" }, { "type": "inline", "content": "---\nname: slide-maker\ndescription: Create HTML slide decks\n---\n# Slide Maker\n\nWhen asked to create a presentation:\n1. Analyze the input data\n2. Create an HTML slide deck with reveal.js\n3. Save to /workspace/output/slides.html", "target": ".agents/skills/slide-maker/SKILL.md" } ] }
External Sources
{ "type": "remote", "sources": [ { "type": "repository", "source": "https://github.com/my-org/my-skills.git", "target": ".agents/skills" }, { "type": "gcs", "source": "gs://my-bucket/my-folder", "target": "/workspace/data" } ] }
Network Allowlist
{ "type": "remote", "network": { "allowlist": [ { "domain": "pypi.org" }, { "domain": "*.github.com" } ] } }
Учетные данные прокси-сервера
{ "type": "remote", "network": { "allowlist": [ { "domain": "api.github.com", "transform": { "Authorization": "Bearer YOUR_GITHUB_TOKEN" } } ] } }
EnvironmentNetworkEgressAllowlist
Конфигурация исходящей сети для песочницы. Принимает объект с массивом 'allowlist' для ограничения трафика или строку 'disabled' для отключения всего сетевого доступа. Полностью опустите параметр, чтобы разрешить весь исходящий трафик без внедрения заголовка.
Возможные типы
объект
Настройки исходящей сети для песочницы. При указании ограничивает доступ песочницы к внешним доменам. Полное исключение позволяет разрешить весь исходящий трафик без внедрения заголовков.
Массив разрешенных записей (AllowlistEntry) (необязательно)
Список разрешенных исходящих доменов. Разрешены только запросы к перечисленным доменам. Используйте [{'domain': '*'}], чтобы разрешить все домены, но при этом добавить заголовки только к определенным из них.
Поля
Домен, разрешающий исходящие запросы. Поддерживаются подстановочные знаки (например, '*.googleapis.com'). Используйте '*' для разрешения всех доменов.
Заголовки для добавления во все исходящие запросы, соответствующие этому домену. Принимает один словарь или список словарей. Исходящий прокси добавляет их автоматически.
нить
Отключает всю сеть.
Возможные значения
-
disabledОтключает всю сеть.
Примеры
Пример
{ "allowlist": [ { "domain": "github.com", "transform": [ { "Authorization": "Bearer your-token" } ] }, { "domain": "*.googleapis.com" } ] }
ToolChoiceConfig
The tool choice configuration containing allowed tools.
Поля
allowed_tools AllowedTools (optional)
The allowed tools.
Поля
The mode of the tool choice.
Возможные значения:
-
autoАвтоматический выбор инструмента.
-
anyЛюбой выбор инструмента.
-
noneВыбор инструментов отсутствует.
-
validatedВыбор инструмента подтвержден.
The names of the allowed tools.
Примеры
Пример
{ "allowed_tools": { "mode": "any", "tools": [ "my_tool" ] } }
ImageContent
Блок с графическим содержимым.
Поля
Содержание изображения.
MIME-тип изображения.
Возможные значения:
-
image/pngформат изображения PNG
-
image/jpegформат изображения JPEG
-
image/webpформат изображений WebP
-
image/heicформат изображения HEIC
-
image/heifформат изображения HEIF
-
image/gifформат изображения GIF
-
image/bmpформат изображения BMP
-
image/tiffформат изображения TIFF
разрешение MediaResolution (необязательно)
Разрешение средств массовой информации.
Возможные значения
-
lowНизкое разрешение.
-
mediumСреднее разрешение.
-
highВысокое разрешение.
-
ultra_highСверхвысокое разрешение.
No description provided.
Всегда устанавливайте значение "image" .
URI изображения.
Примеры
Изображение
{ "type": "image", "data": "BASE64_ENCODED_IMAGE", "mime_type": "image/png" }
Текстовое содержимое
Блок текстового содержимого.
Поля
массив аннотаций (Аннотация) (необязательно)
Информация об источниках для контента, сгенерированного моделью.
Возможные типы
FileCitation
Аннотация к файлу.
Пользователь предоставил метаданные о полученном контексте.
URI файла.
Конец выделенного сегмента, без учета каких-либо ограничений.
Название файла.
В случае цитирования изображений, пожалуйста, укажите идентификатор медиафайла (Media ID), если таковой имеется.
Номер страницы цитируемого документа, если таковой имеется.
Источник указан для части текста.
Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.
No description provided.
Всегда устанавливайте значение "file_citation" .
PlaceCitation
Аннотация к географическому местоположению.
Конец выделенного сегмента, без учета каких-либо ограничений.
Название места.
Идентификатор места в формате `places/{place_id}`.
массив review_snippets (ReviewSnippet) (необязательно)
Фрагменты отзывов, используемые для генерации ответов об особенностях того или иного места в Google Maps.
Поля
Идентификатор фрагмента отзыва.
Заголовок рецензии.
Ссылка, соответствующая отзыву пользователя на Google Maps.
Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.
No description provided.
Всегда устанавливайте значение "place_citation" .
URI-ссылка на это место.
URLCitation
Аннотация URL-адреса.
Конец выделенного сегмента, без учета каких-либо ограничений.
Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.
Заголовок URL-адреса.
Описание отсутствует.
Всегда устанавливайте значение "url_citation" .
URL.
WordInfo
Word-level ASR annotation for transcription output. Carries the word text, optional timing, and optional speaker attribution.
Конец выделенного сегмента, без учета каких-либо ограничений.
End offset in time of the word relative to the start of the audio. Present when timestamp_granularities contains "word".
Optional. Speaker label for this word (eg "spk_1", "spk_2"). Present when diarization_mode is set in TranscriptionConfig.
Начало сегмента ответа, который относится к данному источнику. Индекс указывает начало сегмента, измеряемое в байтах.
Start offset in time of the word relative to the start of the audio. Present when timestamp_granularities contains "word".
The transcribed word.
No description provided.
Always set to "word_info" .
Обязательно. Текстовое содержимое.
No description provided.
Всегда устанавливайте значение "text" .
Примеры
Текст
{ "type": "text", "text": "Hello, how are you?" }