Gemini Interactions API

API-ja Gemini Interactions u lejon zhvilluesve të ndërtojnë aplikacione gjeneruese të IA-së duke përdorur modelet Gemini. Gemini është modeli ynë më i aftë, i ndërtuar nga themeli për të qenë multimodal. Mund të përgjithësojë dhe të kuptojë, të funksionojë dhe të kombinojë pa probleme lloje të ndryshme informacioni, duke përfshirë gjuhën, imazhet, audion, videon dhe kodin. Ju mund ta përdorni API-në Gemini për raste përdorimi si arsyetimi nëpër tekst dhe imazhe, gjenerimi i përmbajtjes, agjentët e dialogut, sistemet e përmbledhjes dhe klasifikimit dhe më shumë.

Versioni i API-t: v1beta v1

Krijimi i një ndërveprimi

postoni https://generativelanguage.googleapis.com/v1beta/interactions

Krijon një ndërveprim të ri.

Parametrat e Shtegut / Pyetjes

vargu api_version (i detyrueshëm)

Cilin version të API-t të përdoret.

Trupi i kërkesës

Trupi i kërkesës përmban të dhëna me strukturën e mëposhtme:

modeli ModelOpsioni (opsional)

Emri i `Modelit` të përdorur për gjenerimin e ndërveprimit.
E detyrueshme nëse `agjent` nuk është dhënë.

Modeli që do të plotësojë kërkesën tuaj.\n\nShihni [models](https://ai.google.dev/gemini-api/docs/models) për detaje shtesë.

Vlerat e mundshme

  • gemini-2.5-flash

    Modeli ynë i parë hibrid i arsyetimit i cili mbështet një dritare konteksti prej 1M token dhe ka buxhete të të menduarit.

  • gemini-2.5-pro

    Modeli ynë shumëfunksional i teknologjisë së fundit, i cili shkëlqen në kodim dhe detyra komplekse arsyetimi.

  • gemma-4-26b-a4b-it

    Gemma 4 26B A4B IT

  • gemma-4-31b-it

    Gemma 4 31B IT

  • gemini-flash-latest

    Versioni më i fundit i Gemini Flash

  • gemini-flash-lite-latest

    Versioni më i fundit i Gemini Flash-Lite

  • gemini-pro-latest

    Versioni më i fundit i Gemini Pro

  • gemini-2.5-flash-lite

    Modeli ynë më i vogël dhe më ekonomik, i ndërtuar për përdorim në shkallë të gjerë.

  • gemini-2.5-flash-image

    Modeli ynë i gjenerimit të imazheve vendase, i optimizuar për shpejtësi, fleksibilitet dhe kuptim kontekstual. Futja dhe dalja e tekstit ka të njëjtin çmim si në Flash 2.5.

  • gemini-3-flash-preview

    Modeli ynë më inteligjent i ndërtuar për shpejtësi, duke kombinuar inteligjencën kufitare me kërkimin dhe tokëzimin superior.

  • gemini-3.1-pro-preview

    Modeli ynë më i fundit i arsyetimit SOTA me thellësi dhe nuancë të paparë, si dhe aftësi të fuqishme të të kuptuarit dhe kodimit multimodal.

  • gemini-3.1-pro-preview-customtools

    Gemini 3.1 Pro Preview i optimizuar për përdorim të mjeteve të personalizuara

  • gemini-3.1-flash-lite

    Modeli ynë më me kosto efektive, i optimizuar për detyra agjentike me vëllim të lartë, përkthim dhe përpunim të thjeshtë të të dhënave.

  • gemini-3-pro-image

    Imazh i Gemini 3 Pro

  • nano-banana-pro-preview

    Pamje paraprake e imazhit të Gemini 3 Pro

  • gemini-3.1-flash-image

    Imazh Blic i Gemini 3.1.

  • gemini-3.5-flash

    Modeli ynë më inteligjent për performancë të qëndrueshme në kufijtë e detyrave agjentike dhe të kodimit.

  • gemini-3.6-flash

    Modeli ynë më inteligjent për performancë të qëndrueshme në kufijtë e detyrave agjentike dhe të kodimit.

  • gemini-3.7-flash

    Modeli ynë më inteligjent për performancë të qëndrueshme në kufijtë e detyrave agjentike dhe të kodimit.

  • lyria-3-clip-preview

    Modeli ynë i gjenerimit të muzikës me latencë të ulët është i optimizuar për klipe audio me besnikëri të lartë dhe kontroll të saktë ritmik.

  • lyria-3-pro-preview

    Modeli ynë i avancuar, gjenerues i këngëve të plota, me kuptim të thellë kompozicioni, i optimizuar për kontroll të saktë strukturor dhe tranzicione komplekse nëpër stile të ndryshme muzikore.

  • gemini-robotics-er-1.6-preview

    Pamje paraprake e Gemini Robotics-ER 1.6

  • gemini-robotics-er-2-preview

    Parapamje e Rezonancës së Mishëruar të Gemini Robotics 2

agjenti i agjentit (opsionale)

Emri i `Agjentit` të përdorur për gjenerimin e ndërveprimit.
E detyrueshme nëse `model` nuk është dhënë.

Agjenti me të cilin duhet të ndërveprohet.

Vlerat e mundshme

  • deep-research-pro-preview-12-2025

    Agjent i Kërkimeve të Thellë Gemini

  • deep-research-preview-04-2026

    Agjent i Kërkimeve të Thellë Gemini

  • deep-research-max-preview-04-2026

    Agjenti Maksimal i Kërkimeve të Thellë Gemini

  • antigravity-preview-05-2026

    Përdorni agjentin e menaxhuar Antigravity për të kryer detyra me shumë hapa që kërkojnë arsyetim, operacione me skedarë dhe përdorim mjetesh.

fut Përmbajtje ose varg ( Përmbajtje ) ose varg ( Hapë ) ose varg (i detyrueshëm)

Të dhënat hyrëse për bashkëveprimin (të përbashkëta si për Modelin ashtu edhe për Agjentin).

vargu i udhëzimit_të_sistem-it (opsional)

Udhëzime sistemi për bashkëveprimin.

varg mjetesh ( Mjet ) (opsional)

Një listë e deklarimeve të mjeteve që modeli mund të thërrasë gjatë ndërveprimit.

response_format ResponseFormat ose varg ( ResponseFormat ) (opsionale)

Zbaton që përgjigjja e gjeneruar të jetë një objekt JSON që përputhet me skemën JSON të specifikuar në këtë fushë.

vlera booleane e rrjedhës (opsionale)

Vetëm të dhëna. Nëse bashkëveprimi do të transmetohet.

ruaj vlerën booleane (opsionale)

Vetëm hyrje. Nëse përgjigja dhe kërkesa do të ruhen për rikthim të mëvonshëm.

boolean i sfondit (opsional)

Vetëm të dhëna. Nëse do të ekzekutohet bashkëveprimi i modelit në sfond.

generation_config GenerationConfig (opsionale)

Konfigurimi i modelit
Parametrat e konfigurimit për bashkëveprimin e modelit.
Alternativë ndaj `agent_config`. I zbatueshëm vetëm kur është vendosur `model`.

Parametrat e konfigurimit për ndërveprimet e modelit.

Fushat

numër i plotë max_output_tokens (opsional)

Numri maksimal i tokenëve që duhen përfshirë në përgjigje.

numër i plotë fillestar (opsional)

Farë e përdorur në dekodim për riprodhueshmëri.

speech_config Konfigurimi i Speaker-it ose vargu (SpeechConfig) (opsional)

Opsionale. Konfigurim për të folur dhe shumë altoparlantë.

Konfigurim për shumë folës dhe gjenerim të të folurit.

Fushat

grupi i altoparlantëve (SpeechConfig) (opsional)

Konfigurimet individuale të altoparlantëve.

Konfigurimi për ndërveprimin me të folur.

Fushat

vargu i gjuhës (opsional)

Gjuha e të folurit.

varg altoparlanti (opsional)

Emri i folësit, duhet të përputhet me emrin e folësit të dhënë në kërkesë.

varg zanor (opsional)

Zëri i folësit.

vargu stop_sequences (varg) (opsional)

Një listë e sekuencave të karaktereve që do të ndalojnë bashkëveprimin e daljes.

niveli_i_thinkingLevel_i_Thinking (opsionale )

Niveli i tokenëve të mendimit që modeli duhet të gjenerojë.

Vlerat e mundshme

  • minimal

    Pak ose aspak mendim.

  • low

    Nivel i ulët i të menduarit.

  • medium

    Nivel i mesëm i të menduarit.

  • high

    Nivel i lartë i të menduarit.

thinking_summaries Përmbledhje të të Menduarit (opsionale)

Nëse do të përfshihen përmbledhje të mendimeve në përgjigje.

Vlerat e mundshme

  • auto

    Përmbledhje të të menduarit automatik.

  • none

    Pa përmbledhje të të menduarit.

tool_choice ToolChoiceConfig ose enum (string) (opsionale)

Konfigurimi i zgjedhjes së mjetit.

Vlerat e mundshme:

  • auto

    Zgjedhja e mjetit automatik.

  • any

    Çdo zgjedhje mjeti.

  • none

    Pa zgjedhje mjetesh.

  • validated

    Zgjedhje e mjetit të validuar.

transkription_config TranskriptimiKonfig (opsional)

Opsionale. Konfigurimi për njohjen e të folurit (transkriptimin). Nëse është i pranishëm, ASR është i aktivizuar.

Konfigurimi për njohjen e të folurit (transkriptimin).

Fushat

vargu custom_vocabulary (string) (opsional)

Opsionale. Një listë me frazat e fjalorit të personalizuara për të anuar modelin e njohjes së të folurit drejt njohjes së termave specifikë.

vargu i kodeve_gjuhësore (string) (opsional)

Opsionale. Kodet gjuhësore BCP-47 ofrojnë sugjerime rreth gjuhëve të pranishme në audio. Nëse lihen jashtë ose janë bosh, parazgjedhja kalon në zbulimin automatik të gjuhës.

mod TranskriptimiModa ose enum (string) (opsionale)

Opsionet e mënyrës së transkriptimit të dalluar ose enumrimi.

Konfigurimi për modalitetin e transkriptimit.

Llojet e mundshme

Modaliteti i Transkriptimit të Mençur

Konfigurimi për modalitetin e transkriptimit inteligjent.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Gjithmonë i vendosur në "smart" .

Modaliteti i Transkriptimit Verbatim

Konfigurimi për modalitetin e transkriptimit fjalë për fjalë.

vargu i modalitetit_diarization (opsional)

Opsionale. Konfiguron diarizimin e folësit. Vlerat e mbështetura: "folës".

vargu timestamp_granularities (string) (opsional)

Opsionale. Granulariteti i vulave kohore që duhen përfshirë në rezultatin e transkriptimit. Vlerat e mbështetura: "fjalë". Nëse është bosh, nuk gjenerohen vula kohore.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Gjithmonë i vendosur në "verbatim" .

video_config VideoConfig (opsionale)

Konfigurimi për gjenerimin e videos.

Opsionet e konfigurimit për gjenerimin e videos.

Fushat

numërimi i detyrës (varg) (opsional)

Modaliteti opsional i detyrës për gjenerimin e videos. Nëse nuk specifikohet, modeli përcakton automatikisht modalitetin e duhur bazuar në kërkesën e dhënë me tekst dhe median hyrëse.

Vlerat e mundshme:

  • text_to_video

    Gjeneron video vetëm nga një mesazh teksti.

  • image_to_video

    Gjeneron video nga një ose dy imazhe burimore. Imazhi i parë përcakton kuadrin fillestar dhe imazhi i dytë opsional përcakton kuadrin përfundimtar.

  • reference_to_video

    Gjeneron video duke përdorur media referuese (si imazhe, audio ose video).

  • edit

    Modifikon një video hyrëse ekzistuese.

  • extend

    Zgjeron një video hyrëse ekzistuese.

objekti agent_config (opsional)

Konfigurimi i Agjentit
Konfigurimi për agjentin.
Alternativë ndaj `generation_config`. I zbatueshëm vetëm kur është vendosur `agent`.

Llojet e mundshme

Diskriminuesi polimorfik: type

Konfigurimi i Agjentit Antigravity

Konfigurimi për kohën e ekzekutimit të agjentit Antigravity. Ofron kontroll nga ana e serverit mbi mjedisin e ekzekutimit të agjentit dhe konfigurimin e mjetit.

vargu max_total_tokens (opsional)

Totali maksimal i tokenëve për ekzekutimin e agjentit.

varg modeli (opsional)

Modeli që do të përdoret për arsyetimin e agjentit.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Gjithmonë i vendosur në "antigravity" .

CodeMenderAgentConfig

Konfigurimi për agjentin CodeMender.

find_request GjejKërkesë (opsionale)

Parametrat për gjetjen e dobësive.

Parametrat e kërkesës specifike për seancat FIND, të përdorura për të zbuluar dobësitë në një bazë kodi.

Fushat

varg përshkrimi (opsional)

Kontekst shtesë ose udhëzime të personalizuara të ofruara nga përdoruesi për të udhëhequr analizën e cenueshmërisë.

vargu finding_id (opsional)

Identifikuesi i një gjetjeje specifike që duhet verifikuar. Kjo përdoret kryesisht në modalitetin VERIFY për të përqendruar validimin e agjentit bazuar në ekzekutim në një dobësi të vetme.

enumimi i modalitetit (vargu) (opsional)

Modaliteti i seancës së gjetjes.

Vlerat e mundshme:

  • scan

    Skanim i shpejtë duke përdorur vetëm klasifikuesin fillestar.

  • verify

    Kryen klasifikimin e ndjekur nga një hetim i detajuar.

vargu source_files (FileContent) (opsionale)

Një listë e skedarëve burimorë për t'u ofruar si kontekst për skanimin.

Përmbajtja e një skedari të vetëm në bazën e kodit.

Fushat

varg përmbajtjeje (opsionale)

Përmbajtja e tekstit të koduar UTF-8 e skedarit.

vargu i shtegut (opsional)

Shtegu relativ i skedarit nga rrënja e projektit.

fix_request FixRequest (opsionale)

Parametrat për rregullimin e dobësive.

Parametrat e kërkesës specifike për seancat FIX, të përdorura për gjenerimin dhe validimin e patch-eve të sigurisë.

Fushat

varg përshkrimi (opsional)

Kontekst shtesë ose udhëzime të personalizuara të ofruara nga përdoruesi për të udhëhequr procesin e gjenerimit të patch-it.

vargu finding_id (opsional)

Identifikuesi i gjetjes specifike të sigurisë që duhet të ndreqet. Ky ID lidhet me një dobësi të zbuluar më parë.

vargu source_files (FileContent) (opsionale)

Një listë e skedarëve burimorë që ofrojnë kontekst për korrigjimin. Këto skedarë janë zakonisht ato që përmbajnë dobësinë e identifikuar.

Përmbajtja e një skedari të vetëm në bazën e kodit.

Fushat

varg përmbajtjeje (opsionale)

Përmbajtja e tekstit të koduar UTF-8 e skedarit.

vargu i shtegut (opsional)

Shtegu relativ i skedarit nga rrënja e projektit.

varg modeli (opsional)

Emri i modelit që do të përdoret për agjentin CodeMender. Një seancë CodeMender do të përdorë vetëm një model.

session_config SessionConfig (opsionale)

Konfigurime opsionale specifike për sesionin për të anashkaluar sjelljen e parazgjedhur të agjentit.

Konfigurimi i seancave të CodeMender.

Fushat

numër i plotë max_rounds (opsional)

Numri maksimal i raundeve të ndërveprimit që agjenti lejohet të kryejë përpara se të arrijë një skadencë kohore.

vargu i session_id (opsional)

Parametër për grupimin e ndërveprimeve të shumëfishta që i përkasin të njëjtit sesion CodeMender.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Gjithmonë i vendosur në "code-mender" .

DeepResearchAgentConfig

Konfigurimi për agjentin e Kërkimit të Thellë.

boolean i planifikimit_bashkëpunues (opsional)

Aktivizon planifikimin njerëzor në ciklin e punës për agjentin e Kërkimit të Thellë. Nëse vendoset në "e vërtetë", agjenti i Kërkimit të Thellë do të ofrojë një plan kërkimi në përgjigjen e tij. Agjenti do të vazhdojë vetëm nëse përdoruesi e konfirmon planin në raundin tjetër.

enable_bigquery_tool boolean (opsional)

Aktivizon mjetin bigquery për agjentin e Kërkimit të Thellë.

thinking_summaries Përmbledhje të të Menduarit (opsionale)

Nëse do të përfshihen përmbledhje të mendimeve në përgjigje.

Vlerat e mundshme

  • auto

    Përmbledhje të të menduarit automatik.

  • none

    Pa përmbledhje të të menduarit.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Gjithmonë i vendosur për "deep-research" .

numërimi i vizualizimit (varg) (opsional)

Nëse do të përfshihen vizualizime në përgjigje.

Vlerat e mundshme:

  • off

    Mos përfshini vizualizime.

  • auto

    Përfshi automatikisht vizualizimet.

Konfigurimi i Agjentit Dinamike

Konfigurimi për agjentë dinamikë.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Gjithmonë i vendosur në "dynamic" .

mjedisi EnvironmentConfig ose vargu (opsional)

Konfigurimi i mjedisit për bashkëveprimin. Mund të jetë një objekt që specifikon burimet e largëta të mjedisit ose një varg që i referohet një ID-je ekzistuese të mjedisit.

objekt etiketash (opsional)

Etiketat me meta të dhëna të përcaktuara nga përdoruesi për kërkesën.

vargu previous_interaction_id (opsional)

ID-ja e ndërveprimit të mëparshëm, nëse ka.

vargu i cilësimeve_të_safety-t (SafetySetting) (opsionale)

Cilësimet e sigurisë për bashkëveprimin.

Një cilësim sigurie që ndikon në sjelljen e bllokimit të sigurisë. Një Cilësim Sigurie përbëhet nga një kategori dëmi dhe një prag për atë kategori.

Fushat

enum i metodës (string) (opsionale)

Opsionale. Metoda për bllokimin e përmbajtjes. Nëse nuk specifikohet, sjellja e parazgjedhur është përdorimi i rezultatit të probabilitetit.

Vlerat e mundshme:

  • severity

    Metoda e bllokut të dëmit përdor si rezultatet e probabilitetit ashtu edhe të ashpërsisë.

  • probability

    Metoda e bllokut të dëmit përdor rezultatin e probabilitetit.

numërimi i pragut (vargu) (opsional)

E detyrueshme. Pragu për bllokimin e përmbajtjes. Nëse probabiliteti i dëmit tejkalon këtë prag, përmbajtja do të bllokohet.

Vlerat e mundshme:

  • block_low_and_above

    Blloko përmbajtjen me një probabilitet të ulët ose më të lartë dëmtimi.

  • block_medium_and_above

    Blloko përmbajtjen me një probabilitet dëmtimi mesatar ose më të lartë.

  • block_only_high

    Blloko përmbajtjen me një probabilitet të lartë dëmtimi.

  • block_none

    Mos bllokoni asnjë përmbajtje, pavarësisht nga probabiliteti i dëmtimit të saj.

  • off

    Fikeni plotësisht filtrin e sigurisë.

lloji HarmCategory (opsionale)

E detyrueshme. Lloji i kategorisë së dëmit që do të bllokohet.

Vlerat e mundshme

  • hate_speech

    Përmbajtje që promovon dhunën ose nxit urrejtje kundër individëve ose grupeve bazuar në atribute të caktuara.

  • dangerous_content

    Përmbajtje që promovon, lehtëson ose mundëson aktivitete të rrezikshme.

  • harassment

    Përmbajtje abuzive, kërcënuese ose që synon të ngacmojë, torturojë ose tallë.

  • sexually_explicit

    Përmbajtje që përmban materiale me përmbajtje seksuale eksplicite.

  • civic_integrity

    I vjetruar: Filtri zgjedhor nuk mbështetet më. Kategoria e dëmit është integriteti qytetar.

  • image_hate

    Imazhe që përmbajnë gjuhë urrejtjeje.

  • image_dangerous_content

    Imazhe që përmbajnë përmbajtje të rrezikshme.

  • image_harassment

    Imazhe që përmbajnë ngacmim.

  • image_sexually_explicit

    Imazhe që përmbajnë përmbajtje të qartë seksuale.

  • jailbreak

    Kërkesa të dizajnuara për të anashkaluar filtrat e sigurisë.

niveli_i_shërbimit Niveli_i_Shërbimit (opsional)

Niveli i shërbimit për bashkëveprimin.

Vlerat e mundshme

  • flex

    Niveli i shërbimit fleksibël.

  • standard

    Niveli standard i shërbimit.

  • priority

    Niveli i shërbimit me përparësi.

  • deferred

    Niveli i shërbimit të shtyrë.

webhook_config WebhookConfig (opsionale)

Opsionale. Konfigurimi i Webhook për marrjen e njoftimeve kur ndërveprimi përfundon.

Mesazh për konfigurimin e ngjarjeve të webhook për një kërkesë.

Fushat

vargu uris (string) (opsional)

Opsionale. Nëse caktohet, këto URI të webhook-ut do të përdoren për ngjarjet e webhook-ut në vend të webhook-ut të regjistruar.

objekti user_metadata (opsional)

Opsionale. Meta të dhënat e përdoruesit që do të kthehen në çdo transmetim ngjarjeje te webhook-et.

Përgjigje

Kthen një burim Ndërveprimi .

Kërkesë e thjeshtë

Shembull Përgjigjeje

{
  "created": "2025-11-26T12:25:15Z",
  "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg",
  "model": "gemini-3.6-flash",
  "object": "interaction",
  "status": "completed",
  "steps": [
    {
      "type": "model_output",
      "content": [
        {
          "type": "text",
          "text": "Hello! I'm functioning perfectly and ready to assist you.\n\nHow are you doing today?"
        }
      ]
    }
  ],
  "updated": "2025-11-26T12:25:15Z",
  "usage": {
    "input_tokens_by_modality": [
      {
        "modality": "text",
        "tokens": 7
      }
    ],
    "total_cached_tokens": 0,
    "total_input_tokens": 7,
    "total_output_tokens": 20,
    "total_thought_tokens": 22,
    "total_tokens": 49,
    "total_tool_use_tokens": 0
  }
}

Shumëkthesë

Shembull Përgjigjeje

{
  "created": "2025-11-26T12:22:47Z",
  "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg",
  "model": "gemini-3.6-flash",
  "object": "interaction",
  "status": "completed",
  "steps": [
    {
      "type": "model_output",
      "content": [
        {
          "type": "text",
          "text": "The capital of France is Paris."
        }
      ]
    }
  ],
  "updated": "2025-11-26T12:22:47Z",
  "usage": {
    "input_tokens_by_modality": [
      {
        "modality": "text",
        "tokens": 50
      }
    ],
    "total_cached_tokens": 0,
    "total_input_tokens": 50,
    "total_output_tokens": 10,
    "total_thought_tokens": 0,
    "total_tokens": 60,
    "total_tool_use_tokens": 0
  }
}

Futja e imazhit

Shembull Përgjigjeje

{
  "created": "2025-11-26T12:22:47Z",
  "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg",
  "model": "gemini-3.6-flash",
  "object": "interaction",
  "status": "completed",
  "steps": [
    {
      "type": "model_output",
      "content": [
        {
          "type": "text",
          "text": "A white humanoid robot with glowing blue eyes stands holding a red skateboard."
        }
      ]
    }
  ],
  "updated": "2025-11-26T12:22:47Z",
  "usage": {
    "input_tokens_by_modality": [
      {
        "modality": "text",
        "tokens": 10
      },
      {
        "modality": "image",
        "tokens": 258
      }
    ],
    "total_cached_tokens": 0,
    "total_input_tokens": 268,
    "total_output_tokens": 20,
    "total_thought_tokens": 0,
    "total_tokens": 288,
    "total_tool_use_tokens": 0
  }
}

Thirrja e funksionit

Shembull Përgjigjeje

{
  "created": "2025-11-26T12:22:47Z",
  "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg",
  "model": "gemini-3.6-flash",
  "object": "interaction",
  "status": "requires_action",
  "steps": [
    {
      "name": "get_weather",
      "type": "function_call",
      "arguments": {
        "location": "Boston, MA"
      },
      "id": "gth23981"
    }
  ],
  "updated": "2025-11-26T12:22:47Z",
  "usage": {
    "input_tokens_by_modality": [
      {
        "modality": "text",
        "tokens": 100
      }
    ],
    "total_cached_tokens": 0,
    "total_input_tokens": 100,
    "total_output_tokens": 25,
    "total_thought_tokens": 0,
    "total_tokens": 125,
    "total_tool_use_tokens": 50
  }
}

Hulumtime të Thella

Shembull Përgjigjeje

{
  "agent": "deep-research-pro-preview-12-2025",
  "created": "2025-11-26T12:22:47Z",
  "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg",
  "object": "interaction",
  "status": "completed",
  "steps": [
    {
      "type": "model_output",
      "content": [
        {
          "type": "text",
          "text": "Here is a comprehensive research report on the current state of cancer research..."
        }
      ]
    }
  ],
  "updated": "2025-11-26T12:22:47Z",
  "usage": {
    "input_tokens_by_modality": [
      {
        "modality": "text",
        "tokens": 20
      }
    ],
    "total_cached_tokens": 0,
    "total_input_tokens": 20,
    "total_output_tokens": 1000,
    "total_thought_tokens": 500,
    "total_tokens": 1520,
    "total_tool_use_tokens": 0
  }
}

Agjent antigravitacional

Shembull Përgjigjeje

{
  "agent": "antigravity-preview-05-2026",
  "created": "2025-11-26T12:22:47Z",
  "environment_id": "env_abc123",
  "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg",
  "object": "interaction",
  "status": "completed",
  "steps": [
    {
      "type": "model_output",
      "content": [
        {
          "type": "text",
          "text": "I've summarized the top 5 Hacker News stories and saved the results to /workspace/summary.md."
        }
      ]
    }
  ],
  "updated": "2025-11-26T12:22:47Z",
  "usage": {
    "input_tokens_by_modality": [
      {
        "modality": "text",
        "tokens": 50
      }
    ],
    "total_cached_tokens": 0,
    "total_input_tokens": 50,
    "total_output_tokens": 500,
    "total_thought_tokens": 200,
    "total_tokens": 750,
    "total_tool_use_tokens": 0
  }
}

Ripërdorimi i Mjedisit

Shembull Përgjigjeje

{
  "agent": "antigravity-preview-05-2026",
  "created": "2025-11-26T12:23:00Z",
  "environment_id": "env_abc123",
  "id": "v1_Chd2ZTJhYmNkZWZnaGlqa2xtbm9wcXJzdHV2d3h5ejAxMjM0NTY3ODkwMTIzNDU2Nzg",
  "object": "interaction",
  "status": "completed",
  "steps": [
    {
      "type": "model_output",
      "content": [
        {
          "type": "text",
          "text": "I've updated /workspace/hello.py to accept a name argument and greet the user."
        }
      ]
    }
  ],
  "updated": "2025-11-26T12:23:00Z",
  "usage": {
    "input_tokens_by_modality": [
      {
        "modality": "text",
        "tokens": 80
      }
    ],
    "total_cached_tokens": 0,
    "total_input_tokens": 80,
    "total_output_tokens": 200,
    "total_thought_tokens": 100,
    "total_tokens": 380,
    "total_tool_use_tokens": 0
  }
}

Me Burime

Agjent i Personalizuar

Anulimi i një ndërveprimi

posto https://generativelanguage.googleapis.com/v1beta/interactions/{id}/cancel

Anulon një bashkëveprim me anë të ID-së. Kjo vlen vetëm për bashkëveprimet në sfond që janë ende në ekzekutim.

Parametrat e Shtegut / Pyetjes

vargu api_version (i detyrueshëm)

Cilin version të API-t të përdoret.

vargu i identifikimit (i detyrueshëm)

Identifikuesi unik i ndërveprimit që do të anulohet.

Përgjigje

Kthen një burim Ndërveprimi .

Anulo Ndërveprimin

Shembull Përgjigjeje

{
  "agent": "deep-research-pro-preview-12-2025",
  "created": "2026-06-22T04:55:47Z",
  "id": "v1_ChdVc0E0YXJTYk1zYlV6N0lQcXRXVG1BYxIXVXNBNGFyU2JNc2JVejdJUHF0V1RtQWM",
  "status": "cancelled",
  "steps": [
    {
      "type": "user_input",
      "content": [
        {
          "type": "text",
          "text": "Research the history of the Google TPUs with a focus on 2025 specs."
        }
      ]
    }
  ],
  "updated": "2026-06-22T04:55:47Z"
}

Duke marrë një ndërveprim

merrni https://generativelanguage.googleapis.com/v1beta/interactions/{id}

Merr detajet e plota të një bashkëveprimi të vetëm bazuar në `Interaction.id`-in e tij.

Parametrat e Shtegut / Pyetjes

vargu api_version (i detyrueshëm)

Cilin version të API-t të përdoret.

vargu i identifikimit (i detyrueshëm)

Identifikuesi unik i ndërveprimit që do të rikuperohet.

vargu last_event_id (opsional)

Opsionale. Nëse vendoset, rifillon rrjedhën e ndërveprimit nga pjesa tjetër pas ngjarjes së shënuar nga ID-ja e ngjarjes. Mund të përdoret vetëm nëse `rrjedha` është e vërtetë.

vlera booleane e rrjedhës (opsionale)

Nëse vendoset në "e vërtetë", përmbajtja e gjeneruar do të transmetohet në mënyrë graduale.

Parazgjedhja është: False

Përgjigje

Kthen një burim Ndërveprimi .

Merr Ndërveprimin

Shembull Përgjigjeje

{
  "created": "2025-11-26T12:25:15Z",
  "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg",
  "model": "gemini-3.6-flash",
  "object": "interaction",
  "status": "completed",
  "steps": [
    {
      "type": "model_output",
      "content": [
        {
          "type": "text",
          "text": "I'm doing great, thank you for asking! How can I help you today?"
        }
      ]
    }
  ],
  "updated": "2025-11-26T12:25:15Z"
}

Fshirja e një ndërveprimi

fshi https://generativelanguage.googleapis.com/v1beta/interactions/{id}

Fshin ndërveprimin me anë të ID-së.

Parametrat e Shtegut / Pyetjes

vargu api_version (i detyrueshëm)

Cilin version të API-t të përdoret.

vargu i identifikimit (i detyrueshëm)

Identifikuesi unik i ndërveprimit që do të fshihet.

Përgjigje

Nëse ka sukses, përgjigja është bosh.

Fshij

Burimet

Ndërveprimi

Burimi i Ndërveprimit.

Fushat

agjenti i agjentit (opsionale)

Emri i `Agjentit` të përdorur për gjenerimin e ndërveprimit.

Agjenti me të cilin duhet të ndërveprohet.

Vlerat e mundshme

  • deep-research-pro-preview-12-2025

    Agjent i Kërkimeve të Thellë Gemini

  • deep-research-preview-04-2026

    Agjent i Kërkimeve të Thellë Gemini

  • deep-research-max-preview-04-2026

    Agjenti Maksimal i Kërkimeve të Thellë Gemini

  • antigravity-preview-05-2026

    Përdorni agjentin e menaxhuar Antigravity për të kryer detyra me shumë hapa që kërkojnë arsyetim, operacione me skedarë dhe përdorim mjetesh.

objekti agent_config (opsional)

Parametrat e konfigurimit për bashkëveprimin e agjentit.

Llojet e mundshme

Diskriminuesi polimorfik: type

Konfigurimi i Agjentit Antigravity

Konfigurimi për kohën e ekzekutimit të agjentit Antigravity. Ofron kontroll nga ana e serverit mbi mjedisin e ekzekutimit të agjentit dhe konfigurimin e mjetit.

vargu max_total_tokens (opsional)

Totali maksimal i tokenëve për ekzekutimin e agjentit.

varg modeli (opsional)

Modeli që do të përdoret për arsyetimin e agjentit.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Gjithmonë i vendosur në "antigravity" .

CodeMenderAgentConfig

Konfigurimi për agjentin CodeMender.

find_request GjejKërkesë (opsionale)

Parametrat për gjetjen e dobësive.

Parametrat e kërkesës specifike për seancat FIND, të përdorura për të zbuluar dobësitë në një bazë kodi.

Fushat

varg përshkrimi (opsional)

Kontekst shtesë ose udhëzime të personalizuara të ofruara nga përdoruesi për të udhëhequr analizën e cenueshmërisë.

vargu finding_id (opsional)

Identifikuesi i një gjetjeje specifike që duhet verifikuar. Kjo përdoret kryesisht në modalitetin VERIFY për të përqendruar validimin e agjentit bazuar në ekzekutim në një dobësi të vetme.

enumimi i modalitetit (vargu) (opsional)

Modaliteti i seancës së gjetjes.

Vlerat e mundshme:

  • scan

    Skanim i shpejtë duke përdorur vetëm klasifikuesin fillestar.

  • verify

    Kryen klasifikimin e ndjekur nga një hetim i detajuar.

vargu source_files (FileContent) (opsionale)

Një listë e skedarëve burimorë për t'u ofruar si kontekst për skanimin.

Përmbajtja e një skedari të vetëm në bazën e kodit.

Fushat

varg përmbajtjeje (opsionale)

Përmbajtja e tekstit të koduar UTF-8 e skedarit.

vargu i shtegut (opsional)

Shtegu relativ i skedarit nga rrënja e projektit.

fix_request FixRequest (opsionale)

Parametrat për rregullimin e dobësive.

Parametrat e kërkesës specifike për seancat FIX, të përdorura për gjenerimin dhe validimin e patch-eve të sigurisë.

Fushat

varg përshkrimi (opsional)

Kontekst shtesë ose udhëzime të personalizuara të ofruara nga përdoruesi për të udhëhequr procesin e gjenerimit të patch-it.

vargu finding_id (opsional)

Identifikuesi i gjetjes specifike të sigurisë që duhet të ndreqet. Ky ID lidhet me një dobësi të zbuluar më parë.

vargu source_files (FileContent) (opsionale)

Një listë e skedarëve burimorë që ofrojnë kontekst për korrigjimin. Këto skedarë janë zakonisht ato që përmbajnë dobësinë e identifikuar.

Përmbajtja e një skedari të vetëm në bazën e kodit.

Fushat

varg përmbajtjeje (opsionale)

Përmbajtja e tekstit të koduar UTF-8 e skedarit.

vargu i shtegut (opsional)

Shtegu relativ i skedarit nga rrënja e projektit.

varg modeli (opsional)

Emri i modelit që do të përdoret për agjentin CodeMender. Një seancë CodeMender do të përdorë vetëm një model.

session_config SessionConfig (opsionale)

Konfigurime opsionale specifike për sesionin për të anashkaluar sjelljen e parazgjedhur të agjentit.

Konfigurimi i seancave të CodeMender.

Fushat

numër i plotë max_rounds (opsional)

Numri maksimal i raundeve të ndërveprimit që agjenti lejohet të kryejë përpara se të arrijë një skadencë kohore.

vargu i session_id (opsional)

Parametër për grupimin e ndërveprimeve të shumëfishta që i përkasin të njëjtit sesion CodeMender.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Gjithmonë i vendosur në "code-mender" .

DeepResearchAgentConfig

Konfigurimi për agjentin e Kërkimit të Thellë.

boolean i planifikimit_bashkëpunues (opsional)

Aktivizon planifikimin njerëzor në ciklin e punës për agjentin e Kërkimit të Thellë. Nëse vendoset në "e vërtetë", agjenti i Kërkimit të Thellë do të ofrojë një plan kërkimi në përgjigjen e tij. Agjenti do të vazhdojë vetëm nëse përdoruesi e konfirmon planin në raundin tjetër.

enable_bigquery_tool boolean (opsional)

Aktivizon mjetin bigquery për agjentin e Kërkimit të Thellë.

thinking_summaries Përmbledhje të të Menduarit (opsionale)

Nëse do të përfshihen përmbledhje të mendimeve në përgjigje.

Vlerat e mundshme

  • auto

    Përmbledhje të të menduarit automatik.

  • none

    Pa përmbledhje të të menduarit.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Gjithmonë i vendosur për "deep-research" .

numërimi i vizualizimit (varg) (opsional)

Nëse do të përfshihen vizualizime në përgjigje.

Vlerat e mundshme:

  • off

    Mos përfshini vizualizime.

  • auto

    Përfshi automatikisht vizualizimet.

Konfigurimi i Agjentit Dinamike

Konfigurimi për agjentë dinamikë.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Gjithmonë i vendosur në "dynamic" .

varg i krijuar (opsional)

Vetëm rezultati. Ora në të cilën u krijua përgjigja në formatin ISO 8601 (YYYY-MM-DDThh:mm:ssZ).

mjedisi EnvironmentConfig ose vargu (opsional)

Konfigurimi i mjedisit për bashkëveprimin. Mund të jetë një objekt që specifikon burimet e largëta të mjedisit ose një varg që i referohet një ID-je ekzistuese të mjedisit.

vargu environment_id (opsional)

Vetëm rezultati. ID-ja e mjedisit për bashkëveprimin. Plotësohet vetëm nëse konfigurimi i mjedisit është vendosur në kërkesë.

varg gabimesh (Gabim) (opsional)

Vetëm rezultate. Gabime diagnostikuese / gabime të platformës të regjistruara në bashkëveprim.

Mesazh gabimi nga një bashkëveprim.

Fushat

varg kodi (opsional)

Një URI që identifikon llojin e gabimit.

varg mesazhi (opsional)

Një mesazh gabimi i lexueshëm nga njeriu.

vargu i identifikimit (opsional)

E detyrueshme. Vetëm rezultat. Një identifikues unik për përfundimin e ndërveprimit.

Parazgjedhur në:

fut Përmbajtje ose varg ( Content ) ose varg ( Step ) ose varg (opsional)

Të dhënat hyrëse për bashkëveprimin.

objekt etiketash (opsional)

Etiketat me meta të dhëna të përcaktuara nga përdoruesi për kërkesën.

modeli ModelOpsioni (opsional)

Emri i `Modelit` të përdorur për gjenerimin e ndërveprimit.

Modeli që do të plotësojë kërkesën tuaj.\n\nShihni [models](https://ai.google.dev/gemini-api/docs/models) për detaje shtesë.

Vlerat e mundshme

  • gemini-2.5-flash

    Modeli ynë i parë hibrid i arsyetimit i cili mbështet një dritare konteksti prej 1M token dhe ka buxhete të të menduarit.

  • gemini-2.5-pro

    Modeli ynë shumëfunksional i teknologjisë së fundit, i cili shkëlqen në kodim dhe detyra komplekse arsyetimi.

  • gemma-4-26b-a4b-it

    Gemma 4 26B A4B IT

  • gemma-4-31b-it

    Gemma 4 31B IT

  • gemini-flash-latest

    Versioni më i fundit i Gemini Flash

  • gemini-flash-lite-latest

    Versioni më i fundit i Gemini Flash-Lite

  • gemini-pro-latest

    Versioni më i fundit i Gemini Pro

  • gemini-2.5-flash-lite

    Modeli ynë më i vogël dhe më ekonomik, i ndërtuar për përdorim në shkallë të gjerë.

  • gemini-2.5-flash-image

    Modeli ynë i gjenerimit të imazheve vendase, i optimizuar për shpejtësi, fleksibilitet dhe kuptim kontekstual. Futja dhe dalja e tekstit ka të njëjtin çmim si në Flash 2.5.

  • gemini-3-flash-preview

    Modeli ynë më inteligjent i ndërtuar për shpejtësi, duke kombinuar inteligjencën kufitare me kërkimin dhe tokëzimin superior.

  • gemini-3.1-pro-preview

    Modeli ynë më i fundit i arsyetimit SOTA me thellësi dhe nuancë të paparë, si dhe aftësi të fuqishme të të kuptuarit dhe kodimit multimodal.

  • gemini-3.1-pro-preview-customtools

    Gemini 3.1 Pro Preview i optimizuar për përdorim të mjeteve të personalizuara

  • gemini-3.1-flash-lite

    Modeli ynë më me kosto efektive, i optimizuar për detyra agjentike me vëllim të lartë, përkthim dhe përpunim të thjeshtë të të dhënave.

  • gemini-3-pro-image

    Imazh i Gemini 3 Pro

  • nano-banana-pro-preview

    Pamje paraprake e imazhit të Gemini 3 Pro

  • gemini-3.1-flash-image

    Imazh Blic i Gemini 3.1.

  • gemini-3.5-flash

    Modeli ynë më inteligjent për performancë të qëndrueshme në kufijtë e detyrave agjentike dhe të kodimit.

  • gemini-3.6-flash

    Modeli ynë më inteligjent për performancë të qëndrueshme në kufijtë e detyrave agjentike dhe të kodimit.

  • gemini-3.7-flash

    Modeli ynë më inteligjent për performancë të qëndrueshme në kufijtë e detyrave agjentike dhe të kodimit.

  • lyria-3-clip-preview

    Modeli ynë i gjenerimit të muzikës me latencë të ulët është i optimizuar për klipe audio me besnikëri të lartë dhe kontroll të saktë ritmik.

  • lyria-3-pro-preview

    Modeli ynë i avancuar, gjenerues i këngëve të plota, me kuptim të thellë kompozicioni, i optimizuar për kontroll të saktë strukturor dhe tranzicione komplekse nëpër stile të ndryshme muzikore.

  • gemini-robotics-er-1.6-preview

    Pamje paraprake e Gemini Robotics-ER 1.6

  • gemini-robotics-er-2-preview

    Parapamje e Rezonancës së Mishëruar të Gemini Robotics 2

vargu previous_interaction_id (opsional)

ID-ja e ndërveprimit të mëparshëm, nëse ka.

response_format ResponseFormat ose varg ( ResponseFormat ) (opsionale)

Zbaton që përgjigjja e gjeneruar të jetë një objekt JSON që përputhet me skemën JSON të specifikuar në këtë fushë.

vargu i cilësimeve_të_safety-t (SafetySetting) (opsionale)

Cilësimet e sigurisë për bashkëveprimin.

Një cilësim sigurie që ndikon në sjelljen e bllokimit të sigurisë. Një Cilësim Sigurie përbëhet nga një kategori dëmi dhe një prag për atë kategori.

Fushat

enum i metodës (string) (opsionale)

Opsionale. Metoda për bllokimin e përmbajtjes. Nëse nuk specifikohet, sjellja e parazgjedhur është përdorimi i rezultatit të probabilitetit.

Vlerat e mundshme:

  • severity

    Metoda e bllokut të dëmit përdor si rezultatet e probabilitetit ashtu edhe të ashpërsisë.

  • probability

    Metoda e bllokut të dëmit përdor rezultatin e probabilitetit.

numërimi i pragut (vargu) (opsional)

E detyrueshme. Pragu për bllokimin e përmbajtjes. Nëse probabiliteti i dëmit tejkalon këtë prag, përmbajtja do të bllokohet.

Vlerat e mundshme:

  • block_low_and_above

    Blloko përmbajtjen me një probabilitet të ulët ose më të lartë dëmtimi.

  • block_medium_and_above

    Blloko përmbajtjen me një probabilitet dëmtimi mesatar ose më të lartë.

  • block_only_high

    Blloko përmbajtjen me një probabilitet të lartë dëmtimi.

  • block_none

    Mos bllokoni asnjë përmbajtje, pavarësisht nga probabiliteti i dëmtimit të saj.

  • off

    Fikeni plotësisht filtrin e sigurisë.

lloji HarmCategory (opsionale)

E detyrueshme. Lloji i kategorisë së dëmit që do të bllokohet.

Vlerat e mundshme

  • hate_speech

    Përmbajtje që promovon dhunën ose nxit urrejtje kundër individëve ose grupeve bazuar në atribute të caktuara.

  • dangerous_content

    Përmbajtje që promovon, lehtëson ose mundëson aktivitete të rrezikshme.

  • harassment

    Përmbajtje abuzive, kërcënuese ose që synon të ngacmojë, torturojë ose tallë.

  • sexually_explicit

    Përmbajtje që përmban materiale me përmbajtje seksuale eksplicite.

  • civic_integrity

    I vjetruar: Filtri zgjedhor nuk mbështetet më. Kategoria e dëmit është integriteti qytetar.

  • image_hate

    Imazhe që përmbajnë gjuhë urrejtjeje.

  • image_dangerous_content

    Imazhe që përmbajnë përmbajtje të rrezikshme.

  • image_harassment

    Imazhe që përmbajnë ngacmim.

  • image_sexually_explicit

    Imazhe që përmbajnë përmbajtje të qartë seksuale.

  • jailbreak

    Kërkesa të dizajnuara për të anashkaluar filtrat e sigurisë.

niveli_i_shërbimit Niveli_i_Shërbimit (opsional)

Niveli i shërbimit për bashkëveprimin.

Vlerat e mundshme

  • flex

    Niveli i shërbimit fleksibël.

  • standard

    Niveli standard i shërbimit.

  • priority

    Niveli i shërbimit me përparësi.

  • deferred

    Niveli i shërbimit të shtyrë.

numërimi i statusit (varg) (opsional)

E detyrueshme. Vetëm rezultat. Statusi i ndërveprimit.

Vlerat e mundshme:

  • in_progress

    Ndërveprimi është në zhvillim e sipër.

  • requires_action

    Ndërveprimi kërkon veprim/input nga përdoruesi.

  • completed

    Ndërveprimi është përfunduar.

  • failed

    Ndërveprimi dështoi.

  • cancelled

    Ndërveprimi u anulua.

  • incomplete

    Ndërveprimi është përfunduar, por përmban rezultate të paplota (p.sh., duke shtypur max_tokens).

  • budget_exceeded

    Ndërveprimi u ndalua sepse buxheti i tokenit u tejkalua.

  • queued

    Ndërveprimi është në radhë, duke pritur për përpunim.

vargu i hapave ( Hapi ) (opsional)

Vetëm rezultati. Hapat që përbëjnë bashkëveprimin, kur përfshihen në përgjigje.

vargu i udhëzimit_të_sistem-it (opsional)

Udhëzime sistemi për bashkëveprimin.

varg mjetesh ( Mjet ) (opsional)

Një listë e deklarimeve të mjeteve që modeli mund të thërrasë gjatë ndërveprimit.

varg i përditësuar (opsional)

Vetëm rezultati. Ora në të cilën përgjigja është përditësuar për herë të fundit në formatin ISO 8601 (YYYY-MM-DDThh:mm:ssZ).

Përdorimi Përdorimi (opsional)

Vetëm rezultate. Statistikat mbi përdorimin e tokenit të kërkesës së ndërveprimit.

Statistikat mbi përdorimin e tokenit të kërkesës së ndërveprimit.

Fushat

cached_tokens_by_modality matricë (ModalityTokens) (opsionale)

Një ndarje e përdorimit të tokenëve të ruajtur në memorje sipas modalitetit.

Numërimi i tokenëve për një modalitet të vetëm përgjigjeje.

Fushat

modaliteti ResponseModality (opsionale)

Modaliteti i lidhur me numërimin e tokenëve.

Vlerat e mundshme

  • text

    Tregon se modeli duhet të kthejë tekst.

  • image

    Tregon se modeli duhet të kthejë imazhe.

  • audio

    Tregon se modeli duhet të kthejë audio.

  • video

    Tregon se modeli duhet të kthejë videon.

  • document

    Tregon se modeli duhet të kthejë dokumente.

numër i plotë i tokenëve (opsionale)

Numri i tokenëve për modalitetin.

vargu grounding_tool_count (GroundingToolCount) (opsionale)

Numri i mjeteve të tokëzimit.

Numri i mjeteve të tokëzimit numërohet.

Fushat

numër i plotë (opsional)

Numri i mjeteve të tokëzimit numërohet.

tipi enum (string) (opsionale)

Lloji i mjetit të tokëzimit i lidhur me numërimin.

Vlerat e mundshme:

  • google_search

    Bazë me Kërkimin në Ueb të Google dhe Kërkimin e Imazheve, dhe Bazë në Ueb për Ndërmarrjet.

  • google_maps

    Tokëzimi me Google Maps.

  • retrieval

    Bazimi me të dhënat e klientit, për shembull, VertexAISearch.

vargu input_tokens_by_modality (ModalityTokens) (opsionale)

Një ndarje e përdorimit të tokenit të hyrjes sipas modalitetit.

Numërimi i tokenëve për një modalitet të vetëm përgjigjeje.

Fushat

modaliteti ResponseModality (opsionale)

Modaliteti i lidhur me numërimin e tokenëve.

Vlerat e mundshme

  • text

    Tregon se modeli duhet të kthejë tekst.

  • image

    Tregon se modeli duhet të kthejë imazhe.

  • audio

    Tregon se modeli duhet të kthejë audio.

  • video

    Tregon se modeli duhet të kthejë videon.

  • document

    Tregon se modeli duhet të kthejë dokumente.

numër i plotë i tokenëve (opsionale)

Numri i tokenëve për modalitetin.

vargu output_tokens_by_modality (ModalityTokens) (opsionale)

Një ndarje e përdorimit të tokenit të daljes sipas modalitetit.

Numërimi i tokenëve për një modalitet të vetëm përgjigjeje.

Fushat

modaliteti ResponseModality (opsionale)

Modaliteti i lidhur me numërimin e tokenëve.

Vlerat e mundshme

  • text

    Tregon se modeli duhet të kthejë tekst.

  • image

    Tregon se modeli duhet të kthejë imazhe.

  • audio

    Tregon se modeli duhet të kthejë audio.

  • video

    Tregon se modeli duhet të kthejë videon.

  • document

    Tregon se modeli duhet të kthejë dokumente.

numër i plotë i tokenëve (opsionale)

Numri i tokenëve për modalitetin.

vargu tool_use_tokens_by_modality (ModalityTokens) (opsionale)

Një ndarje e përdorimit të tokenëve të përdorimit të mjeteve sipas modalitetit.

Numërimi i tokenëve për një modalitet të vetëm përgjigjeje.

Fushat

modaliteti ResponseModality (opsionale)

Modaliteti i lidhur me numërimin e tokenëve.

Vlerat e mundshme

  • text

    Tregon se modeli duhet të kthejë tekst.

  • image

    Tregon se modeli duhet të kthejë imazhe.

  • audio

    Tregon se modeli duhet të kthejë audio.

  • video

    Tregon se modeli duhet të kthejë videon.

  • document

    Tregon se modeli duhet të kthejë dokumente.

numër i plotë i tokenëve (opsionale)

Numri i tokenëve për modalitetin.

total_cached_tokens numër i plotë (opsional)

Numri i tokenëve në pjesën e ruajtur në memorien e përkohshme të kërkesës (përmbajtja e ruajtur në memorien e përkohshme).

total_input_tokens numër i plotë (opsional)

Numri i tokenëve në kërkesë (konteksti).

total_output_tokens numër i plotë (opsional)

Numri total i tokenëve në të gjitha përgjigjet e gjeneruara.

total_thought_tokens numër i plotë (opsional)

Numri i tokenëve të mendimeve për modelet e të menduarit.

total_tokens numër i plotë (opsional)

Numri total i tokenëve për kërkesën e ndërveprimit (kërkesa + përgjigjet + tokenët e tjerë të brendshëm).

total_tool_use_tokens numër i plotë (opsional)

Numri i tokenëve të pranishëm në kërkesën/kërkesat e përdorimit të mjetit.

webhook_config WebhookConfig (opsionale)

Opsionale. Konfigurimi i Webhook për marrjen e njoftimeve kur ndërveprimi përfundon.

Mesazh për konfigurimin e ngjarjeve të webhook për një kërkesë.

Fushat

vargu uris (string) (opsional)

Opsionale. Nëse caktohet, këto URI të webhook-ut do të përdoren për ngjarjet e webhook-ut në vend të webhook-ut të regjistruar.

objekti user_metadata (opsional)

Opsionale. Meta të dhënat e përdoruesit që do të kthehen në çdo transmetim ngjarjeje te webhook-et.

Shembuj

Shembull

{
  "created": "2025-12-04T15:01:45Z",
  "id": "v1_ChdXS0l4YWZXTk9xbk0xZThQczhEcmlROBIXV0tJeGFmV05PcW5NMWU4UHM4RHJpUTg",
  "model": "gemini-3.6-flash",
  "object": "interaction",
  "status": "completed",
  "steps": [
    {
      "type": "model_output",
      "content": [
        {
          "type": "text",
          "text": "Hello! I'm doing well, functioning as expected. Thank you for asking! How are you doing today?"
        }
      ]
    }
  ],
  "updated": "2025-12-04T15:01:45Z",
  "usage": {
    "input_tokens_by_modality": [
      {
        "modality": "text",
        "tokens": 7
      }
    ],
    "total_cached_tokens": 0,
    "total_input_tokens": 7,
    "total_output_tokens": 23,
    "total_thought_tokens": 49,
    "total_tokens": 79,
    "total_tool_use_tokens": 0
  }
}

Modelet e të dhënave

Përmbajtja

Përmbajtja e përgjigjes.

Llojet e mundshme

Përmbajtje Audio

Një bllok përmbajtjeje audio.

numër i plotë i kanaleve (opsionale)

Numri i kanaleve audio.

varg të dhënash (opsionale)

Përmbajtja audio.

mime_type enum (string) (opsionale)

Lloji i mimikës i audios.

Vlerat e mundshme:

  • audio/wav

    Formati audio WAV

  • audio/mp3

    Formati audio MP3

  • audio/aiff

    Formati audio AIFF

  • audio/aac

    Formati audio AAC

  • audio/ogg

    Formati audio OGG

  • audio/flac

    Formati audio FLAC

  • audio/mpeg

    Formati audio MPEG

  • audio/m4a

    Formati audio M4A

  • audio/l16

    Formati audio L16

  • audio/opus

    Formati audio OPUS

  • audio/alaw

    Formati audio ALAW

  • audio/mulaw

    Formati audio MULAW

numër i plotë i shkallës së_sample-it (opsional)

Shpejtësia e mostrës së audios.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Gjithmonë i vendosur në "audio" .

vargu uri (opsional)

URI-ja e audios.

Përmbajtja e Dokumentit

Një bllok përmbajtjeje dokumenti.

varg të dhënash (opsionale)

Përmbajtja e dokumentit.

mime_type enum (string) (opsionale)

Lloji mime i dokumentit.

Vlerat e mundshme:

  • application/pdf

    Formati i dokumentit PDF

  • text/csv

    Formati i dokumentit CSV

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Gjithmonë i vendosur në "document" .

vargu uri (opsional)

URI-ja e dokumentit.

Përmbajtje Imazhesh

Një bllok përmbajtjeje imazhi.

varg të dhënash (opsionale)

Përmbajtja e imazhit.

mime_type enum (string) (opsionale)

Lloji i mimikës së imazhit.

Vlerat e mundshme:

  • image/png

    Formati i imazhit PNG

  • image/jpeg

    Formati i imazhit JPEG

  • image/webp

    Formati i imazhit WebP

  • image/heic

    Formati i imazhit HEIC

  • image/heif

    Formati i imazhit HEIF

  • image/gif

    Formati i imazhit GIF

  • image/bmp

    Formati i imazhit BMP

  • image/tiff

    Formati i imazhit TIFF

rezolucioni i MediaResolution (opsional)

Zgjidhja e mediave.

Vlerat e mundshme

  • low

    Rezolucion i ulët.

  • medium

    Rezolucion i mesëm.

  • high

    Rezolucion i lartë.

  • ultra_high

    Rezolucion ultra i lartë.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Gjithmonë i vendosur në "image" .

vargu uri (opsional)

URI-ja e imazhit.

Përmbajtje Teksti

Një bllok përmbajtjeje teksti.

vargu i shënimeve (Shënim) (opsional)

Informacion mbi citimin për përmbajtjen e gjeneruar nga modeli.

Informacion mbi citimin për përmbajtjen e gjeneruar nga modeli.

Llojet e mundshme

FileCitation

Një shënim citimi i skedarit.

objekti custom_metadata (opsional)

Përdoruesi dha meta të dhëna rreth kontekstit të marrë.

vargu document_uri (opsional)

URI-ja e skedarit.

numër i plotë end_index (opsional)

Fundi i segmentit të atribuuar, ekskluziv.

vargu i emrit të skedarit (opsional)

Emri i skedarit.

vargu media_id (opsional)

ID e medias në rast të citimeve të imazheve, nëse ka.

numër i plotë i faqes (opsional)

Numri i faqes së dokumentit të cituar, nëse ka.

vargu burimor (opsional)

Burimi i atribuuar për një pjesë të tekstit.

numër i plotë i indeksit_fillues (opsional)

Fillimi i segmentit të përgjigjes që i atribuohet këtij burimi. Indeksi tregon fillimin e segmentit, i matur në bajt.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Gjithmonë i vendosur në "file_citation" .

Citimi i Vendit

Një shënim citimi vendi.

numër i plotë end_index (opsional)

Fundi i segmentit të atribuuar, ekskluziv.

varg emri (opsional)

Titulli i vendit.

vargu place_id (opsional)

ID-ja e vendit, në formatin `places/{place_id}`.

vargu review_snippets (ReviewSnippet) (opsionale)

Fragmente të vlerësimeve që përdoren për të gjeneruar përgjigje rreth karakteristikave të një vendi të caktuar në Google Maps.

Përmban një fragment të një vlerësimi përdoruesi që përgjigjet një pyetjeje në lidhje me veçoritë e një vendi specifik në Google Maps.

Fushat

vargu review_id (opsional)

ID-ja e fragmentit të rishikimit.

vargu i titullit (opsional)

Titulli i rishikimit.

vargu i url- së (opsional)

Një lidhje që korrespondon me vlerësimin e përdoruesit në Google Maps.

numër i plotë i indeksit_fillues (opsional)

Fillimi i segmentit të përgjigjes që i atribuohet këtij burimi. Indeksi tregon fillimin e segmentit, i matur në bajt.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Gjithmonë i vendosur në "place_citation" .

vargu i url- së (opsional)

Referenca URI e vendit.

Citimi i Url-it

Një shënim citimi URL-je.

numër i plotë end_index (opsional)

Fundi i segmentit të atribuuar, ekskluziv.

numër i plotë i indeksit_fillues (opsional)

Fillimi i segmentit të përgjigjes që i atribuohet këtij burimi. Indeksi tregon fillimin e segmentit, i matur në bajt.

vargu i titullit (opsional)

Titulli i URL-së.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Gjithmonë i vendosur në "url_citation" .

vargu i url- së (opsional)

URL-ja.

WordInfo

Shënim ASR në nivel fjale për daljen e transkriptimit. Përmban tekstin e fjalës, kohën opsionale dhe atribuimin opsional të folësit.

numër i plotë end_index (opsional)

Fundi i segmentit të atribuuar, ekskluziv.

vargu end_offset (opsional)

Zhvendosja e fundit në kohën e fjalës në lidhje me fillimin e audios. Paraqitet kur timestamp_granularities përmban "fjalën".

varg altoparlanti (opsional)

Opsionale. Etiketa e folësit për këtë fjalë (p.sh. "spk_1", "spk_2"). E pranishme kur diarization_mode është vendosur në TranscriptionConfig.

numër i plotë i indeksit_fillues (opsional)

Fillimi i segmentit të përgjigjes që i atribuohet këtij burimi. Indeksi tregon fillimin e segmentit, i matur në bajt.

start_offset string (optional)

Start offset in time of the word relative to the start of the audio. Present when timestamp_granularities contains "word".

text string (optional)

The transcribed word.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "word_info" .

text string (required)

Required. The text content.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "text" .

VideoContent

A video content block.

data string (optional)

The video content.

mime_type enum (string) (optional)

The mime type of the video.

Vlerat e mundshme:

  • video/mp4

    MP4 video format

  • video/mpeg

    MPEG video format

  • video/mpg

    MPG video format

  • video/mov

    MOV video format

  • video/avi

    AVI video format

  • video/x-flv

    FLV video format

  • video/webm

    WebM video format

  • video/wmv

    WMV video format

  • video/3gpp

    3GPP video format

varg emri (opsional)

A user-defined name for this content block. Can be referenced by the model in the final response.

processing MediaProcessing or enum (string) (optional)

How the model processes this video for understanding.

resolution MediaResolution (optional)

The resolution of the media.

Vlerat e mundshme

  • low

    Low resolution.

  • medium

    Medium resolution.

  • high

    High resolution.

  • ultra_high

    Ultra high resolution.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "video" .

uri string (optional)

The URI of the video.

Shembuj

Audio

{
  "type": "audio",
  "data": "BASE64_ENCODED_AUDIO",
  "mime_type": "audio/wav"
}

Dokument

{
  "type": "document",
  "data": "BASE64_ENCODED_DOCUMENT",
  "mime_type": "application/pdf"
}

Imazh

{
  "type": "image",
  "data": "BASE64_ENCODED_IMAGE",
  "mime_type": "image/png"
}

Tekst

{
  "type": "text",
  "text": "Hello, how are you?"
}

Video

{
  "type": "video",
  "uri": "https://www.youtube.com/watch?v=9hE5-98ZeCg"
}

Mjet

Një mjet që mund të përdoret nga modeli.

Llojet e mundshme

Ekzekutimi i Kodit

Një mjet që mund të përdoret nga modeli për të ekzekutuar kodin.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Gjithmonë i vendosur në "code_execution" .

ComputerUse

A tool that can be used by the model to interact with the computer.

disabled_safety_policies array (enum (string)) (optional)

Optional. Disabled safety policies for computer use.

Vlerat e mundshme:

  • financial_transactions

    Safety policy for financial transactions.

  • sensitive_data_modification

    Safety policy for sensitive data modification.

  • communication_tool

    Safety policy for communication tools (eg Gmail, Chat, Meet).

  • account_creation

    Safety policy for account creation.

  • data_modification

    Safety policy for data modification.

  • user_consent_management

    Safety policy for user consent management.

  • legal_terms_and_agreements

    Safety policy for legal terms and agreements.

enable_prompt_injection_detection boolean (optional)

Whether enable the prompt injection detection check on computer-use request.

environment enum (string) (optional)

The environment being operated.

Vlerat e mundshme:

  • browser

    Operates in a web browser.

  • mobile

    Operates in a mobile environment.

  • desktop

    Operates in a desktop environment.

excluded_predefined_functions array (string) (optional)

The list of predefined functions that are excluded from the model call.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "computer_use" .

FileSearch

A tool that can be used by the model to search files.

file_search_store_names array (string) (optional)

The file search store names to search.

metadata_filter string (optional)

Metadata filter to apply to the semantic retrieval documents and chunks.

top_k integer (optional)

The number of semantic retrieval chunks to retrieve.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "file_search" .

Funksioni

Një mjet që mund të përdoret nga modeli.

varg përshkrimi (opsional)

Një përshkrim i funksionit.

varg emri (opsional)

Emri i funksionit.

objekt parametrash (opsional)

Skema JSON për parametrat e funksionit.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Gjithmonë i vendosur në "function" .

GoogleMaps

A tool that can be used by the model to call Google Maps.

enable_widget boolean (optional)

Whether to return a widget context token in the tool call result of the response.

latitude number (optional)

The latitude of the user's location.

longitude number (optional)

The longitude of the user's location.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "google_maps" .

Kërkimi në Google

Një mjet që mund të përdoret nga modeli për të kërkuar në Google.

vargu search_types (enum (string)) (opsional)

Llojet e tokëzimit të kërkimit që duhen aktivizuar.

Vlerat e mundshme:

  • web_search

    Vendosja e kësaj fushe aktivizon kërkimin në internet. Kthehen vetëm rezultatet me tekst.

  • image_search

    Vendosja e kësaj fushe aktivizon kërkimin e imazheve. Kthehen bajtet e imazheve.

  • enterprise_web_search

    Vendosja e kësaj fushe aktivizon kërkimin në internet të ndërmarrjes.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Gjithmonë i vendosur në "google_search" .

McpServer

Një MCPServer është një server që mund të thirret nga modeli për të kryer veprime.

vargu allowed_tools (AllowedTools) (opsional)

Mjetet e lejuara.

Konfigurimi për mjetet e lejuara.

Fushat

enumimi i modalitetit (vargu) (opsional)

Mënyra e zgjedhjes së mjetit.

Vlerat e mundshme:

  • auto

    Zgjedhja e mjetit automatik.

  • any

    Çdo zgjedhje mjeti.

  • none

    Pa zgjedhje mjetesh.

  • validated

    Zgjedhje e mjetit të validuar.

varg mjetesh (varg) (opsional)

Emrat e mjeteve të lejuara.

objekti i headers (opsional)

Opsionale: Fushat për titujt e vërtetimit, afatet kohore, etj., nëse është e nevojshme.

varg emri (opsional)

Emri i MCPServer-it.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Gjithmonë i vendosur në "mcp_server" .

vargu i url- së (opsional)

URL-ja e plotë për pikën fundore të MCPServer. Shembull: "https://api.example.com/mcp"

Retrieval

A tool that can be used by the model to retrieve files.

exa_ai_search_config ExaAISearchConfig (optional)

Used to specify configuration for ExaAISearch.

Used to specify configuration for ExaAISearch.

Fushat

api_key string (optional)

Required. The API key for ExaAiSearch.

custom_config object (optional)

Optional. This field can be used to pass any parameter from the Exa.ai Search API.

parallel_ai_search_config ParallelAISearchConfig (optional)

Used to specify configuration for ParallelAISearch.

Used to specify configuration for ParallelAISearch.

Fushat

api_key string (optional)

Optional. The API key for ParallelAiSearch.

custom_config object (optional)

Optional. Custom configs for ParallelAiSearch.

rag_store_config RagStoreConfig (optional)

Used to specify configuration for RagStore.

Use to specify configuration for RAG Store.

Fushat

rag_resources array (RagResource) (optional)

Optional. The representation of the rag source.

The definition of the Rag resource.

Fushat

rag_corpus string (optional)

Optional. RagCorpora resource name.

rag_file_ids array (string) (optional)

Optional. rag_file_id. The files should be in the same rag_corpus set in rag_corpus field.

rag_retrieval_config RagRetrievalConfig (optional)

Optional. The retrieval config for the Rag query.

Specifies the context retrieval config.

Fushat

filter Filter (optional)

Optional. Config for filters.

Config for filters.

Fushat

metadata_filter string (optional)

Optional. String for metadata filtering.

vector_distance_threshold number (optional)

Optional. Only returns contexts with vector distance smaller than the threshold.

vector_similarity_threshold number (optional)

Optional. Only returns contexts with vector similarity larger than the threshold.

hybrid_search HybridSearch (optional)

Optional. Config for Hybrid Search.

Config for Hybrid Search.

Fushat

alpha number (optional)

Optional. Alpha value controls the weight between dense and sparse vector search results.

ranking Ranking (optional)

Optional. Config for ranking and reranking.

Config for ranking and reranking.

top_k integer (optional)

Optional. The number of contexts to retrieve.

retrieval_types array (enum (string)) (optional)

The types of file retrieval to enable.

Vlerat e mundshme:

  • rag_store
  • exa_ai_search
  • parallel_ai_search
lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "retrieval" .

Konteksti i Url-it

Një mjet që mund të përdoret nga modeli për të marrë kontekstin e URL-së.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Gjithmonë i vendosur në "url_context" .

Shembuj

Ekzekutimi i Kodit

ComputerUse

FileSearch

Funksioni

GoogleMaps

Kërkimi në Google

McpServer

Retrieval

No examples available for this type.

Konteksti i Url-it

InteractionSseEvent

Llojet e mundshme

Polymorphic discriminator: event_type

ErrorEvent

error Error (optional)

Nuk është dhënë përshkrim.

Error message from an interaction.

Fushat

code string (optional)

A URI that identifies the error type.

message string (optional)

A human-readable error message.

event_id string (optional)

The event_id token to be used to resume the interaction stream, from this event.

event_type object (required)

Nuk është dhënë përshkrim.

Always set to "error" .

InteractionCompletedEvent

event_id string (optional)

The event_id token to be used to resume the interaction stream, from this event.

event_type object (required)

Nuk është dhënë përshkrim.

Always set to "interaction.completed" .

interaction InteractionSseEventInteraction (required)

Partial completed interaction resource emitted at the end of the stream.

Partial interaction resource emitted by interaction lifecycle SSE events. Streaming lifecycle payloads may omit fields that are only available on full non-streaming Interaction responses.

Fushat

agent string (optional)

The agent to interact with.

created string (optional)

Output only. The time at which the response was created in ISO 8601 format.

vargu i identifikimit (opsional)

Required. Output only. A unique identifier for the interaction completion.

varg modeli (opsional)

The model that will complete your prompt.

object string (optional)

Output only. The resource type.

service_tier ServiceTier (optional)

The service tier for the interaction.

Vlerat e mundshme

  • flex

    Flex service tier.

  • standard

    Standard service tier.

  • priority

    Priority service tier.

  • deferred

    Deferred service tier.

status enum (string) (optional)

Required. Output only. The status of the interaction.

Vlerat e mundshme:

  • in_progress

    The interaction is in progress.

  • requires_action

    The interaction requires action/input from the user.

  • completed

    The interaction is completed.

  • failed

    The interaction failed.

  • cancelled

    The interaction was cancelled.

  • incomplete

    The interaction is completed, but contains incomplete results (eg hitting max_tokens).

steps array ( Step ) (optional)

Output only. The steps that make up the interaction, if included in this event.

updated string (optional)

Output only. The time at which the response was last updated in ISO 8601 format.

usage Usage (optional)

Output only. Statistics on the interaction request's token usage.

Statistics on the interaction request's token usage.

Fushat

cached_tokens_by_modality array (ModalityTokens) (optional)

A breakdown of cached token usage by modality.

The token count for a single response modality.

Fushat

modality ResponseModality (optional)

The modality associated with the token count.

Vlerat e mundshme

  • text

    Indicates the model should return text.

  • image

    Indicates the model should return images.

  • audio

    Indicates the model should return audio.

  • video

    Indicates the model should return video.

  • document

    Indicates the model should return documents.

tokens integer (optional)

Number of tokens for the modality.

grounding_tool_count array (GroundingToolCount) (optional)

Grounding tool count.

The number of grounding tool counts.

Fushat

count integer (optional)

The number of grounding tool counts.

tipi enum (string) (opsionale)

The grounding tool type associated with the count.

Vlerat e mundshme:

  • google_search

    Grounding with Google Web Search and Image Search, & Web Grounding for Enterprise.

  • google_maps

    Grounding with Google Maps.

  • retrieval

    Grounding with customer's data, for example, VertexAISearch.

input_tokens_by_modality array (ModalityTokens) (optional)

A breakdown of input token usage by modality.

The token count for a single response modality.

Fushat

modality ResponseModality (optional)

The modality associated with the token count.

Vlerat e mundshme

  • text

    Indicates the model should return text.

  • image

    Indicates the model should return images.

  • audio

    Indicates the model should return audio.

  • video

    Indicates the model should return video.

  • document

    Indicates the model should return documents.

tokens integer (optional)

Number of tokens for the modality.

output_tokens_by_modality array (ModalityTokens) (optional)

A breakdown of output token usage by modality.

The token count for a single response modality.

Fushat

modality ResponseModality (optional)

The modality associated with the token count.

Vlerat e mundshme

  • text

    Indicates the model should return text.

  • image

    Indicates the model should return images.

  • audio

    Indicates the model should return audio.

  • video

    Indicates the model should return video.

  • document

    Indicates the model should return documents.

tokens integer (optional)

Number of tokens for the modality.

tool_use_tokens_by_modality array (ModalityTokens) (optional)

A breakdown of tool-use token usage by modality.

The token count for a single response modality.

Fushat

modality ResponseModality (optional)

The modality associated with the token count.

Vlerat e mundshme

  • text

    Indicates the model should return text.

  • image

    Indicates the model should return images.

  • audio

    Indicates the model should return audio.

  • video

    Indicates the model should return video.

  • document

    Indicates the model should return documents.

tokens integer (optional)

Number of tokens for the modality.

total_cached_tokens integer (optional)

Number of tokens in the cached part of the prompt (the cached content).

total_input_tokens integer (optional)

Number of tokens in the prompt (context).

total_output_tokens integer (optional)

Total number of tokens across all the generated responses.

total_thought_tokens integer (optional)

Number of tokens of thoughts for thinking models.

total_tokens integer (optional)

Total token count for the interaction request (prompt + responses + other internal tokens).

total_tool_use_tokens integer (optional)

Number of tokens present in tool-use prompt(s).

InteractionCreatedEvent

event_id string (optional)

The event_id token to be used to resume the interaction stream, from this event.

event_type object (required)

Nuk është dhënë përshkrim.

Always set to "interaction.created" .

interaction InteractionSseEventInteraction (required)

Partial interaction resource emitted when the stream is created.

Partial interaction resource emitted by interaction lifecycle SSE events. Streaming lifecycle payloads may omit fields that are only available on full non-streaming Interaction responses.

Fushat

agent string (optional)

The agent to interact with.

created string (optional)

Output only. The time at which the response was created in ISO 8601 format.

vargu i identifikimit (opsional)

Required. Output only. A unique identifier for the interaction completion.

varg modeli (opsional)

The model that will complete your prompt.

object string (optional)

Output only. The resource type.

service_tier ServiceTier (optional)

The service tier for the interaction.

Vlerat e mundshme

  • flex

    Flex service tier.

  • standard

    Standard service tier.

  • priority

    Priority service tier.

  • deferred

    Deferred service tier.

status enum (string) (optional)

Required. Output only. The status of the interaction.

Vlerat e mundshme:

  • in_progress

    The interaction is in progress.

  • requires_action

    The interaction requires action/input from the user.

  • completed

    The interaction is completed.

  • failed

    The interaction failed.

  • cancelled

    The interaction was cancelled.

  • incomplete

    The interaction is completed, but contains incomplete results (eg hitting max_tokens).

steps array ( Step ) (optional)

Output only. The steps that make up the interaction, if included in this event.

updated string (optional)

Output only. The time at which the response was last updated in ISO 8601 format.

usage Usage (optional)

Output only. Statistics on the interaction request's token usage.

Statistics on the interaction request's token usage.

Fushat

cached_tokens_by_modality array (ModalityTokens) (optional)

A breakdown of cached token usage by modality.

The token count for a single response modality.

Fushat

modality ResponseModality (optional)

The modality associated with the token count.

Vlerat e mundshme

  • text

    Indicates the model should return text.

  • image

    Indicates the model should return images.

  • audio

    Indicates the model should return audio.

  • video

    Indicates the model should return video.

  • document

    Indicates the model should return documents.

tokens integer (optional)

Number of tokens for the modality.

grounding_tool_count array (GroundingToolCount) (optional)

Grounding tool count.

The number of grounding tool counts.

Fushat

count integer (optional)

The number of grounding tool counts.

tipi enum (string) (opsionale)

The grounding tool type associated with the count.

Vlerat e mundshme:

  • google_search

    Grounding with Google Web Search and Image Search, & Web Grounding for Enterprise.

  • google_maps

    Grounding with Google Maps.

  • retrieval

    Grounding with customer's data, for example, VertexAISearch.

input_tokens_by_modality array (ModalityTokens) (optional)

A breakdown of input token usage by modality.

The token count for a single response modality.

Fushat

modality ResponseModality (optional)

The modality associated with the token count.

Vlerat e mundshme

  • text

    Indicates the model should return text.

  • image

    Indicates the model should return images.

  • audio

    Indicates the model should return audio.

  • video

    Indicates the model should return video.

  • document

    Indicates the model should return documents.

tokens integer (optional)

Number of tokens for the modality.

output_tokens_by_modality array (ModalityTokens) (optional)

A breakdown of output token usage by modality.

The token count for a single response modality.

Fushat

modality ResponseModality (optional)

The modality associated with the token count.

Vlerat e mundshme

  • text

    Indicates the model should return text.

  • image

    Indicates the model should return images.

  • audio

    Indicates the model should return audio.

  • video

    Indicates the model should return video.

  • document

    Indicates the model should return documents.

tokens integer (optional)

Number of tokens for the modality.

tool_use_tokens_by_modality array (ModalityTokens) (optional)

A breakdown of tool-use token usage by modality.

The token count for a single response modality.

Fushat

modality ResponseModality (optional)

The modality associated with the token count.

Vlerat e mundshme

  • text

    Indicates the model should return text.

  • image

    Indicates the model should return images.

  • audio

    Indicates the model should return audio.

  • video

    Indicates the model should return video.

  • document

    Indicates the model should return documents.

tokens integer (optional)

Number of tokens for the modality.

total_cached_tokens integer (optional)

Number of tokens in the cached part of the prompt (the cached content).

total_input_tokens integer (optional)

Number of tokens in the prompt (context).

total_output_tokens integer (optional)

Total number of tokens across all the generated responses.

total_thought_tokens integer (optional)

Number of tokens of thoughts for thinking models.

total_tokens integer (optional)

Total token count for the interaction request (prompt + responses + other internal tokens).

total_tool_use_tokens integer (optional)

Number of tokens present in tool-use prompt(s).

InteractionStatusUpdate

event_id string (optional)

The event_id token to be used to resume the interaction stream, from this event.

event_type object (required)

Nuk është dhënë përshkrim.

Always set to "interaction.status_update" .

interaction_id string (required)

Nuk është dhënë përshkrim.

status enum (string) (required)

Nuk është dhënë përshkrim.

Vlerat e mundshme:

  • in_progress

    The interaction is in progress.

  • requires_action

    The interaction requires action/input from the user.

  • completed

    The interaction is completed.

  • failed

    The interaction failed.

  • cancelled

    The interaction was cancelled.

  • incomplete

    The interaction is completed, but contains incomplete results (eg hitting max_tokens).

  • budget_exceeded

    The interaction was halted because the token budget was exceeded.

  • queued

    The interaction is queued, waiting for processing (eg waiting for off-peak capacity).

StepDelta

delta StepDeltaData (required)

Nuk është dhënë përshkrim.

Llojet e mundshme

ArgumentsDelta

arguments string (optional)

Nuk është dhënë përshkrim.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "arguments_delta" .

AudioDelta

channels integer (optional)

The number of audio channels.

data string (optional)

Nuk është dhënë përshkrim.

mime_type enum (string) (optional)

Nuk është dhënë përshkrim.

Vlerat e mundshme:

  • audio/wav

    WAV audio format

  • audio/mp3

    MP3 audio format

  • audio/aiff

    AIFF audio format

  • audio/aac

    AAC audio format

  • audio/ogg

    OGG audio format

  • audio/flac

    FLAC audio format

  • audio/mpeg

    MPEG audio format

  • audio/m4a

    M4A audio format

  • audio/l16

    L16 audio format

  • audio/opus

    OPUS audio format

  • audio/alaw

    ALAW audio format

  • audio/mulaw

    MULAW audio format

sample_rate integer (optional)

The sample rate of the audio.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "audio" .

uri string (optional)

Nuk është dhënë përshkrim.

CodeExecutionCallDelta

arguments CodeExecutionCallArguments (required)

Nuk është dhënë përshkrim.

The arguments to pass to the code execution.

Fushat

code string (optional)

The code to be executed.

language enum (string) (optional)

Programming language of the `code`.

Vlerat e mundshme:

  • python

    Python >= 3.10, with numpy and simpy available.

signature string (optional)

A signature hash for backend validation.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "code_execution_call" .

CodeExecutionResultDelta

is_error boolean (optional)

Nuk është dhënë përshkrim.

result string (required)

Nuk është dhënë përshkrim.

signature string (optional)

A signature hash for backend validation.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "code_execution_result" .

DocumentDelta

data string (optional)

Nuk është dhënë përshkrim.

mime_type enum (string) (optional)

Nuk është dhënë përshkrim.

Vlerat e mundshme:

  • application/pdf

    PDF document format

  • text/csv

    CSV document format

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "document" .

uri string (optional)

Nuk është dhënë përshkrim.

FileSearchCallDelta

signature string (optional)

A signature hash for backend validation.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "file_search_call" .

FileSearchResultDelta

result array (FileSearchResult) (required)

Nuk është dhënë përshkrim.

The result of the File Search.

signature string (optional)

A signature hash for backend validation.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "file_search_result" .

FunctionResultDelta

call_id string (required)

Required. ID to match the ID from the function call block.

is_error boolean (optional)

Nuk është dhënë përshkrim.

varg emri (opsional)

Nuk është dhënë përshkrim.

result array ( ImageContent or TextContent ) or object or string (required)

Nuk është dhënë përshkrim.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "function_result" .

GoogleMapsCallDelta

arguments GoogleMapsCallArguments (optional)

The arguments to pass to the Google Maps tool.

The arguments to pass to the Google Maps tool.

Fushat

queries array (string) (optional)

The queries to be executed.

signature string (optional)

A signature hash for backend validation.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "google_maps_call" .

GoogleMapsResultDelta

result array (GoogleMapsResult) (optional)

The results of the Google Maps.

The result of the Google Maps.

Fushat

places array (Places) (optional)

The places that were found.

Fushat

varg emri (opsional)

Title of the place.

place_id string (optional)

The ID of the place, in `places/{place_id}` format.

review_snippets array (ReviewSnippet) (optional)

Snippets of reviews that are used to generate answers about the features of a given place in Google Maps.

Encapsulates a snippet of a user review that answers a question about the features of a specific place in Google Maps.

Fushat

review_id string (optional)

The ID of the review snippet.

title string (optional)

Title of the review.

vargu i url- së (opsional)

A link that corresponds to the user review on Google Maps.

vargu i url- së (opsional)

URI reference of the place.

widget_context_token string (optional)

Resource name of the Google Maps widget context token.

signature string (optional)

A signature hash for backend validation.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "google_maps_result" .

GoogleSearchCallDelta

arguments GoogleSearchCallArguments (required)

Nuk është dhënë përshkrim.

The arguments to pass to Google Search.

Fushat

queries array (string) (optional)

Web search queries for the following-up web search.

signature string (optional)

A signature hash for backend validation.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "google_search_call" .

GoogleSearchResultDelta

is_error boolean (optional)

Nuk është dhënë përshkrim.

result array (GoogleSearchResult) (required)

Nuk është dhënë përshkrim.

The result of the Google Search.

Fushat

search_suggestions string (optional)

Web content snippet that can be embedded in a web page or an app webview.

signature string (optional)

A signature hash for backend validation.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "google_search_result" .

ImageDelta

data string (optional)

Nuk është dhënë përshkrim.

mime_type enum (string) (optional)

Nuk është dhënë përshkrim.

Vlerat e mundshme:

  • image/png

    PNG image format

  • image/jpeg

    JPEG image format

  • image/webp

    WebP image format

  • image/heic

    HEIC image format

  • image/heif

    HEIF image format

  • image/gif

    GIF image format

  • image/bmp

    BMP image format

  • image/tiff

    TIFF image format

resolution MediaResolution (optional)

The resolution of the media.

Vlerat e mundshme

  • low

    Low resolution.

  • medium

    Medium resolution.

  • high

    High resolution.

  • ultra_high

    Ultra high resolution.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "image" .

uri string (optional)

Nuk është dhënë përshkrim.

McpServerToolCallDelta

arguments object (required)

Nuk është dhënë përshkrim.

name string (required)

Nuk është dhënë përshkrim.

server_name string (required)

Nuk është dhënë përshkrim.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "mcp_server_tool_call" .

McpServerToolResultDelta

varg emri (opsional)

Nuk është dhënë përshkrim.

result array ( ImageContent or TextContent ) or object or string (required)

Nuk është dhënë përshkrim.

server_name string (optional)

Nuk është dhënë përshkrim.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "mcp_server_tool_result" .

ProcessingCallDelta

Streaming delta for a server-initiated media processing step.

signature string (optional)

A signature hash for backend validation.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "processing_call" .

ProcessingResultDelta

Streaming delta for the result of a server-initiated media processing step.

signature string (optional)

A signature hash for backend validation.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "processing_result" .

RetrievalCallDelta

Used by Vertex Retrieval tools such as Parallel AI, Exa AI, Vertex AI Search, etc. RetrievalType decides which tool is used.

arguments RetrievalStepArguments (required)

Required. The arguments to pass to the Retrieval tool.

The arguments to pass to Retrieval tools.

Fushat

queries array (string) (optional)

Queries for Retrieval information.

retrieval_type enum (string) (optional)

The type of retrieval tools.

Vlerat e mundshme:

  • rag_store

    The type of retrieval tools.

  • exa_ai_search

    The type of retrieval tools.

  • parallel_ai_search

    The type of retrieval tools.

signature string (optional)

A signature hash for backend validation.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "retrieval_call" .

RetrievalResultDelta

Used by Vertex Retrieval tools such as Parallel AI, Exa AI, Vertex AI Search, etc. ToolResultDelta.type

is_error boolean (optional)

Whether the retrieval resulted in an error.

signature string (optional)

A signature hash for backend validation.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "retrieval_result" .

TextAnnotationDelta

annotations array (Annotation) (optional)

Citation information for model-generated content.

Citation information for model-generated content.

Llojet e mundshme

FileCitation

A file citation annotation.

custom_metadata object (optional)

User provided metadata about the retrieved context.

document_uri string (optional)

The URI of the file.

end_index integer (optional)

End of the attributed segment, exclusive.

file_name string (optional)

The name of the file.

media_id string (optional)

Media ID in-case of image citations, if applicable.

page_number integer (optional)

Page number of the cited document, if applicable.

vargu burimor (opsional)

Source attributed for a portion of the text.

start_index integer (optional)

Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "file_citation" .

PlaceCitation

A place citation annotation.

end_index integer (optional)

End of the attributed segment, exclusive.

varg emri (opsional)

Title of the place.

place_id string (optional)

The ID of the place, in `places/{place_id}` format.

review_snippets array (ReviewSnippet) (optional)

Snippets of reviews that are used to generate answers about the features of a given place in Google Maps.

Encapsulates a snippet of a user review that answers a question about the features of a specific place in Google Maps.

Fushat

review_id string (optional)

The ID of the review snippet.

title string (optional)

Title of the review.

vargu i url- së (opsional)

A link that corresponds to the user review on Google Maps.

start_index integer (optional)

Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "place_citation" .

vargu i url- së (opsional)

URI reference of the place.

UrlCitation

A URL citation annotation.

end_index integer (optional)

End of the attributed segment, exclusive.

start_index integer (optional)

Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.

title string (optional)

The title of the URL.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "url_citation" .

vargu i url- së (opsional)

The URL.

WordInfo

Word-level ASR annotation for transcription output. Carries the word text, optional timing, and optional speaker attribution.

end_index integer (optional)

End of the attributed segment, exclusive.

end_offset string (optional)

End offset in time of the word relative to the start of the audio. Present when timestamp_granularities contains "word".

speaker string (optional)

Optional. Speaker label for this word (eg "spk_1", "spk_2"). Present when diarization_mode is set in TranscriptionConfig.

start_index integer (optional)

Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.

start_offset string (optional)

Start offset in time of the word relative to the start of the audio. Present when timestamp_granularities contains "word".

text string (optional)

The transcribed word.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "word_info" .

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "text_annotation_delta" .

TextDelta

text string (required)

Nuk është dhënë përshkrim.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "text" .

ThoughtSignatureDelta

signature string (optional)

Signature to match the backend source to be part of the generation.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "thought_signature" .

ThoughtSummaryDelta

content Content (optional)

A new summary item to be added to the thought.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "thought_summary" .

UrlContextCallDelta

arguments UrlContextCallArguments (required)

Nuk është dhënë përshkrim.

The arguments to pass to the URL context.

Fushat

urls array (string) (optional)

The URLs to fetch.

signature string (optional)

A signature hash for backend validation.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "url_context_call" .

UrlContextResultDelta

is_error boolean (optional)

Nuk është dhënë përshkrim.

result array (UrlContextResult) (required)

Nuk është dhënë përshkrim.

The result of the URL context.

Fushat

status enum (string) (optional)

The status of the URL retrieval.

Vlerat e mundshme:

  • success

    Url retrieval is successful.

  • error

    Url retrieval is failed due to error.

  • paywall

    Url retrieval is failed because the content is behind paywall.

  • unsafe

    Url retrieval is failed because the content is unsafe.

vargu i url- së (opsional)

The URL that was fetched.

signature string (optional)

A signature hash for backend validation.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "url_context_result" .

VideoDelta

data string (optional)

Nuk është dhënë përshkrim.

mime_type enum (string) (optional)

Nuk është dhënë përshkrim.

Vlerat e mundshme:

  • video/mp4

    MP4 video format

  • video/mpeg

    MPEG video format

  • video/mpg

    MPG video format

  • video/mov

    MOV video format

  • video/avi

    AVI video format

  • video/x-flv

    FLV video format

  • video/webm

    WebM video format

  • video/wmv

    WMV video format

  • video/3gpp

    3GPP video format

  • video/jpeg2000

    JPEG 2000 video format

resolution MediaResolution (optional)

The resolution of the media.

Vlerat e mundshme

  • low

    Low resolution.

  • medium

    Medium resolution.

  • high

    High resolution.

  • ultra_high

    Ultra high resolution.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "video" .

uri string (optional)

Nuk është dhënë përshkrim.

event_id string (optional)

The event_id token to be used to resume the interaction stream, from this event.

event_type object (required)

Nuk është dhënë përshkrim.

Always set to "step.delta" .

index integer (required)

Nuk është dhënë përshkrim.

metadata StepDeltaMetadata (optional)

Nuk është dhënë përshkrim.

Optional metadata accompanying ANY streamed event.

Fushat

total_usage Usage (optional)

Statistics on the interaction request's token usage.

Statistics on the interaction request's token usage.

Fushat

cached_tokens_by_modality array (ModalityTokens) (optional)

A breakdown of cached token usage by modality.

The token count for a single response modality.

Fushat

modality ResponseModality (optional)

The modality associated with the token count.

Vlerat e mundshme

  • text

    Indicates the model should return text.

  • image

    Indicates the model should return images.

  • audio

    Indicates the model should return audio.

  • video

    Indicates the model should return video.

  • document

    Indicates the model should return documents.

tokens integer (optional)

Number of tokens for the modality.

grounding_tool_count array (GroundingToolCount) (optional)

Grounding tool count.

The number of grounding tool counts.

Fushat

count integer (optional)

The number of grounding tool counts.

tipi enum (string) (opsionale)

The grounding tool type associated with the count.

Vlerat e mundshme:

  • google_search

    Grounding with Google Web Search and Image Search, & Web Grounding for Enterprise.

  • google_maps

    Grounding with Google Maps.

  • retrieval

    Grounding with customer's data, for example, VertexAISearch.

input_tokens_by_modality array (ModalityTokens) (optional)

A breakdown of input token usage by modality.

The token count for a single response modality.

Fushat

modality ResponseModality (optional)

The modality associated with the token count.

Vlerat e mundshme

  • text

    Indicates the model should return text.

  • image

    Indicates the model should return images.

  • audio

    Indicates the model should return audio.

  • video

    Indicates the model should return video.

  • document

    Indicates the model should return documents.

tokens integer (optional)

Number of tokens for the modality.

output_tokens_by_modality array (ModalityTokens) (optional)

A breakdown of output token usage by modality.

The token count for a single response modality.

Fushat

modality ResponseModality (optional)

The modality associated with the token count.

Vlerat e mundshme

  • text

    Indicates the model should return text.

  • image

    Indicates the model should return images.

  • audio

    Indicates the model should return audio.

  • video

    Indicates the model should return video.

  • document

    Indicates the model should return documents.

tokens integer (optional)

Number of tokens for the modality.

tool_use_tokens_by_modality array (ModalityTokens) (optional)

A breakdown of tool-use token usage by modality.

The token count for a single response modality.

Fushat

modality ResponseModality (optional)

The modality associated with the token count.

Vlerat e mundshme

  • text

    Indicates the model should return text.

  • image

    Indicates the model should return images.

  • audio

    Indicates the model should return audio.

  • video

    Indicates the model should return video.

  • document

    Indicates the model should return documents.

tokens integer (optional)

Number of tokens for the modality.

total_cached_tokens integer (optional)

Number of tokens in the cached part of the prompt (the cached content).

total_input_tokens integer (optional)

Number of tokens in the prompt (context).

total_output_tokens integer (optional)

Total number of tokens across all the generated responses.

total_thought_tokens integer (optional)

Number of tokens of thoughts for thinking models.

total_tokens integer (optional)

Total token count for the interaction request (prompt + responses + other internal tokens).

total_tool_use_tokens integer (optional)

Number of tokens present in tool-use prompt(s).

StepStart

event_id string (optional)

The event_id token to be used to resume the interaction stream, from this event.

event_type object (required)

Nuk është dhënë përshkrim.

Always set to "step.start" .

index integer (required)

Nuk është dhënë përshkrim.

step Step (required)

Nuk është dhënë përshkrim.

StepStop

event_id string (optional)

The event_id token to be used to resume the interaction stream, from this event.

event_type object (required)

Nuk është dhënë përshkrim.

Always set to "step.stop" .

index integer (required)

Nuk është dhënë përshkrim.

step_usage Usage (optional)

Model usage stats for this specific step.

Statistics on the interaction request's token usage.

Fushat

cached_tokens_by_modality array (ModalityTokens) (optional)

A breakdown of cached token usage by modality.

The token count for a single response modality.

Fushat

modality ResponseModality (optional)

The modality associated with the token count.

Vlerat e mundshme

  • text

    Indicates the model should return text.

  • image

    Indicates the model should return images.

  • audio

    Indicates the model should return audio.

  • video

    Indicates the model should return video.

  • document

    Indicates the model should return documents.

tokens integer (optional)

Number of tokens for the modality.

grounding_tool_count array (GroundingToolCount) (optional)

Grounding tool count.

The number of grounding tool counts.

Fushat

count integer (optional)

The number of grounding tool counts.

tipi enum (string) (opsionale)

The grounding tool type associated with the count.

Vlerat e mundshme:

  • google_search

    Grounding with Google Web Search and Image Search, & Web Grounding for Enterprise.

  • google_maps

    Grounding with Google Maps.

  • retrieval

    Grounding with customer's data, for example, VertexAISearch.

input_tokens_by_modality array (ModalityTokens) (optional)

A breakdown of input token usage by modality.

The token count for a single response modality.

Fushat

modality ResponseModality (optional)

The modality associated with the token count.

Vlerat e mundshme

  • text

    Indicates the model should return text.

  • image

    Indicates the model should return images.

  • audio

    Indicates the model should return audio.

  • video

    Indicates the model should return video.

  • document

    Indicates the model should return documents.

tokens integer (optional)

Number of tokens for the modality.

output_tokens_by_modality array (ModalityTokens) (optional)

A breakdown of output token usage by modality.

The token count for a single response modality.

Fushat

modality ResponseModality (optional)

The modality associated with the token count.

Vlerat e mundshme

  • text

    Indicates the model should return text.

  • image

    Indicates the model should return images.

  • audio

    Indicates the model should return audio.

  • video

    Indicates the model should return video.

  • document

    Indicates the model should return documents.

tokens integer (optional)

Number of tokens for the modality.

tool_use_tokens_by_modality array (ModalityTokens) (optional)

A breakdown of tool-use token usage by modality.

The token count for a single response modality.

Fushat

modality ResponseModality (optional)

The modality associated with the token count.

Vlerat e mundshme

  • text

    Indicates the model should return text.

  • image

    Indicates the model should return images.

  • audio

    Indicates the model should return audio.

  • video

    Indicates the model should return video.

  • document

    Indicates the model should return documents.

tokens integer (optional)

Number of tokens for the modality.

total_cached_tokens integer (optional)

Number of tokens in the cached part of the prompt (the cached content).

total_input_tokens integer (optional)

Number of tokens in the prompt (context).

total_output_tokens integer (optional)

Total number of tokens across all the generated responses.

total_thought_tokens integer (optional)

Number of tokens of thoughts for thinking models.

total_tokens integer (optional)

Total token count for the interaction request (prompt + responses + other internal tokens).

total_tool_use_tokens integer (optional)

Number of tokens present in tool-use prompt(s).

usage Usage (optional)

Cumulative model usage stats from the start of the session.

Statistics on the interaction request's token usage.

Fushat

cached_tokens_by_modality array (ModalityTokens) (optional)

A breakdown of cached token usage by modality.

The token count for a single response modality.

Fushat

modality ResponseModality (optional)

The modality associated with the token count.

Vlerat e mundshme

  • text

    Indicates the model should return text.

  • image

    Indicates the model should return images.

  • audio

    Indicates the model should return audio.

  • video

    Indicates the model should return video.

  • document

    Indicates the model should return documents.

tokens integer (optional)

Number of tokens for the modality.

grounding_tool_count array (GroundingToolCount) (optional)

Grounding tool count.

The number of grounding tool counts.

Fushat

count integer (optional)

The number of grounding tool counts.

tipi enum (string) (opsionale)

The grounding tool type associated with the count.

Vlerat e mundshme:

  • google_search

    Grounding with Google Web Search and Image Search, & Web Grounding for Enterprise.

  • google_maps

    Grounding with Google Maps.

  • retrieval

    Grounding with customer's data, for example, VertexAISearch.

input_tokens_by_modality array (ModalityTokens) (optional)

A breakdown of input token usage by modality.

The token count for a single response modality.

Fushat

modality ResponseModality (optional)

The modality associated with the token count.

Vlerat e mundshme

  • text

    Indicates the model should return text.

  • image

    Indicates the model should return images.

  • audio

    Indicates the model should return audio.

  • video

    Indicates the model should return video.

  • document

    Indicates the model should return documents.

tokens integer (optional)

Number of tokens for the modality.

output_tokens_by_modality array (ModalityTokens) (optional)

A breakdown of output token usage by modality.

The token count for a single response modality.

Fushat

modality ResponseModality (optional)

The modality associated with the token count.

Vlerat e mundshme

  • text

    Indicates the model should return text.

  • image

    Indicates the model should return images.

  • audio

    Indicates the model should return audio.

  • video

    Indicates the model should return video.

  • document

    Indicates the model should return documents.

tokens integer (optional)

Number of tokens for the modality.

tool_use_tokens_by_modality array (ModalityTokens) (optional)

A breakdown of tool-use token usage by modality.

The token count for a single response modality.

Fushat

modality ResponseModality (optional)

The modality associated with the token count.

Vlerat e mundshme

  • text

    Indicates the model should return text.

  • image

    Indicates the model should return images.

  • audio

    Indicates the model should return audio.

  • video

    Indicates the model should return video.

  • document

    Indicates the model should return documents.

tokens integer (optional)

Number of tokens for the modality.

total_cached_tokens integer (optional)

Number of tokens in the cached part of the prompt (the cached content).

total_input_tokens integer (optional)

Number of tokens in the prompt (context).

total_output_tokens integer (optional)

Total number of tokens across all the generated responses.

total_thought_tokens integer (optional)

Number of tokens of thoughts for thinking models.

total_tokens integer (optional)

Total token count for the interaction request (prompt + responses + other internal tokens).

total_tool_use_tokens integer (optional)

Number of tokens present in tool-use prompt(s).

Shembuj

Error Event

{
  "error": {
    "code": "not_found",
    "message": "Failed to get completed interaction: Result not found."
  },
  "event_type": "error"
}

Interaction Completed

{
  "event_id": "evt_123",
  "event_type": "interaction.completed",
  "interaction": {
    "created": "2025-12-04T15:01:45Z",
    "id": "v1_ChdXS0l4YWZXTk9xbk0xZThQczhEcmlROBIXV0tJeGFmV05PcW5NMWU4UHM4RHJpUTg",
    "model": "gemini-3.6-flash",
    "status": "completed",
    "updated": "2025-12-04T15:01:45Z"
  }
}

Interaction Completed

{
  "event_id": "evt_123",
  "event_type": "interaction.completed",
  "interaction": {
    "created": "2025-12-04T15:01:45Z",
    "id": "v1_ChdXS0l4YWZXTk9xbk0xZThQczhEcmlROBIXV0tJeGFmV05PcW5NMWU4UHM4RHJpUTg",
    "model": "gemini-3-flash-preview",
    "object": "interaction",
    "status": "completed",
    "updated": "2025-12-04T15:01:45Z"
  }
}

Interaction Created

{
  "event_id": "evt_123",
  "event_type": "interaction.created",
  "interaction": {
    "created": "2025-12-04T15:01:45Z",
    "id": "v1_ChdXS0l4YWZXTk9xbk0xZThQczhEcmlROBIXV0tJeGFmV05PcW5NMWU4UHM4RHJpUTg",
    "model": "gemini-3.6-flash",
    "status": "in_progress",
    "updated": "2025-12-04T15:01:45Z"
  }
}

Interaction Created

{
  "event_id": "evt_123",
  "event_type": "interaction.created",
  "interaction": {
    "id": "v1_ChdXS0l4YWZXTk9xbk0xZThQczhEcmlROBIXV0tJeGFmV05PcW5NMWU4UHM4RHJpUTg",
    "model": "gemini-3-flash-preview",
    "object": "interaction",
    "status": "in_progress"
  }
}

Interaction Status Update

{
  "event_type": "interaction.status_update",
  "interaction_id": "v1_ChdTMjQ0YWJ5TUF1TzcxZThQdjRpcnFRcxIXUzI0NGFieU1BdU83MWU4UHY0aXJxUXM",
  "status": "in_progress"
}

Step Delta

{
  "delta": {
    "type": "text",
    "text": "Hello"
  },
  "event_type": "step.delta",
  "index": 0
}

Step Start

{
  "event_type": "step.start",
  "index": 0,
  "step": {
    "type": "model_output"
  }
}

Step Stop

{
  "event_type": "step.stop",
  "index": 0
}

ResponseFormat

Llojet e mundshme

AudioResponseFormat

Configuration for audio output format.

bit_rate integer (optional)

Bit rate in bits per second (bps). Only applicable for compressed formats (MP3, Opus).

delivery enum (string) (optional)

The delivery mode for the audio output.

Vlerat e mundshme:

  • inline

    Audio data is returned inline in the response.

  • uri

    Audio data is returned as a URI.

mime_type enum (string) (optional)

The MIME type of the audio output.

Vlerat e mundshme:

  • audio/mp3

    MP3 audio format.

  • audio/ogg_opus

    OGG Opus audio format.

  • audio/l16

    Raw PCM (L16) audio format.

  • audio/wav

    WAV audio format.

  • audio/alaw

    A-law audio format.

  • audio/mulaw

    Mu-law audio format.

sample_rate integer (optional)

Sample rate in Hz.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "audio" .

ImageResponseFormat

Configuration for image output format.

aspect_ratio enum (string) (optional)

The aspect ratio for the image output.

Vlerat e mundshme:

  • 1:1

    1:1 aspect ratio.

  • 2:3

    2:3 aspect ratio.

  • 3:2

    3:2 aspect ratio.

  • 3:4

    3:4 aspect ratio.

  • 4:3

    4:3 aspect ratio.

  • 4:5

    4:5 aspect ratio.

  • 5:4

    5:4 aspect ratio.

  • 9:16

    9:16 aspect ratio.

  • 16:9

    16:9 aspect ratio.

  • 21:9

    21:9 aspect ratio.

  • 1:8

    1:8 aspect ratio.

  • 8:1

    8:1 aspect ratio.

  • 1:4

    1:4 aspect ratio.

  • 4:1

    4:1 aspect ratio.

delivery enum (string) (optional)

The delivery mode for the image output.

Vlerat e mundshme:

  • inline

    Image data is returned inline in the response.

  • uri

    Image data is returned as a URI.

image_size enum (string) (optional)

The size of the image output.

Vlerat e mundshme:

  • 512

    512px image size.

  • 1K

    1K image size.

  • 2K

    2K image size.

  • 4K

    4K image size.

mime_type enum (string) (optional)

The MIME type of the image output.

Vlerat e mundshme:

  • image/jpeg

    JPEG image format.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "image" .

TextResponseFormat

Configuration for text output format.

mime_type enum (string) (optional)

The MIME type of the text output.

Vlerat e mundshme:

  • application/json

    JSON output format.

  • text/plain

    Plain text output format.

schema object (optional)

The JSON schema that the output should conform to. Only applicable when mime_type is application/json.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "text" .

VideoResponseFormat

Configuration for video output format.

aspect_ratio enum (string) (optional)

The aspect ratio for the video output.

Vlerat e mundshme:

  • 16:9

    16:9 aspect ratio.

  • 9:16

    9:16 aspect ratio.

delivery enum (string) (optional)

The delivery mode for the video output.

Vlerat e mundshme:

  • inline

    Video data is returned inline in the response.

  • uri

    Video data is returned as a URI.

duration string (optional)

The duration for the video output.

gcs_uri string (optional)

The Cloud Storage URI to store the video output. Required for Vertex if delivery mode is URI.

resolution enum (string) (optional)

The video output resolution. Defaults to 720p.

Vlerat e mundshme:

  • 360p

    360p resolution.

  • 720p

    720p resolution.

  • 1080p

    1080p resolution.

  • 4k

    4K resolution.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "video" .

Shembuj

Dalja e audios

{
  "type": "audio",
  "sample_rate": 24000
}

Image Output

{
  "type": "image",
  "aspect_ratio": "16:9",
  "image_size": "1K",
  "mime_type": "image/jpeg"
}

Text Output (JSON Schema)

{
  "type": "text",
  "mime_type": "application/json",
  "schema": {
    "type": "object",
    "properties": {
      "ingredients": {
        "type": "array",
        "items": {
          "type": "string"
        }
      },
      "recipe_name": {
        "type": "string"
      }
    },
    "required": [
      "ingredients",
      "recipe_name"
    ]
  }
}

Video Output

{
  "type": "video",
  "aspect_ratio": "16:9",
  "delivery": "inline"
}

Hapi

A step in the interaction.

Llojet e mundshme

CodeExecutionCallStep

Code execution call step.

arguments CodeExecutionCallStepArguments (required)

Required. The arguments to pass to the code execution.

The arguments to pass to the code execution.

Fushat

code string (optional)

The code to be executed.

language enum (string) (optional)

Programming language of the `code`.

Vlerat e mundshme:

  • python

    Python >= 3.10, with numpy and simpy available.

vargu i identifikimit (i detyrueshëm)

Required. A unique ID for this specific tool call.

signature string (optional)

A signature hash for backend validation.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "code_execution_call" .

CodeExecutionResultStep

Code execution result step.

call_id string (required)

Required. ID to match the ID from the function call block.

is_error boolean (optional)

Whether the code execution resulted in an error.

result string (required)

Required. The output of the code execution.

signature string (optional)

A signature hash for backend validation.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "code_execution_result" .

FileSearchCallStep

File Search call step.

vargu i identifikimit (i detyrueshëm)

Required. A unique ID for this specific tool call.

signature string (optional)

A signature hash for backend validation.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "file_search_call" .

FileSearchResultStep

File Search result step.

call_id string (required)

Required. ID to match the ID from the function call block.

signature string (optional)

A signature hash for backend validation.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "file_search_result" .

FunctionCallStep

A function tool call step.

arguments object (required)

Required. The arguments to pass to the function.

vargu i identifikimit (i detyrueshëm)

Required. A unique ID for this specific tool call.

name string (required)

Required. The name of the tool to call.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "function_call" .

FunctionResultStep

Result of a function tool call.

call_id string (required)

Required. ID to match the ID from the function call block.

is_error boolean (optional)

Whether the tool call resulted in an error.

varg emri (opsional)

The name of the tool that was called.

result array ( ImageContent or TextContent ) or object or string (required)

Required. The result of the tool call.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "function_result" .

GoogleMapsCallStep

Google Maps call step.

arguments GoogleMapsCallStepArguments (optional)

The arguments to pass to the Google Maps tool.

The arguments to pass to the Google Maps tool.

Fushat

queries array (string) (optional)

The queries to be executed.

vargu i identifikimit (i detyrueshëm)

Required. A unique ID for this specific tool call.

signature string (optional)

A signature hash for backend validation.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "google_maps_call" .

GoogleMapsResultStep

Google Maps result step.

call_id string (required)

Required. ID to match the ID from the function call block.

result array (GoogleMapsResultItem) (required)

Nuk është dhënë përshkrim.

The result of the Google Maps.

Fushat

places array (GoogleMapsResultPlaces) (optional)

Nuk është dhënë përshkrim.

Fushat

varg emri (opsional)

Nuk është dhënë përshkrim.

place_id string (optional)

Nuk është dhënë përshkrim.

review_snippets array (ReviewSnippet) (optional)

Nuk është dhënë përshkrim.

Encapsulates a snippet of a user review that answers a question about the features of a specific place in Google Maps.

Fushat

review_id string (optional)

The ID of the review snippet.

title string (optional)

Title of the review.

vargu i url- së (opsional)

A link that corresponds to the user review on Google Maps.

vargu i url- së (opsional)

Nuk është dhënë përshkrim.

widget_context_token string (optional)

Nuk është dhënë përshkrim.

signature string (optional)

A signature hash for backend validation.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "google_maps_result" .

GoogleSearchCallStep

Google Search call step.

arguments GoogleSearchCallStepArguments (required)

Required. The arguments to pass to Google Search.

The arguments to pass to Google Search.

Fushat

queries array (string) (optional)

Web search queries for the following-up web search.

vargu i identifikimit (i detyrueshëm)

Required. A unique ID for this specific tool call.

search_type enum (string) (optional)

The type of search grounding enabled.

Vlerat e mundshme:

  • web_search

    Vendosja e kësaj fushe aktivizon kërkimin në internet. Kthehen vetëm rezultatet me tekst.

  • image_search

    Vendosja e kësaj fushe aktivizon kërkimin e imazheve. Kthehen bajtet e imazheve.

  • enterprise_web_search

    Vendosja e kësaj fushe aktivizon kërkimin në internet të ndërmarrjes.

signature string (optional)

A signature hash for backend validation.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "google_search_call" .

GoogleSearchResultStep

Google Search result step.

call_id string (required)

Required. ID to match the ID from the function call block.

is_error boolean (optional)

Whether the Google Search resulted in an error.

result array (GoogleSearchResultItem) (required)

Required. The results of the Google Search.

The result of the Google Search.

Fushat

search_suggestions string (optional)

Web content snippet that can be embedded in a web page or an app webview.

signature string (optional)

A signature hash for backend validation.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "google_search_result" .

McpServerToolCallStep

MCPServer tool call step.

arguments object (required)

Required. The JSON object of arguments for the function.

vargu i identifikimit (i detyrueshëm)

Required. A unique ID for this specific tool call.

name string (required)

Required. The name of the tool which was called.

server_name string (required)

Required. The name of the used MCP server.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "mcp_server_tool_call" .

McpServerToolResultStep

MCPServer tool result step.

call_id string (required)

Required. ID to match the ID from the function call block.

varg emri (opsional)

Name of the tool which is called for this specific tool call.

result array ( ImageContent or TextContent ) or object or string (required)

Required. The output from the MCP server call. Can be simple text or rich content.

server_name string (optional)

The name of the used MCP server.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "mcp_server_tool_result" .

ModelOutputStep

Output generated by the model.

content array ( Content ) (optional)

Nuk është dhënë përshkrim.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "model_output" .

ThoughtStep

A thought step.

signature string (optional)

A signature hash for backend validation.

summary array (ThoughtSummaryContent) (optional)

A summary of the thought.

Llojet e mundshme

ImageContent

An image content block.

data string (optional)

The image content.

mime_type enum (string) (optional)

The mime type of the image.

Vlerat e mundshme:

  • image/png

    PNG image format

  • image/jpeg

    JPEG image format

  • image/webp

    WebP image format

  • image/heic

    HEIC image format

  • image/heif

    HEIF image format

  • image/gif

    GIF image format

  • image/bmp

    BMP image format

  • image/tiff

    TIFF image format

resolution MediaResolution (optional)

The resolution of the media.

Vlerat e mundshme

  • low

    Low resolution.

  • medium

    Medium resolution.

  • high

    High resolution.

  • ultra_high

    Ultra high resolution.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "image" .

uri string (optional)

The URI of the image.

TextContent

A text content block.

annotations array (Annotation) (optional)

Citation information for model-generated content.

Citation information for model-generated content.

Llojet e mundshme

FileCitation

A file citation annotation.

custom_metadata object (optional)

User provided metadata about the retrieved context.

document_uri string (optional)

The URI of the file.

end_index integer (optional)

End of the attributed segment, exclusive.

file_name string (optional)

The name of the file.

media_id string (optional)

Media ID in-case of image citations, if applicable.

page_number integer (optional)

Page number of the cited document, if applicable.

vargu burimor (opsional)

Source attributed for a portion of the text.

start_index integer (optional)

Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "file_citation" .

PlaceCitation

A place citation annotation.

end_index integer (optional)

End of the attributed segment, exclusive.

varg emri (opsional)

Title of the place.

place_id string (optional)

The ID of the place, in `places/{place_id}` format.

review_snippets array (ReviewSnippet) (optional)

Snippets of reviews that are used to generate answers about the features of a given place in Google Maps.

Encapsulates a snippet of a user review that answers a question about the features of a specific place in Google Maps.

Fushat

review_id string (optional)

The ID of the review snippet.

title string (optional)

Title of the review.

vargu i url- së (opsional)

A link that corresponds to the user review on Google Maps.

start_index integer (optional)

Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "place_citation" .

vargu i url- së (opsional)

URI reference of the place.

UrlCitation

A URL citation annotation.

end_index integer (optional)

End of the attributed segment, exclusive.

start_index integer (optional)

Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.

title string (optional)

The title of the URL.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "url_citation" .

vargu i url- së (opsional)

The URL.

WordInfo

Word-level ASR annotation for transcription output. Carries the word text, optional timing, and optional speaker attribution.

end_index integer (optional)

End of the attributed segment, exclusive.

end_offset string (optional)

End offset in time of the word relative to the start of the audio. Present when timestamp_granularities contains "word".

speaker string (optional)

Optional. Speaker label for this word (eg "spk_1", "spk_2"). Present when diarization_mode is set in TranscriptionConfig.

start_index integer (optional)

Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.

start_offset string (optional)

Start offset in time of the word relative to the start of the audio. Present when timestamp_granularities contains "word".

text string (optional)

The transcribed word.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "word_info" .

text string (required)

Required. The text content.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "text" .

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "thought" .

UrlContextCallStep

URL context call step.

arguments UrlContextCallArguments (required)

Required. The arguments to pass to the URL context.

The arguments to pass to the URL context.

Fushat

urls array (string) (optional)

The URLs to fetch.

vargu i identifikimit (i detyrueshëm)

Required. A unique ID for this specific tool call.

signature string (optional)

A signature hash for backend validation.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "url_context_call" .

UrlContextResultStep

URL context result step.

call_id string (required)

Required. ID to match the ID from the function call block.

is_error boolean (optional)

Whether the URL context resulted in an error.

result array (UrlContextResult) (required)

Required. The results of the URL context.

The result of the URL context.

Fushat

status enum (string) (optional)

The status of the URL retrieval.

Vlerat e mundshme:

  • success

    Url retrieval is successful.

  • error

    Url retrieval is failed due to error.

  • paywall

    Url retrieval is failed because the content is behind paywall.

  • unsafe

    Url retrieval is failed because the content is unsafe.

vargu i url- së (opsional)

The URL that was fetched.

signature string (optional)

A signature hash for backend validation.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "url_context_result" .

UserInputStep

Input provided by the user.

content array ( Content ) (optional)

Nuk është dhënë përshkrim.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "user_input" .

Shembuj

CodeExecutionCallStep

{
  "type": "code_execution_call",
  "arguments": {
    "code": "print(sum(range(1, 11)))"
  },
  "id": "code_call_71021"
}

CodeExecutionResultStep

{
  "type": "code_execution_result",
  "call_id": "code_call_71021",
  "result": "55\n"
}

FileSearchCallStep

{
  "type": "file_search_call",
  "id": "file_call_88192"
}

FileSearchResultStep

{
  "type": "file_search_result",
  "call_id": "file_call_88192"
}

FunctionCallStep

{
  "name": "get_weather",
  "type": "function_call",
  "arguments": {
    "location": "Boston, MA"
  },
  "id": "call_98231"
}

FunctionResultStep

{
  "name": "get_weather",
  "type": "function_result",
  "call_id": "call_98231",
  "result": [
    {
      "type": "text",
      "text": "{\"weather\":\"sunny\"}"
    }
  ]
}

GoogleMapsCallStep

{
  "type": "google_maps_call",
  "arguments": {
    "latitude": 37.7749,
    "longitude": -122.4194
  },
  "id": "maps_call_39201"
}

GoogleMapsResultStep

{
  "type": "google_maps_result",
  "call_id": "maps_call_39201",
  "result": [
    {
      "name": "Golden Gate Park",
      "place_id": "ChIJIQBpAG2ahYAR9R7bNdTLg8M",
      "rating": 4.8
    }
  ]
}

GoogleSearchCallStep

{
  "type": "google_search_call",
  "arguments": {
    "query": "Who won the men's 100m in Paris 2024?"
  },
  "id": "search_call_19201"
}

GoogleSearchResultStep

{
  "type": "google_search_result",
  "call_id": "search_call_19201",
  "result": [
    {
      "title": "Paris 2024 Olympics: Noah Lyles wins men's 100m gold",
      "url": "https://olympics.com/en/news/paris-2024-noah-lyles-wins-mens-100m-gold",
      "snippet": "American Noah Lyles won the Olympic men's 100m gold medal in a photo finish."
    }
  ]
}

McpServerToolCallStep

{
  "name": "calculate_tax",
  "type": "mcp_server_tool_call",
  "arguments": {
    "income": 120000,
    "state": "CA"
  },
  "id": "mcp_call_29012",
  "server_name": "financial_mcp_server"
}

McpServerToolResultStep

{
  "type": "mcp_server_tool_result",
  "call_id": "mcp_call_29012",
  "result": {
    "tax_due": 32400
  }
}

ModelOutputStep

{
  "type": "model_output",
  "content": [
    {
      "type": "text",
      "text": "The capital of France is Paris."
    }
  ]
}

ThoughtStep

{
  "type": "thought",
  "signature": "thought_sig_abcd1234",
  "summary": [
    {
      "type": "text",
      "text": "The model is searching Google for the capital of France."
    }
  ]
}

UrlContextCallStep

{
  "type": "url_context_call",
  "arguments": {
    "urls": [
      "https://www.example.com"
    ]
  },
  "id": "url_call_10219"
}

UrlContextResultStep

{
  "type": "url_context_result",
  "call_id": "url_call_10219",
  "result": [
    {
      "title": "Example Domain",
      "url": "https://www.example.com",
      "snippet": "This domain is for use in illustrative examples in documents."
    }
  ]
}

UserInputStep

{
  "type": "user_input",
  "content": [
    {
      "type": "text",
      "text": "What is the capital of France?"
    }
  ]
}

EnvironmentConfig

Konfigurimi për një mjedis të personalizuar.

Fushat

vargu environment_id (opsional)

Opsionale. ID-ja e mjedisit për bashkëveprimin. Nëse specifikohet, kërkesa do të përditësojë mjedisin ekzistues në vend që të krijojë një të ri.

network EnvironmentNetworkEgressAllowlist ose enum (string) (opsionale)

Konfigurimi i rrjetit për mjedisin.

Vlerat e mundshme:

  • disabled

    Çaktivizon të gjithë rrjetin.

vargu i burimeve (Burimi) (opsional)

Nuk është dhënë përshkrim.

Një burim që do të montohet në mjedis.

Fushat

varg përmbajtjeje (opsionale)

Përmbajtja brenda rreshtit nëse `tipi` është `INLINE`.

vargu i kodimit (opsional)

Kodim opsional për përmbajtjen brenda rreshtit (p.sh. `base64`).

vargu burimor (opsional)

Burimi i mjedisit. Për Cloud Storage, kjo është shtegu i Cloud Storage. Për GitHub, kjo është shtegu i GitHub.

vargu i synuar (opsional)

Ku duhet të shfaqet burimi në mjedis.

tipi enum (string) (opsionale)

Nuk është dhënë përshkrim.

Vlerat e mundshme:

  • gcs

    Një kovë Ruajtjeje në Cloud.

  • inline

    Përmbajtje e integruar.

  • repository

    Një depo gjenerike. Parashtesa e protokollit në URL-në burimore identifikon ofruesin (p.sh., github://, gcs://).

  • skill_registry

    Një burim aftësish nga Shërbimi i Regjistrit të Aftësive. Aftësi: projects/{project}/locations/{location}/skills/{skill} Rishikimi i Aftësive: projects/{project}/locations/{location}/skills/{skill}/revisions/{revision} Mbështet montimin e të gjitha aftësive në kuadër të një projekti: projects/{project}/locations/{location}/skills.

objekt tipi (opsionale)

Nuk është dhënë përshkrim.

Gjithmonë i vendosur në "remote" .

Shembuj

Inline Sources

{
  "type": "remote",
  "sources": [
    {
      "type": "inline",
      "content": "You are a data analyst. Always include visualizations and export results as PDF.",
      "target": ".agents/AGENTS.md"
    },
    {
      "type": "inline",
      "content": "---\nname: slide-maker\ndescription: Create HTML slide decks\n---\n# Slide Maker\n\nWhen asked to create a presentation:\n1. Analyze the input data\n2. Create an HTML slide deck with reveal.js\n3. Save to /workspace/output/slides.html",
      "target": ".agents/skills/slide-maker/SKILL.md"
    }
  ]
}

External Sources

{
  "type": "remote",
  "sources": [
    {
      "type": "repository",
      "source": "https://github.com/my-org/my-skills.git",
      "target": ".agents/skills"
    },
    {
      "type": "gcs",
      "source": "gs://my-bucket/my-folder",
      "target": "/workspace/data"
    }
  ]
}

Network Allowlist

{
  "type": "remote",
  "network": {
    "allowlist": [
      {
        "domain": "pypi.org"
      },
      {
        "domain": "*.github.com"
      }
    ]
  }
}

Proxy Credentials

{
  "type": "remote",
  "network": {
    "allowlist": [
      {
        "domain": "api.github.com",
        "transform": {
          "Authorization": "Bearer YOUR_GITHUB_TOKEN"
        }
      }
    ]
  }
}

EnvironmentNetworkEgressAllowlist

Konfigurimi i rrjetit dalës për sandbox-in. Pranon një objekt me një matricë 'allowlist' për të kufizuar trafikun, ose vargun 'disabled' për të çaktivizuar të gjithë aksesin në rrjet. Hiqeni plotësisht për të lejuar të gjithë trafikun dalës pa injektim në kokë.

Llojet e mundshme

objekt

Konfigurimi i rrjetit dalës për sandbox-in. Kur specifikohet, kufizon se cilat domene të jashtme mund të arrijë sandbox-i. Hiqeni plotësisht për të lejuar të gjithë trafikun dalës pa injektim të kokës.

vargu i listës së lejimeve (AllowlistEntry) (opsionale)

Lista e domeneve të lejuara dalëse. Lejohen vetëm kërkesat për domenet e listuara. Përdorni [{'domain': '*'}] për të lejuar të gjitha domenet, ndërkohë që ende injektohen tituj në ato specifike.

Një rregull i listës së lejimeve të një domeni të vetëm me injeksion opsional të kokës.

Fushat

varg domeni (opsional)

Domeni për të lejuar kërkesat dalëse. Mbështet shenjat karakteristike (p.sh. '*.googleapis.com'). Përdorni '*' për të lejuar të gjitha domenet.

transformimi i vargut (objektit) ose objektit (opsional)

Tituj për t'u injektuar në të gjitha kërkesat dalëse që përputhen me këtë domen. Pranon një diktat të vetëm ose një listë diktatesh. Proxy i daljes i injekton këto automatikisht.

varg

Çaktivizon të gjithë rrjetin.

Vlerat e mundshme

  • disabled

    Çaktivizon të gjithë rrjetin.

Shembuj

Shembull

{
  "allowlist": [
    {
      "domain": "github.com",
      "transform": [
        {
          "Authorization": "Bearer your-token"
        }
      ]
    },
    {
      "domain": "*.googleapis.com"
    }
  ]
}

ToolChoiceConfig

The tool choice configuration containing allowed tools.

Fushat

allowed_tools AllowedTools (optional)

Mjetet e lejuara.

Konfigurimi për mjetet e lejuara.

Fushat

enumimi i modalitetit (vargu) (opsional)

Mënyra e zgjedhjes së mjetit.

Vlerat e mundshme:

  • auto

    Zgjedhja e mjetit automatik.

  • any

    Çdo zgjedhje mjeti.

  • none

    Pa zgjedhje mjetesh.

  • validated

    Zgjedhje e mjetit të validuar.

varg mjetesh (varg) (opsional)

Emrat e mjeteve të lejuara.

Shembuj

Shembull

{
  "allowed_tools": {
    "mode": "any",
    "tools": [
      "my_tool"
    ]
  }
}

ImageContent

An image content block.

Fushat

data string (optional)

The image content.

mime_type enum (string) (optional)

The mime type of the image.

Vlerat e mundshme:

  • image/png

    PNG image format

  • image/jpeg

    JPEG image format

  • image/webp

    WebP image format

  • image/heic

    HEIC image format

  • image/heif

    HEIF image format

  • image/gif

    GIF image format

  • image/bmp

    BMP image format

  • image/tiff

    TIFF image format

resolution MediaResolution (optional)

The resolution of the media.

Vlerat e mundshme

  • low

    Low resolution.

  • medium

    Medium resolution.

  • high

    High resolution.

  • ultra_high

    Ultra high resolution.

objekt tipi (opsionale)

Nuk është dhënë përshkrim.

Always set to "image" .

uri string (optional)

The URI of the image.

Shembuj

Imazh

{
  "type": "image",
  "data": "BASE64_ENCODED_IMAGE",
  "mime_type": "image/png"
}

TextContent

A text content block.

Fushat

annotations array (Annotation) (optional)

Citation information for model-generated content.

Citation information for model-generated content.

Llojet e mundshme

FileCitation

A file citation annotation.

custom_metadata object (optional)

User provided metadata about the retrieved context.

document_uri string (optional)

The URI of the file.

end_index integer (optional)

End of the attributed segment, exclusive.

file_name string (optional)

The name of the file.

media_id string (optional)

Media ID in-case of image citations, if applicable.

page_number integer (optional)

Page number of the cited document, if applicable.

vargu burimor (opsional)

Source attributed for a portion of the text.

start_index integer (optional)

Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "file_citation" .

PlaceCitation

A place citation annotation.

end_index integer (optional)

End of the attributed segment, exclusive.

varg emri (opsional)

Title of the place.

place_id string (optional)

The ID of the place, in `places/{place_id}` format.

review_snippets array (ReviewSnippet) (optional)

Snippets of reviews that are used to generate answers about the features of a given place in Google Maps.

Encapsulates a snippet of a user review that answers a question about the features of a specific place in Google Maps.

Fushat

review_id string (optional)

The ID of the review snippet.

title string (optional)

Title of the review.

vargu i url- së (opsional)

A link that corresponds to the user review on Google Maps.

start_index integer (optional)

Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "place_citation" .

vargu i url- së (opsional)

URI reference of the place.

UrlCitation

A URL citation annotation.

end_index integer (optional)

End of the attributed segment, exclusive.

start_index integer (optional)

Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.

title string (optional)

The title of the URL.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "url_citation" .

vargu i url- së (opsional)

The URL.

WordInfo

Word-level ASR annotation for transcription output. Carries the word text, optional timing, and optional speaker attribution.

end_index integer (optional)

End of the attributed segment, exclusive.

end_offset string (optional)

End offset in time of the word relative to the start of the audio. Present when timestamp_granularities contains "word".

speaker string (optional)

Optional. Speaker label for this word (eg "spk_1", "spk_2"). Present when diarization_mode is set in TranscriptionConfig.

start_index integer (optional)

Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.

start_offset string (optional)

Start offset in time of the word relative to the start of the audio. Present when timestamp_granularities contains "word".

text string (optional)

The transcribed word.

lloji i objektit (i detyrueshëm)

Nuk është dhënë përshkrim.

Always set to "word_info" .

text string (optional)

Required. The text content.

objekt tipi (opsionale)

Nuk është dhënë përshkrim.

Always set to "text" .

Shembuj

Tekst

{
  "type": "text",
  "text": "Hello, how are you?"
}