API-ja Gemini Interactions u lejon zhvilluesve të ndërtojnë aplikacione gjeneruese të IA-së duke përdorur modelet Gemini. Gemini është modeli ynë më i aftë, i ndërtuar nga themeli për të qenë multimodal. Mund të përgjithësojë dhe të kuptojë, të funksionojë dhe të kombinojë pa probleme lloje të ndryshme informacioni, duke përfshirë gjuhën, imazhet, audion, videon dhe kodin. Ju mund ta përdorni API-në Gemini për raste përdorimi si arsyetimi nëpër tekst dhe imazhe, gjenerimi i përmbajtjes, agjentët e dialogut, sistemet e përmbledhjes dhe klasifikimit dhe më shumë.
Krijimi i një ndërveprimi
Krijon një ndërveprim të ri.
Parametrat e Shtegut / Pyetjes
Cilin version të API-t të përdoret.
Trupi i kërkesës
Trupi i kërkesës përmban të dhëna me strukturën e mëposhtme:
modeli ModelOpsioni (opsional)
Emri i `Modelit` të përdorur për gjenerimin e ndërveprimit.
E detyrueshme nëse `agjent` nuk është dhënë.
Vlerat e mundshme
-
gemini-2.5-flashModeli ynë i parë hibrid i arsyetimit i cili mbështet një dritare konteksti prej 1M token dhe ka buxhete të të menduarit.
-
gemini-2.5-proModeli ynë shumëfunksional i teknologjisë së fundit, i cili shkëlqen në kodim dhe detyra komplekse arsyetimi.
-
gemma-4-26b-a4b-itGemma 4 26B A4B IT
-
gemma-4-31b-itGemma 4 31B IT
-
gemini-flash-latestVersioni më i fundit i Gemini Flash
-
gemini-flash-lite-latestVersioni më i fundit i Gemini Flash-Lite
-
gemini-pro-latestVersioni më i fundit i Gemini Pro
-
gemini-2.5-flash-liteModeli ynë më i vogël dhe më ekonomik, i ndërtuar për përdorim në shkallë të gjerë.
-
gemini-2.5-flash-imageModeli ynë i gjenerimit të imazheve vendase, i optimizuar për shpejtësi, fleksibilitet dhe kuptim kontekstual. Futja dhe dalja e tekstit ka të njëjtin çmim si në Flash 2.5.
-
gemini-3-flash-previewModeli ynë më inteligjent i ndërtuar për shpejtësi, duke kombinuar inteligjencën kufitare me kërkimin dhe tokëzimin superior.
-
gemini-3.1-pro-previewModeli ynë më i fundit i arsyetimit SOTA me thellësi dhe nuancë të paparë, si dhe aftësi të fuqishme të të kuptuarit dhe kodimit multimodal.
-
gemini-3.1-pro-preview-customtoolsGemini 3.1 Pro Preview i optimizuar për përdorim të mjeteve të personalizuara
-
gemini-3.1-flash-liteModeli ynë më me kosto efektive, i optimizuar për detyra agjentike me vëllim të lartë, përkthim dhe përpunim të thjeshtë të të dhënave.
-
gemini-3-pro-imageImazh i Gemini 3 Pro
-
nano-banana-pro-previewPamje paraprake e imazhit të Gemini 3 Pro
-
gemini-3.1-flash-imageImazh Blic i Gemini 3.1.
-
gemini-3.5-flashModeli ynë më inteligjent për performancë të qëndrueshme në kufijtë e detyrave agjentike dhe të kodimit.
-
gemini-3.6-flashModeli ynë më inteligjent për performancë të qëndrueshme në kufijtë e detyrave agjentike dhe të kodimit.
-
gemini-3.7-flashModeli ynë më inteligjent për performancë të qëndrueshme në kufijtë e detyrave agjentike dhe të kodimit.
-
lyria-3-clip-previewModeli ynë i gjenerimit të muzikës me latencë të ulët është i optimizuar për klipe audio me besnikëri të lartë dhe kontroll të saktë ritmik.
-
lyria-3-pro-previewModeli ynë i avancuar, gjenerues i këngëve të plota, me kuptim të thellë kompozicioni, i optimizuar për kontroll të saktë strukturor dhe tranzicione komplekse nëpër stile të ndryshme muzikore.
-
gemini-robotics-er-1.6-previewPamje paraprake e Gemini Robotics-ER 1.6
-
gemini-robotics-er-2-previewParapamje e Rezonancës së Mishëruar të Gemini Robotics 2
agjenti i agjentit (opsionale)
Emri i `Agjentit` të përdorur për gjenerimin e ndërveprimit.
E detyrueshme nëse `model` nuk është dhënë.
Vlerat e mundshme
-
deep-research-pro-preview-12-2025Agjent i Kërkimeve të Thellë Gemini
-
deep-research-preview-04-2026Agjent i Kërkimeve të Thellë Gemini
-
deep-research-max-preview-04-2026Agjenti Maksimal i Kërkimeve të Thellë Gemini
-
antigravity-preview-05-2026Përdorni agjentin e menaxhuar Antigravity për të kryer detyra me shumë hapa që kërkojnë arsyetim, operacione me skedarë dhe përdorim mjetesh.
Të dhënat hyrëse për bashkëveprimin (të përbashkëta si për Modelin ashtu edhe për Agjentin).
Udhëzime sistemi për bashkëveprimin.
Një listë e deklarimeve të mjeteve që modeli mund të thërrasë gjatë ndërveprimit.
Zbaton që përgjigjja e gjeneruar të jetë një objekt JSON që përputhet me skemën JSON të specifikuar në këtë fushë.
Vetëm të dhëna. Nëse bashkëveprimi do të transmetohet.
Vetëm hyrje. Nëse përgjigja dhe kërkesa do të ruhen për rikthim të mëvonshëm.
Vetëm të dhëna. Nëse do të ekzekutohet bashkëveprimi i modelit në sfond.
generation_config GenerationConfig (opsionale)
Konfigurimi i modelit
Parametrat e konfigurimit për bashkëveprimin e modelit.
Alternativë ndaj `agent_config`. I zbatueshëm vetëm kur është vendosur `model`.
Fushat
Numri maksimal i tokenëve që duhen përfshirë në përgjigje.
Farë e përdorur në dekodim për riprodhueshmëri.
speech_config Konfigurimi i Speaker-it ose vargu (SpeechConfig) (opsional)
Opsionale. Konfigurim për të folur dhe shumë altoparlantë.
Fushat
grupi i altoparlantëve (SpeechConfig) (opsional)
Konfigurimet individuale të altoparlantëve.
Fushat
Gjuha e të folurit.
Emri i folësit, duhet të përputhet me emrin e folësit të dhënë në kërkesë.
Zëri i folësit.
Një listë e sekuencave të karaktereve që do të ndalojnë bashkëveprimin e daljes.
niveli_i_thinkingLevel_i_Thinking (opsionale )
Niveli i tokenëve të mendimit që modeli duhet të gjenerojë.
Vlerat e mundshme
-
minimalPak ose aspak mendim.
-
lowNivel i ulët i të menduarit.
-
mediumNivel i mesëm i të menduarit.
-
highNivel i lartë i të menduarit.
thinking_summaries Përmbledhje të të Menduarit (opsionale)
Nëse do të përfshihen përmbledhje të mendimeve në përgjigje.
Vlerat e mundshme
-
autoPërmbledhje të të menduarit automatik.
-
nonePa përmbledhje të të menduarit.
Konfigurimi i zgjedhjes së mjetit.
Vlerat e mundshme:
-
autoZgjedhja e mjetit automatik.
-
anyÇdo zgjedhje mjeti.
-
nonePa zgjedhje mjetesh.
-
validatedZgjedhje e mjetit të validuar.
transkription_config TranskriptimiKonfig (opsional)
Opsionale. Konfigurimi për njohjen e të folurit (transkriptimin). Nëse është i pranishëm, ASR është i aktivizuar.
Fushat
Opsionale. Një listë me frazat e fjalorit të personalizuara për të anuar modelin e njohjes së të folurit drejt njohjes së termave specifikë.
Opsionale. Kodet gjuhësore BCP-47 ofrojnë sugjerime rreth gjuhëve të pranishme në audio. Nëse lihen jashtë ose janë bosh, parazgjedhja kalon në zbulimin automatik të gjuhës.
mod TranskriptimiModa ose enum (string) (opsionale)
Opsionet e mënyrës së transkriptimit të dalluar ose enumrimi.
Llojet e mundshme
Modaliteti i Transkriptimit të Mençur
Konfigurimi për modalitetin e transkriptimit inteligjent.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "smart" .
Modaliteti i Transkriptimit Verbatim
Konfigurimi për modalitetin e transkriptimit fjalë për fjalë.
Opsionale. Konfiguron diarizimin e folësit. Vlerat e mbështetura: "folës".
Opsionale. Granulariteti i vulave kohore që duhen përfshirë në rezultatin e transkriptimit. Vlerat e mbështetura: "fjalë". Nëse është bosh, nuk gjenerohen vula kohore.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "verbatim" .
video_config VideoConfig (opsionale)
Konfigurimi për gjenerimin e videos.
Fushat
Modaliteti opsional i detyrës për gjenerimin e videos. Nëse nuk specifikohet, modeli përcakton automatikisht modalitetin e duhur bazuar në kërkesën e dhënë me tekst dhe median hyrëse.
Vlerat e mundshme:
-
text_to_videoGjeneron video vetëm nga një mesazh teksti.
-
image_to_videoGjeneron video nga një ose dy imazhe burimore. Imazhi i parë përcakton kuadrin fillestar dhe imazhi i dytë opsional përcakton kuadrin përfundimtar.
-
reference_to_videoGjeneron video duke përdorur media referuese (si imazhe, audio ose video).
-
editModifikon një video hyrëse ekzistuese.
-
extendZgjeron një video hyrëse ekzistuese.
objekti agent_config (opsional)
Konfigurimi i Agjentit
Konfigurimi për agjentin.
Alternativë ndaj `generation_config`. I zbatueshëm vetëm kur është vendosur `agent`.
Llojet e mundshme
Diskriminuesi polimorfik: type
Konfigurimi i Agjentit Antigravity
Konfigurimi për kohën e ekzekutimit të agjentit Antigravity. Ofron kontroll nga ana e serverit mbi mjedisin e ekzekutimit të agjentit dhe konfigurimin e mjetit.
Totali maksimal i tokenëve për ekzekutimin e agjentit.
Modeli që do të përdoret për arsyetimin e agjentit.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "antigravity" .
CodeMenderAgentConfig
Konfigurimi për agjentin CodeMender.
find_request GjejKërkesë (opsionale)
Parametrat për gjetjen e dobësive.
Fushat
Kontekst shtesë ose udhëzime të personalizuara të ofruara nga përdoruesi për të udhëhequr analizën e cenueshmërisë.
Identifikuesi i një gjetjeje specifike që duhet verifikuar. Kjo përdoret kryesisht në modalitetin VERIFY për të përqendruar validimin e agjentit bazuar në ekzekutim në një dobësi të vetme.
Modaliteti i seancës së gjetjes.
Vlerat e mundshme:
-
scanSkanim i shpejtë duke përdorur vetëm klasifikuesin fillestar.
-
verifyKryen klasifikimin e ndjekur nga një hetim i detajuar.
vargu source_files (FileContent) (opsionale)
Një listë e skedarëve burimorë për t'u ofruar si kontekst për skanimin.
Fushat
Përmbajtja e tekstit të koduar UTF-8 e skedarit.
Shtegu relativ i skedarit nga rrënja e projektit.
fix_request FixRequest (opsionale)
Parametrat për rregullimin e dobësive.
Fushat
Kontekst shtesë ose udhëzime të personalizuara të ofruara nga përdoruesi për të udhëhequr procesin e gjenerimit të patch-it.
Identifikuesi i gjetjes specifike të sigurisë që duhet të ndreqet. Ky ID lidhet me një dobësi të zbuluar më parë.
vargu source_files (FileContent) (opsionale)
Një listë e skedarëve burimorë që ofrojnë kontekst për korrigjimin. Këto skedarë janë zakonisht ato që përmbajnë dobësinë e identifikuar.
Fushat
Përmbajtja e tekstit të koduar UTF-8 e skedarit.
Shtegu relativ i skedarit nga rrënja e projektit.
Emri i modelit që do të përdoret për agjentin CodeMender. Një seancë CodeMender do të përdorë vetëm një model.
session_config SessionConfig (opsionale)
Konfigurime opsionale specifike për sesionin për të anashkaluar sjelljen e parazgjedhur të agjentit.
Fushat
Numri maksimal i raundeve të ndërveprimit që agjenti lejohet të kryejë përpara se të arrijë një skadencë kohore.
Parametër për grupimin e ndërveprimeve të shumëfishta që i përkasin të njëjtit sesion CodeMender.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "code-mender" .
DeepResearchAgentConfig
Konfigurimi për agjentin e Kërkimit të Thellë.
Aktivizon planifikimin njerëzor në ciklin e punës për agjentin e Kërkimit të Thellë. Nëse vendoset në "e vërtetë", agjenti i Kërkimit të Thellë do të ofrojë një plan kërkimi në përgjigjen e tij. Agjenti do të vazhdojë vetëm nëse përdoruesi e konfirmon planin në raundin tjetër.
Aktivizon mjetin bigquery për agjentin e Kërkimit të Thellë.
thinking_summaries Përmbledhje të të Menduarit (opsionale)
Nëse do të përfshihen përmbledhje të mendimeve në përgjigje.
Vlerat e mundshme
-
autoPërmbledhje të të menduarit automatik.
-
nonePa përmbledhje të të menduarit.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur për "deep-research" .
Nëse do të përfshihen vizualizime në përgjigje.
Vlerat e mundshme:
-
offMos përfshini vizualizime.
-
autoPërfshi automatikisht vizualizimet.
Konfigurimi i Agjentit Dinamike
Konfigurimi për agjentë dinamikë.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "dynamic" .
Konfigurimi i mjedisit për bashkëveprimin. Mund të jetë një objekt që specifikon burimet e largëta të mjedisit ose një varg që i referohet një ID-je ekzistuese të mjedisit.
Etiketat me meta të dhëna të përcaktuara nga përdoruesi për kërkesën.
ID-ja e ndërveprimit të mëparshëm, nëse ka.
vargu i cilësimeve_të_safety-t (SafetySetting) (opsionale)
Cilësimet e sigurisë për bashkëveprimin.
Fushat
Opsionale. Metoda për bllokimin e përmbajtjes. Nëse nuk specifikohet, sjellja e parazgjedhur është përdorimi i rezultatit të probabilitetit.
Vlerat e mundshme:
-
severityMetoda e bllokut të dëmit përdor si rezultatet e probabilitetit ashtu edhe të ashpërsisë.
-
probabilityMetoda e bllokut të dëmit përdor rezultatin e probabilitetit.
E detyrueshme. Pragu për bllokimin e përmbajtjes. Nëse probabiliteti i dëmit tejkalon këtë prag, përmbajtja do të bllokohet.
Vlerat e mundshme:
-
block_low_and_aboveBlloko përmbajtjen me një probabilitet të ulët ose më të lartë dëmtimi.
-
block_medium_and_aboveBlloko përmbajtjen me një probabilitet dëmtimi mesatar ose më të lartë.
-
block_only_highBlloko përmbajtjen me një probabilitet të lartë dëmtimi.
-
block_noneMos bllokoni asnjë përmbajtje, pavarësisht nga probabiliteti i dëmtimit të saj.
-
offFikeni plotësisht filtrin e sigurisë.
lloji HarmCategory (opsionale)
E detyrueshme. Lloji i kategorisë së dëmit që do të bllokohet.
Vlerat e mundshme
-
hate_speechPërmbajtje që promovon dhunën ose nxit urrejtje kundër individëve ose grupeve bazuar në atribute të caktuara.
-
dangerous_contentPërmbajtje që promovon, lehtëson ose mundëson aktivitete të rrezikshme.
-
harassmentPërmbajtje abuzive, kërcënuese ose që synon të ngacmojë, torturojë ose tallë.
-
sexually_explicitPërmbajtje që përmban materiale me përmbajtje seksuale eksplicite.
-
civic_integrityI vjetruar: Filtri zgjedhor nuk mbështetet më. Kategoria e dëmit është integriteti qytetar.
-
image_hateImazhe që përmbajnë gjuhë urrejtjeje.
-
image_dangerous_contentImazhe që përmbajnë përmbajtje të rrezikshme.
-
image_harassmentImazhe që përmbajnë ngacmim.
-
image_sexually_explicitImazhe që përmbajnë përmbajtje të qartë seksuale.
-
jailbreakKërkesa të dizajnuara për të anashkaluar filtrat e sigurisë.
niveli_i_shërbimit Niveli_i_Shërbimit (opsional)
Niveli i shërbimit për bashkëveprimin.
Vlerat e mundshme
-
flexNiveli i shërbimit fleksibël.
-
standardNiveli standard i shërbimit.
-
priorityNiveli i shërbimit me përparësi.
-
deferredNiveli i shërbimit të shtyrë.
webhook_config WebhookConfig (opsionale)
Opsionale. Konfigurimi i Webhook për marrjen e njoftimeve kur ndërveprimi përfundon.
Fushat
Opsionale. Nëse caktohet, këto URI të webhook-ut do të përdoren për ngjarjet e webhook-ut në vend të webhook-ut të regjistruar.
Opsionale. Meta të dhënat e përdoruesit që do të kthehen në çdo transmetim ngjarjeje te webhook-et.
Përgjigje
Kthen një burim Ndërveprimi .
Kërkesë e thjeshtë
Shembull Përgjigjeje
{ "created": "2025-11-26T12:25:15Z", "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg", "model": "gemini-3.6-flash", "object": "interaction", "status": "completed", "steps": [ { "type": "model_output", "content": [ { "type": "text", "text": "Hello! I'm functioning perfectly and ready to assist you.\n\nHow are you doing today?" } ] } ], "updated": "2025-11-26T12:25:15Z", "usage": { "input_tokens_by_modality": [ { "modality": "text", "tokens": 7 } ], "total_cached_tokens": 0, "total_input_tokens": 7, "total_output_tokens": 20, "total_thought_tokens": 22, "total_tokens": 49, "total_tool_use_tokens": 0 } }
Shumëkthesë
Shembull Përgjigjeje
{ "created": "2025-11-26T12:22:47Z", "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg", "model": "gemini-3.6-flash", "object": "interaction", "status": "completed", "steps": [ { "type": "model_output", "content": [ { "type": "text", "text": "The capital of France is Paris." } ] } ], "updated": "2025-11-26T12:22:47Z", "usage": { "input_tokens_by_modality": [ { "modality": "text", "tokens": 50 } ], "total_cached_tokens": 0, "total_input_tokens": 50, "total_output_tokens": 10, "total_thought_tokens": 0, "total_tokens": 60, "total_tool_use_tokens": 0 } }
Futja e imazhit
Shembull Përgjigjeje
{ "created": "2025-11-26T12:22:47Z", "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg", "model": "gemini-3.6-flash", "object": "interaction", "status": "completed", "steps": [ { "type": "model_output", "content": [ { "type": "text", "text": "A white humanoid robot with glowing blue eyes stands holding a red skateboard." } ] } ], "updated": "2025-11-26T12:22:47Z", "usage": { "input_tokens_by_modality": [ { "modality": "text", "tokens": 10 }, { "modality": "image", "tokens": 258 } ], "total_cached_tokens": 0, "total_input_tokens": 268, "total_output_tokens": 20, "total_thought_tokens": 0, "total_tokens": 288, "total_tool_use_tokens": 0 } }
Thirrja e funksionit
Shembull Përgjigjeje
{ "created": "2025-11-26T12:22:47Z", "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg", "model": "gemini-3.6-flash", "object": "interaction", "status": "requires_action", "steps": [ { "name": "get_weather", "type": "function_call", "arguments": { "location": "Boston, MA" }, "id": "gth23981" } ], "updated": "2025-11-26T12:22:47Z", "usage": { "input_tokens_by_modality": [ { "modality": "text", "tokens": 100 } ], "total_cached_tokens": 0, "total_input_tokens": 100, "total_output_tokens": 25, "total_thought_tokens": 0, "total_tokens": 125, "total_tool_use_tokens": 50 } }
Hulumtime të Thella
Shembull Përgjigjeje
{ "agent": "deep-research-pro-preview-12-2025", "created": "2025-11-26T12:22:47Z", "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg", "object": "interaction", "status": "completed", "steps": [ { "type": "model_output", "content": [ { "type": "text", "text": "Here is a comprehensive research report on the current state of cancer research..." } ] } ], "updated": "2025-11-26T12:22:47Z", "usage": { "input_tokens_by_modality": [ { "modality": "text", "tokens": 20 } ], "total_cached_tokens": 0, "total_input_tokens": 20, "total_output_tokens": 1000, "total_thought_tokens": 500, "total_tokens": 1520, "total_tool_use_tokens": 0 } }
Agjent antigravitacional
Shembull Përgjigjeje
{ "agent": "antigravity-preview-05-2026", "created": "2025-11-26T12:22:47Z", "environment_id": "env_abc123", "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg", "object": "interaction", "status": "completed", "steps": [ { "type": "model_output", "content": [ { "type": "text", "text": "I've summarized the top 5 Hacker News stories and saved the results to /workspace/summary.md." } ] } ], "updated": "2025-11-26T12:22:47Z", "usage": { "input_tokens_by_modality": [ { "modality": "text", "tokens": 50 } ], "total_cached_tokens": 0, "total_input_tokens": 50, "total_output_tokens": 500, "total_thought_tokens": 200, "total_tokens": 750, "total_tool_use_tokens": 0 } }
Ripërdorimi i Mjedisit
Shembull Përgjigjeje
{ "agent": "antigravity-preview-05-2026", "created": "2025-11-26T12:23:00Z", "environment_id": "env_abc123", "id": "v1_Chd2ZTJhYmNkZWZnaGlqa2xtbm9wcXJzdHV2d3h5ejAxMjM0NTY3ODkwMTIzNDU2Nzg", "object": "interaction", "status": "completed", "steps": [ { "type": "model_output", "content": [ { "type": "text", "text": "I've updated /workspace/hello.py to accept a name argument and greet the user." } ] } ], "updated": "2025-11-26T12:23:00Z", "usage": { "input_tokens_by_modality": [ { "modality": "text", "tokens": 80 } ], "total_cached_tokens": 0, "total_input_tokens": 80, "total_output_tokens": 200, "total_thought_tokens": 100, "total_tokens": 380, "total_tool_use_tokens": 0 } }
Me Burime
Agjent i Personalizuar
Anulimi i një ndërveprimi
Anulon një bashkëveprim me anë të ID-së. Kjo vlen vetëm për bashkëveprimet në sfond që janë ende në ekzekutim.
Parametrat e Shtegut / Pyetjes
Cilin version të API-t të përdoret.
Identifikuesi unik i ndërveprimit që do të anulohet.
Përgjigje
Kthen një burim Ndërveprimi .
Anulo Ndërveprimin
Shembull Përgjigjeje
{ "agent": "deep-research-pro-preview-12-2025", "created": "2026-06-22T04:55:47Z", "id": "v1_ChdVc0E0YXJTYk1zYlV6N0lQcXRXVG1BYxIXVXNBNGFyU2JNc2JVejdJUHF0V1RtQWM", "status": "cancelled", "steps": [ { "type": "user_input", "content": [ { "type": "text", "text": "Research the history of the Google TPUs with a focus on 2025 specs." } ] } ], "updated": "2026-06-22T04:55:47Z" }
Duke marrë një ndërveprim
Merr detajet e plota të një bashkëveprimi të vetëm bazuar në `Interaction.id`-in e tij.
Parametrat e Shtegut / Pyetjes
Cilin version të API-t të përdoret.
Identifikuesi unik i ndërveprimit që do të rikuperohet.
Opsionale. Nëse vendoset, rifillon rrjedhën e ndërveprimit nga pjesa tjetër pas ngjarjes së shënuar nga ID-ja e ngjarjes. Mund të përdoret vetëm nëse `rrjedha` është e vërtetë.
Nëse vendoset në "e vërtetë", përmbajtja e gjeneruar do të transmetohet në mënyrë graduale.
Parazgjedhja është: False
Përgjigje
Kthen një burim Ndërveprimi .
Merr Ndërveprimin
Shembull Përgjigjeje
{ "created": "2025-11-26T12:25:15Z", "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg", "model": "gemini-3.6-flash", "object": "interaction", "status": "completed", "steps": [ { "type": "model_output", "content": [ { "type": "text", "text": "I'm doing great, thank you for asking! How can I help you today?" } ] } ], "updated": "2025-11-26T12:25:15Z" }
Fshirja e një ndërveprimi
Fshin ndërveprimin me anë të ID-së.
Parametrat e Shtegut / Pyetjes
Cilin version të API-t të përdoret.
Identifikuesi unik i ndërveprimit që do të fshihet.
Përgjigje
Nëse ka sukses, përgjigja është bosh.
Fshij
Burimet
Ndërveprimi
Burimi i Ndërveprimit.
Fushat
agjenti i agjentit (opsionale)
Emri i `Agjentit` të përdorur për gjenerimin e ndërveprimit.
Vlerat e mundshme
-
deep-research-pro-preview-12-2025Agjent i Kërkimeve të Thellë Gemini
-
deep-research-preview-04-2026Agjent i Kërkimeve të Thellë Gemini
-
deep-research-max-preview-04-2026Agjenti Maksimal i Kërkimeve të Thellë Gemini
-
antigravity-preview-05-2026Përdorni agjentin e menaxhuar Antigravity për të kryer detyra me shumë hapa që kërkojnë arsyetim, operacione me skedarë dhe përdorim mjetesh.
objekti agent_config (opsional)
Parametrat e konfigurimit për bashkëveprimin e agjentit.
Llojet e mundshme
Diskriminuesi polimorfik: type
Konfigurimi i Agjentit Antigravity
Konfigurimi për kohën e ekzekutimit të agjentit Antigravity. Ofron kontroll nga ana e serverit mbi mjedisin e ekzekutimit të agjentit dhe konfigurimin e mjetit.
Totali maksimal i tokenëve për ekzekutimin e agjentit.
Modeli që do të përdoret për arsyetimin e agjentit.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "antigravity" .
CodeMenderAgentConfig
Konfigurimi për agjentin CodeMender.
find_request GjejKërkesë (opsionale)
Parametrat për gjetjen e dobësive.
Fushat
Kontekst shtesë ose udhëzime të personalizuara të ofruara nga përdoruesi për të udhëhequr analizën e cenueshmërisë.
Identifikuesi i një gjetjeje specifike që duhet verifikuar. Kjo përdoret kryesisht në modalitetin VERIFY për të përqendruar validimin e agjentit bazuar në ekzekutim në një dobësi të vetme.
Modaliteti i seancës së gjetjes.
Vlerat e mundshme:
-
scanSkanim i shpejtë duke përdorur vetëm klasifikuesin fillestar.
-
verifyKryen klasifikimin e ndjekur nga një hetim i detajuar.
vargu source_files (FileContent) (opsionale)
Një listë e skedarëve burimorë për t'u ofruar si kontekst për skanimin.
Fushat
Përmbajtja e tekstit të koduar UTF-8 e skedarit.
Shtegu relativ i skedarit nga rrënja e projektit.
fix_request FixRequest (opsionale)
Parametrat për rregullimin e dobësive.
Fushat
Kontekst shtesë ose udhëzime të personalizuara të ofruara nga përdoruesi për të udhëhequr procesin e gjenerimit të patch-it.
Identifikuesi i gjetjes specifike të sigurisë që duhet të ndreqet. Ky ID lidhet me një dobësi të zbuluar më parë.
vargu source_files (FileContent) (opsionale)
Një listë e skedarëve burimorë që ofrojnë kontekst për korrigjimin. Këto skedarë janë zakonisht ato që përmbajnë dobësinë e identifikuar.
Fushat
Përmbajtja e tekstit të koduar UTF-8 e skedarit.
Shtegu relativ i skedarit nga rrënja e projektit.
Emri i modelit që do të përdoret për agjentin CodeMender. Një seancë CodeMender do të përdorë vetëm një model.
session_config SessionConfig (opsionale)
Konfigurime opsionale specifike për sesionin për të anashkaluar sjelljen e parazgjedhur të agjentit.
Fushat
Numri maksimal i raundeve të ndërveprimit që agjenti lejohet të kryejë përpara se të arrijë një skadencë kohore.
Parametër për grupimin e ndërveprimeve të shumëfishta që i përkasin të njëjtit sesion CodeMender.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "code-mender" .
DeepResearchAgentConfig
Konfigurimi për agjentin e Kërkimit të Thellë.
Aktivizon planifikimin njerëzor në ciklin e punës për agjentin e Kërkimit të Thellë. Nëse vendoset në "e vërtetë", agjenti i Kërkimit të Thellë do të ofrojë një plan kërkimi në përgjigjen e tij. Agjenti do të vazhdojë vetëm nëse përdoruesi e konfirmon planin në raundin tjetër.
Aktivizon mjetin bigquery për agjentin e Kërkimit të Thellë.
thinking_summaries Përmbledhje të të Menduarit (opsionale)
Nëse do të përfshihen përmbledhje të mendimeve në përgjigje.
Vlerat e mundshme
-
autoPërmbledhje të të menduarit automatik.
-
nonePa përmbledhje të të menduarit.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur për "deep-research" .
Nëse do të përfshihen vizualizime në përgjigje.
Vlerat e mundshme:
-
offMos përfshini vizualizime.
-
autoPërfshi automatikisht vizualizimet.
Konfigurimi i Agjentit Dinamike
Konfigurimi për agjentë dinamikë.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "dynamic" .
Vetëm rezultati. Ora në të cilën u krijua përgjigja në formatin ISO 8601 (YYYY-MM-DDThh:mm:ssZ).
Konfigurimi i mjedisit për bashkëveprimin. Mund të jetë një objekt që specifikon burimet e largëta të mjedisit ose një varg që i referohet një ID-je ekzistuese të mjedisit.
Vetëm rezultati. ID-ja e mjedisit për bashkëveprimin. Plotësohet vetëm nëse konfigurimi i mjedisit është vendosur në kërkesë.
varg gabimesh (Gabim) (opsional)
Vetëm rezultate. Gabime diagnostikuese / gabime të platformës të regjistruara në bashkëveprim.
Fushat
Një URI që identifikon llojin e gabimit.
Një mesazh gabimi i lexueshëm nga njeriu.
E detyrueshme. Vetëm rezultat. Një identifikues unik për përfundimin e ndërveprimit.
Parazgjedhur në:
Të dhënat hyrëse për bashkëveprimin.
Etiketat me meta të dhëna të përcaktuara nga përdoruesi për kërkesën.
modeli ModelOpsioni (opsional)
Emri i `Modelit` të përdorur për gjenerimin e ndërveprimit.
Vlerat e mundshme
-
gemini-2.5-flashModeli ynë i parë hibrid i arsyetimit i cili mbështet një dritare konteksti prej 1M token dhe ka buxhete të të menduarit.
-
gemini-2.5-proModeli ynë shumëfunksional i teknologjisë së fundit, i cili shkëlqen në kodim dhe detyra komplekse arsyetimi.
-
gemma-4-26b-a4b-itGemma 4 26B A4B IT
-
gemma-4-31b-itGemma 4 31B IT
-
gemini-flash-latestVersioni më i fundit i Gemini Flash
-
gemini-flash-lite-latestVersioni më i fundit i Gemini Flash-Lite
-
gemini-pro-latestVersioni më i fundit i Gemini Pro
-
gemini-2.5-flash-liteModeli ynë më i vogël dhe më ekonomik, i ndërtuar për përdorim në shkallë të gjerë.
-
gemini-2.5-flash-imageModeli ynë i gjenerimit të imazheve vendase, i optimizuar për shpejtësi, fleksibilitet dhe kuptim kontekstual. Futja dhe dalja e tekstit ka të njëjtin çmim si në Flash 2.5.
-
gemini-3-flash-previewModeli ynë më inteligjent i ndërtuar për shpejtësi, duke kombinuar inteligjencën kufitare me kërkimin dhe tokëzimin superior.
-
gemini-3.1-pro-previewModeli ynë më i fundit i arsyetimit SOTA me thellësi dhe nuancë të paparë, si dhe aftësi të fuqishme të të kuptuarit dhe kodimit multimodal.
-
gemini-3.1-pro-preview-customtoolsGemini 3.1 Pro Preview i optimizuar për përdorim të mjeteve të personalizuara
-
gemini-3.1-flash-liteModeli ynë më me kosto efektive, i optimizuar për detyra agjentike me vëllim të lartë, përkthim dhe përpunim të thjeshtë të të dhënave.
-
gemini-3-pro-imageImazh i Gemini 3 Pro
-
nano-banana-pro-previewPamje paraprake e imazhit të Gemini 3 Pro
-
gemini-3.1-flash-imageImazh Blic i Gemini 3.1.
-
gemini-3.5-flashModeli ynë më inteligjent për performancë të qëndrueshme në kufijtë e detyrave agjentike dhe të kodimit.
-
gemini-3.6-flashModeli ynë më inteligjent për performancë të qëndrueshme në kufijtë e detyrave agjentike dhe të kodimit.
-
gemini-3.7-flashModeli ynë më inteligjent për performancë të qëndrueshme në kufijtë e detyrave agjentike dhe të kodimit.
-
lyria-3-clip-previewModeli ynë i gjenerimit të muzikës me latencë të ulët është i optimizuar për klipe audio me besnikëri të lartë dhe kontroll të saktë ritmik.
-
lyria-3-pro-previewModeli ynë i avancuar, gjenerues i këngëve të plota, me kuptim të thellë kompozicioni, i optimizuar për kontroll të saktë strukturor dhe tranzicione komplekse nëpër stile të ndryshme muzikore.
-
gemini-robotics-er-1.6-previewPamje paraprake e Gemini Robotics-ER 1.6
-
gemini-robotics-er-2-previewParapamje e Rezonancës së Mishëruar të Gemini Robotics 2
ID-ja e ndërveprimit të mëparshëm, nëse ka.
Zbaton që përgjigjja e gjeneruar të jetë një objekt JSON që përputhet me skemën JSON të specifikuar në këtë fushë.
vargu i cilësimeve_të_safety-t (SafetySetting) (opsionale)
Cilësimet e sigurisë për bashkëveprimin.
Fushat
Opsionale. Metoda për bllokimin e përmbajtjes. Nëse nuk specifikohet, sjellja e parazgjedhur është përdorimi i rezultatit të probabilitetit.
Vlerat e mundshme:
-
severityMetoda e bllokut të dëmit përdor si rezultatet e probabilitetit ashtu edhe të ashpërsisë.
-
probabilityMetoda e bllokut të dëmit përdor rezultatin e probabilitetit.
E detyrueshme. Pragu për bllokimin e përmbajtjes. Nëse probabiliteti i dëmit tejkalon këtë prag, përmbajtja do të bllokohet.
Vlerat e mundshme:
-
block_low_and_aboveBlloko përmbajtjen me një probabilitet të ulët ose më të lartë dëmtimi.
-
block_medium_and_aboveBlloko përmbajtjen me një probabilitet dëmtimi mesatar ose më të lartë.
-
block_only_highBlloko përmbajtjen me një probabilitet të lartë dëmtimi.
-
block_noneMos bllokoni asnjë përmbajtje, pavarësisht nga probabiliteti i dëmtimit të saj.
-
offFikeni plotësisht filtrin e sigurisë.
lloji HarmCategory (opsionale)
E detyrueshme. Lloji i kategorisë së dëmit që do të bllokohet.
Vlerat e mundshme
-
hate_speechPërmbajtje që promovon dhunën ose nxit urrejtje kundër individëve ose grupeve bazuar në atribute të caktuara.
-
dangerous_contentPërmbajtje që promovon, lehtëson ose mundëson aktivitete të rrezikshme.
-
harassmentPërmbajtje abuzive, kërcënuese ose që synon të ngacmojë, torturojë ose tallë.
-
sexually_explicitPërmbajtje që përmban materiale me përmbajtje seksuale eksplicite.
-
civic_integrityI vjetruar: Filtri zgjedhor nuk mbështetet më. Kategoria e dëmit është integriteti qytetar.
-
image_hateImazhe që përmbajnë gjuhë urrejtjeje.
-
image_dangerous_contentImazhe që përmbajnë përmbajtje të rrezikshme.
-
image_harassmentImazhe që përmbajnë ngacmim.
-
image_sexually_explicitImazhe që përmbajnë përmbajtje të qartë seksuale.
-
jailbreakKërkesa të dizajnuara për të anashkaluar filtrat e sigurisë.
niveli_i_shërbimit Niveli_i_Shërbimit (opsional)
Niveli i shërbimit për bashkëveprimin.
Vlerat e mundshme
-
flexNiveli i shërbimit fleksibël.
-
standardNiveli standard i shërbimit.
-
priorityNiveli i shërbimit me përparësi.
-
deferredNiveli i shërbimit të shtyrë.
E detyrueshme. Vetëm rezultat. Statusi i ndërveprimit.
Vlerat e mundshme:
-
in_progressNdërveprimi është në zhvillim e sipër.
-
requires_actionNdërveprimi kërkon veprim/input nga përdoruesi.
-
completedNdërveprimi është përfunduar.
-
failedNdërveprimi dështoi.
-
cancelledNdërveprimi u anulua.
-
incompleteNdërveprimi është përfunduar, por përmban rezultate të paplota (p.sh., duke shtypur max_tokens).
-
budget_exceededNdërveprimi u ndalua sepse buxheti i tokenit u tejkalua.
-
queuedNdërveprimi është në radhë, duke pritur për përpunim.
Vetëm rezultati. Hapat që përbëjnë bashkëveprimin, kur përfshihen në përgjigje.
Udhëzime sistemi për bashkëveprimin.
Një listë e deklarimeve të mjeteve që modeli mund të thërrasë gjatë ndërveprimit.
Vetëm rezultati. Ora në të cilën përgjigja është përditësuar për herë të fundit në formatin ISO 8601 (YYYY-MM-DDThh:mm:ssZ).
Përdorimi Përdorimi (opsional)
Vetëm rezultate. Statistikat mbi përdorimin e tokenit të kërkesës së ndërveprimit.
Fushat
cached_tokens_by_modality matricë (ModalityTokens) (opsionale)
Një ndarje e përdorimit të tokenëve të ruajtur në memorje sipas modalitetit.
Fushat
modaliteti ResponseModality (opsionale)
Modaliteti i lidhur me numërimin e tokenëve.
Vlerat e mundshme
-
textTregon se modeli duhet të kthejë tekst.
-
imageTregon se modeli duhet të kthejë imazhe.
-
audioTregon se modeli duhet të kthejë audio.
-
videoTregon se modeli duhet të kthejë videon.
-
documentTregon se modeli duhet të kthejë dokumente.
Numri i tokenëve për modalitetin.
vargu grounding_tool_count (GroundingToolCount) (opsionale)
Numri i mjeteve të tokëzimit.
Fushat
Numri i mjeteve të tokëzimit numërohet.
Lloji i mjetit të tokëzimit i lidhur me numërimin.
Vlerat e mundshme:
-
google_searchBazë me Kërkimin në Ueb të Google dhe Kërkimin e Imazheve, dhe Bazë në Ueb për Ndërmarrjet.
-
google_mapsTokëzimi me Google Maps.
-
retrievalBazimi me të dhënat e klientit, për shembull, VertexAISearch.
vargu input_tokens_by_modality (ModalityTokens) (opsionale)
Një ndarje e përdorimit të tokenit të hyrjes sipas modalitetit.
Fushat
modaliteti ResponseModality (opsionale)
Modaliteti i lidhur me numërimin e tokenëve.
Vlerat e mundshme
-
textTregon se modeli duhet të kthejë tekst.
-
imageTregon se modeli duhet të kthejë imazhe.
-
audioTregon se modeli duhet të kthejë audio.
-
videoTregon se modeli duhet të kthejë videon.
-
documentTregon se modeli duhet të kthejë dokumente.
Numri i tokenëve për modalitetin.
vargu output_tokens_by_modality (ModalityTokens) (opsionale)
Një ndarje e përdorimit të tokenit të daljes sipas modalitetit.
Fushat
modaliteti ResponseModality (opsionale)
Modaliteti i lidhur me numërimin e tokenëve.
Vlerat e mundshme
-
textTregon se modeli duhet të kthejë tekst.
-
imageTregon se modeli duhet të kthejë imazhe.
-
audioTregon se modeli duhet të kthejë audio.
-
videoTregon se modeli duhet të kthejë videon.
-
documentTregon se modeli duhet të kthejë dokumente.
Numri i tokenëve për modalitetin.
vargu tool_use_tokens_by_modality (ModalityTokens) (opsionale)
Një ndarje e përdorimit të tokenëve të përdorimit të mjeteve sipas modalitetit.
Fushat
modaliteti ResponseModality (opsionale)
Modaliteti i lidhur me numërimin e tokenëve.
Vlerat e mundshme
-
textTregon se modeli duhet të kthejë tekst.
-
imageTregon se modeli duhet të kthejë imazhe.
-
audioTregon se modeli duhet të kthejë audio.
-
videoTregon se modeli duhet të kthejë videon.
-
documentTregon se modeli duhet të kthejë dokumente.
Numri i tokenëve për modalitetin.
Numri i tokenëve në pjesën e ruajtur në memorien e përkohshme të kërkesës (përmbajtja e ruajtur në memorien e përkohshme).
Numri i tokenëve në kërkesë (konteksti).
Numri total i tokenëve në të gjitha përgjigjet e gjeneruara.
Numri i tokenëve të mendimeve për modelet e të menduarit.
Numri total i tokenëve për kërkesën e ndërveprimit (kërkesa + përgjigjet + tokenët e tjerë të brendshëm).
Numri i tokenëve të pranishëm në kërkesën/kërkesat e përdorimit të mjetit.
webhook_config WebhookConfig (opsionale)
Opsionale. Konfigurimi i Webhook për marrjen e njoftimeve kur ndërveprimi përfundon.
Fushat
Opsionale. Nëse caktohet, këto URI të webhook-ut do të përdoren për ngjarjet e webhook-ut në vend të webhook-ut të regjistruar.
Opsionale. Meta të dhënat e përdoruesit që do të kthehen në çdo transmetim ngjarjeje te webhook-et.
Shembuj
Shembull
{ "created": "2025-12-04T15:01:45Z", "id": "v1_ChdXS0l4YWZXTk9xbk0xZThQczhEcmlROBIXV0tJeGFmV05PcW5NMWU4UHM4RHJpUTg", "model": "gemini-3.6-flash", "object": "interaction", "status": "completed", "steps": [ { "type": "model_output", "content": [ { "type": "text", "text": "Hello! I'm doing well, functioning as expected. Thank you for asking! How are you doing today?" } ] } ], "updated": "2025-12-04T15:01:45Z", "usage": { "input_tokens_by_modality": [ { "modality": "text", "tokens": 7 } ], "total_cached_tokens": 0, "total_input_tokens": 7, "total_output_tokens": 23, "total_thought_tokens": 49, "total_tokens": 79, "total_tool_use_tokens": 0 } }
Modelet e të dhënave
Përmbajtja
Përmbajtja e përgjigjes.
Llojet e mundshme
Përmbajtje Audio
Një bllok përmbajtjeje audio.
Numri i kanaleve audio.
Përmbajtja audio.
Lloji i mimikës i audios.
Vlerat e mundshme:
-
audio/wavFormati audio WAV
-
audio/mp3Formati audio MP3
-
audio/aiffFormati audio AIFF
-
audio/aacFormati audio AAC
-
audio/oggFormati audio OGG
-
audio/flacFormati audio FLAC
-
audio/mpegFormati audio MPEG
-
audio/m4aFormati audio M4A
-
audio/l16Formati audio L16
-
audio/opusFormati audio OPUS
-
audio/alawFormati audio ALAW
-
audio/mulawFormati audio MULAW
Shpejtësia e mostrës së audios.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "audio" .
URI-ja e audios.
Përmbajtja e Dokumentit
Një bllok përmbajtjeje dokumenti.
Përmbajtja e dokumentit.
Lloji mime i dokumentit.
Vlerat e mundshme:
-
application/pdfFormati i dokumentit PDF
-
text/csvFormati i dokumentit CSV
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "document" .
URI-ja e dokumentit.
Përmbajtje Imazhesh
Një bllok përmbajtjeje imazhi.
Përmbajtja e imazhit.
Lloji i mimikës së imazhit.
Vlerat e mundshme:
-
image/pngFormati i imazhit PNG
-
image/jpegFormati i imazhit JPEG
-
image/webpFormati i imazhit WebP
-
image/heicFormati i imazhit HEIC
-
image/heifFormati i imazhit HEIF
-
image/gifFormati i imazhit GIF
-
image/bmpFormati i imazhit BMP
-
image/tiffFormati i imazhit TIFF
rezolucioni i MediaResolution (opsional)
Zgjidhja e mediave.
Vlerat e mundshme
-
lowRezolucion i ulët.
-
mediumRezolucion i mesëm.
-
highRezolucion i lartë.
-
ultra_highRezolucion ultra i lartë.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "image" .
URI-ja e imazhit.
Përmbajtje Teksti
Një bllok përmbajtjeje teksti.
vargu i shënimeve (Shënim) (opsional)
Informacion mbi citimin për përmbajtjen e gjeneruar nga modeli.
Llojet e mundshme
FileCitation
Një shënim citimi i skedarit.
Përdoruesi dha meta të dhëna rreth kontekstit të marrë.
URI-ja e skedarit.
Fundi i segmentit të atribuuar, ekskluziv.
Emri i skedarit.
ID e medias në rast të citimeve të imazheve, nëse ka.
Numri i faqes së dokumentit të cituar, nëse ka.
Burimi i atribuuar për një pjesë të tekstit.
Fillimi i segmentit të përgjigjes që i atribuohet këtij burimi. Indeksi tregon fillimin e segmentit, i matur në bajt.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "file_citation" .
Citimi i Vendit
Një shënim citimi vendi.
Fundi i segmentit të atribuuar, ekskluziv.
Titulli i vendit.
ID-ja e vendit, në formatin `places/{place_id}`.
vargu review_snippets (ReviewSnippet) (opsionale)
Fragmente të vlerësimeve që përdoren për të gjeneruar përgjigje rreth karakteristikave të një vendi të caktuar në Google Maps.
Fushat
ID-ja e fragmentit të rishikimit.
Titulli i rishikimit.
Një lidhje që korrespondon me vlerësimin e përdoruesit në Google Maps.
Fillimi i segmentit të përgjigjes që i atribuohet këtij burimi. Indeksi tregon fillimin e segmentit, i matur në bajt.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "place_citation" .
Referenca URI e vendit.
Citimi i Url-it
Një shënim citimi URL-je.
Fundi i segmentit të atribuuar, ekskluziv.
Fillimi i segmentit të përgjigjes që i atribuohet këtij burimi. Indeksi tregon fillimin e segmentit, i matur në bajt.
Titulli i URL-së.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "url_citation" .
URL-ja.
WordInfo
Shënim ASR në nivel fjale për daljen e transkriptimit. Përmban tekstin e fjalës, kohën opsionale dhe atribuimin opsional të folësit.
Fundi i segmentit të atribuuar, ekskluziv.
Zhvendosja e fundit në kohën e fjalës në lidhje me fillimin e audios. Paraqitet kur timestamp_granularities përmban "fjalën".
Opsionale. Etiketa e folësit për këtë fjalë (p.sh. "spk_1", "spk_2"). E pranishme kur diarization_mode është vendosur në TranscriptionConfig.
Fillimi i segmentit të përgjigjes që i atribuohet këtij burimi. Indeksi tregon fillimin e segmentit, i matur në bajt.
Start offset in time of the word relative to the start of the audio. Present when timestamp_granularities contains "word".
The transcribed word.
Nuk është dhënë përshkrim.
Always set to "word_info" .
Required. The text content.
Nuk është dhënë përshkrim.
Always set to "text" .
VideoContent
A video content block.
The video content.
The mime type of the video.
Vlerat e mundshme:
-
video/mp4MP4 video format
-
video/mpegMPEG video format
-
video/mpgMPG video format
-
video/movMOV video format
-
video/aviAVI video format
-
video/x-flvFLV video format
-
video/webmWebM video format
-
video/wmvWMV video format
-
video/3gpp3GPP video format
A user-defined name for this content block. Can be referenced by the model in the final response.
processing MediaProcessing or enum (string) (optional)
How the model processes this video for understanding.
resolution MediaResolution (optional)
The resolution of the media.
Vlerat e mundshme
-
lowLow resolution.
-
mediumMedium resolution.
-
highHigh resolution.
-
ultra_highUltra high resolution.
Nuk është dhënë përshkrim.
Always set to "video" .
The URI of the video.
Shembuj
Audio
{ "type": "audio", "data": "BASE64_ENCODED_AUDIO", "mime_type": "audio/wav" }
Dokument
{ "type": "document", "data": "BASE64_ENCODED_DOCUMENT", "mime_type": "application/pdf" }
Imazh
{ "type": "image", "data": "BASE64_ENCODED_IMAGE", "mime_type": "image/png" }
Tekst
{ "type": "text", "text": "Hello, how are you?" }
Video
{ "type": "video", "uri": "https://www.youtube.com/watch?v=9hE5-98ZeCg" }
Mjet
Një mjet që mund të përdoret nga modeli.
Llojet e mundshme
Ekzekutimi i Kodit
Një mjet që mund të përdoret nga modeli për të ekzekutuar kodin.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "code_execution" .
ComputerUse
A tool that can be used by the model to interact with the computer.
Optional. Disabled safety policies for computer use.
Vlerat e mundshme:
-
financial_transactionsSafety policy for financial transactions.
-
sensitive_data_modificationSafety policy for sensitive data modification.
-
communication_toolSafety policy for communication tools (eg Gmail, Chat, Meet).
-
account_creationSafety policy for account creation.
-
data_modificationSafety policy for data modification.
-
user_consent_managementSafety policy for user consent management.
-
legal_terms_and_agreementsSafety policy for legal terms and agreements.
Whether enable the prompt injection detection check on computer-use request.
The environment being operated.
Vlerat e mundshme:
-
browserOperates in a web browser.
-
mobileOperates in a mobile environment.
-
desktopOperates in a desktop environment.
The list of predefined functions that are excluded from the model call.
Nuk është dhënë përshkrim.
Always set to "computer_use" .
FileSearch
A tool that can be used by the model to search files.
The file search store names to search.
Metadata filter to apply to the semantic retrieval documents and chunks.
The number of semantic retrieval chunks to retrieve.
Nuk është dhënë përshkrim.
Always set to "file_search" .
Funksioni
Një mjet që mund të përdoret nga modeli.
Një përshkrim i funksionit.
Emri i funksionit.
Skema JSON për parametrat e funksionit.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "function" .
GoogleMaps
A tool that can be used by the model to call Google Maps.
Whether to return a widget context token in the tool call result of the response.
The latitude of the user's location.
The longitude of the user's location.
Nuk është dhënë përshkrim.
Always set to "google_maps" .
Kërkimi në Google
Një mjet që mund të përdoret nga modeli për të kërkuar në Google.
Llojet e tokëzimit të kërkimit që duhen aktivizuar.
Vlerat e mundshme:
-
web_searchVendosja e kësaj fushe aktivizon kërkimin në internet. Kthehen vetëm rezultatet me tekst.
-
image_searchVendosja e kësaj fushe aktivizon kërkimin e imazheve. Kthehen bajtet e imazheve.
-
enterprise_web_searchVendosja e kësaj fushe aktivizon kërkimin në internet të ndërmarrjes.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "google_search" .
McpServer
Një MCPServer është një server që mund të thirret nga modeli për të kryer veprime.
vargu allowed_tools (AllowedTools) (opsional)
Mjetet e lejuara.
Fushat
Mënyra e zgjedhjes së mjetit.
Vlerat e mundshme:
-
autoZgjedhja e mjetit automatik.
-
anyÇdo zgjedhje mjeti.
-
nonePa zgjedhje mjetesh.
-
validatedZgjedhje e mjetit të validuar.
Emrat e mjeteve të lejuara.
Opsionale: Fushat për titujt e vërtetimit, afatet kohore, etj., nëse është e nevojshme.
Emri i MCPServer-it.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "mcp_server" .
URL-ja e plotë për pikën fundore të MCPServer. Shembull: "https://api.example.com/mcp"
Retrieval
A tool that can be used by the model to retrieve files.
exa_ai_search_config ExaAISearchConfig (optional)
Used to specify configuration for ExaAISearch.
Fushat
Required. The API key for ExaAiSearch.
Optional. This field can be used to pass any parameter from the Exa.ai Search API.
parallel_ai_search_config ParallelAISearchConfig (optional)
Used to specify configuration for ParallelAISearch.
Fushat
Optional. The API key for ParallelAiSearch.
Optional. Custom configs for ParallelAiSearch.
rag_store_config RagStoreConfig (optional)
Used to specify configuration for RagStore.
Fushat
rag_resources array (RagResource) (optional)
Optional. The representation of the rag source.
Fushat
Optional. RagCorpora resource name.
Optional. rag_file_id. The files should be in the same rag_corpus set in rag_corpus field.
rag_retrieval_config RagRetrievalConfig (optional)
Optional. The retrieval config for the Rag query.
Fushat
filter Filter (optional)
Optional. Config for filters.
Fushat
Optional. String for metadata filtering.
Optional. Only returns contexts with vector distance smaller than the threshold.
Optional. Only returns contexts with vector similarity larger than the threshold.
hybrid_search HybridSearch (optional)
Optional. Config for Hybrid Search.
Fushat
Optional. Alpha value controls the weight between dense and sparse vector search results.
ranking Ranking (optional)
Optional. Config for ranking and reranking.
Optional. The number of contexts to retrieve.
The types of file retrieval to enable.
Vlerat e mundshme:
-
rag_store -
exa_ai_search -
parallel_ai_search
Nuk është dhënë përshkrim.
Always set to "retrieval" .
Konteksti i Url-it
Një mjet që mund të përdoret nga modeli për të marrë kontekstin e URL-së.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "url_context" .
Shembuj
Ekzekutimi i Kodit
ComputerUse
FileSearch
Funksioni
GoogleMaps
Kërkimi në Google
McpServer
Retrieval
No examples available for this type.
Konteksti i Url-it
InteractionSseEvent
Llojet e mundshme
Polymorphic discriminator: event_type
ErrorEvent
error Error (optional)
Nuk është dhënë përshkrim.
Fushat
A URI that identifies the error type.
A human-readable error message.
The event_id token to be used to resume the interaction stream, from this event.
Nuk është dhënë përshkrim.
Always set to "error" .
InteractionCompletedEvent
The event_id token to be used to resume the interaction stream, from this event.
Nuk është dhënë përshkrim.
Always set to "interaction.completed" .
interaction InteractionSseEventInteraction (required)
Partial completed interaction resource emitted at the end of the stream.
Fushat
The agent to interact with.
Output only. The time at which the response was created in ISO 8601 format.
Required. Output only. A unique identifier for the interaction completion.
The model that will complete your prompt.
Output only. The resource type.
service_tier ServiceTier (optional)
The service tier for the interaction.
Vlerat e mundshme
-
flexFlex service tier.
-
standardStandard service tier.
-
priorityPriority service tier.
-
deferredDeferred service tier.
Required. Output only. The status of the interaction.
Vlerat e mundshme:
-
in_progressThe interaction is in progress.
-
requires_actionThe interaction requires action/input from the user.
-
completedThe interaction is completed.
-
failedThe interaction failed.
-
cancelledThe interaction was cancelled.
-
incompleteThe interaction is completed, but contains incomplete results (eg hitting max_tokens).
Output only. The steps that make up the interaction, if included in this event.
Output only. The time at which the response was last updated in ISO 8601 format.
usage Usage (optional)
Output only. Statistics on the interaction request's token usage.
Fushat
cached_tokens_by_modality array (ModalityTokens) (optional)
A breakdown of cached token usage by modality.
Fushat
modality ResponseModality (optional)
The modality associated with the token count.
Vlerat e mundshme
-
textIndicates the model should return text.
-
imageIndicates the model should return images.
-
audioIndicates the model should return audio.
-
videoIndicates the model should return video.
-
documentIndicates the model should return documents.
Number of tokens for the modality.
grounding_tool_count array (GroundingToolCount) (optional)
Grounding tool count.
Fushat
The number of grounding tool counts.
The grounding tool type associated with the count.
Vlerat e mundshme:
-
google_searchGrounding with Google Web Search and Image Search, & Web Grounding for Enterprise.
-
google_mapsGrounding with Google Maps.
-
retrievalGrounding with customer's data, for example, VertexAISearch.
input_tokens_by_modality array (ModalityTokens) (optional)
A breakdown of input token usage by modality.
Fushat
modality ResponseModality (optional)
The modality associated with the token count.
Vlerat e mundshme
-
textIndicates the model should return text.
-
imageIndicates the model should return images.
-
audioIndicates the model should return audio.
-
videoIndicates the model should return video.
-
documentIndicates the model should return documents.
Number of tokens for the modality.
output_tokens_by_modality array (ModalityTokens) (optional)
A breakdown of output token usage by modality.
Fushat
modality ResponseModality (optional)
The modality associated with the token count.
Vlerat e mundshme
-
textIndicates the model should return text.
-
imageIndicates the model should return images.
-
audioIndicates the model should return audio.
-
videoIndicates the model should return video.
-
documentIndicates the model should return documents.
Number of tokens for the modality.
tool_use_tokens_by_modality array (ModalityTokens) (optional)
A breakdown of tool-use token usage by modality.
Fushat
modality ResponseModality (optional)
The modality associated with the token count.
Vlerat e mundshme
-
textIndicates the model should return text.
-
imageIndicates the model should return images.
-
audioIndicates the model should return audio.
-
videoIndicates the model should return video.
-
documentIndicates the model should return documents.
Number of tokens for the modality.
Number of tokens in the cached part of the prompt (the cached content).
Number of tokens in the prompt (context).
Total number of tokens across all the generated responses.
Number of tokens of thoughts for thinking models.
Total token count for the interaction request (prompt + responses + other internal tokens).
Number of tokens present in tool-use prompt(s).
InteractionCreatedEvent
The event_id token to be used to resume the interaction stream, from this event.
Nuk është dhënë përshkrim.
Always set to "interaction.created" .
interaction InteractionSseEventInteraction (required)
Partial interaction resource emitted when the stream is created.
Fushat
The agent to interact with.
Output only. The time at which the response was created in ISO 8601 format.
Required. Output only. A unique identifier for the interaction completion.
The model that will complete your prompt.
Output only. The resource type.
service_tier ServiceTier (optional)
The service tier for the interaction.
Vlerat e mundshme
-
flexFlex service tier.
-
standardStandard service tier.
-
priorityPriority service tier.
-
deferredDeferred service tier.
Required. Output only. The status of the interaction.
Vlerat e mundshme:
-
in_progressThe interaction is in progress.
-
requires_actionThe interaction requires action/input from the user.
-
completedThe interaction is completed.
-
failedThe interaction failed.
-
cancelledThe interaction was cancelled.
-
incompleteThe interaction is completed, but contains incomplete results (eg hitting max_tokens).
Output only. The steps that make up the interaction, if included in this event.
Output only. The time at which the response was last updated in ISO 8601 format.
usage Usage (optional)
Output only. Statistics on the interaction request's token usage.
Fushat
cached_tokens_by_modality array (ModalityTokens) (optional)
A breakdown of cached token usage by modality.
Fushat
modality ResponseModality (optional)
The modality associated with the token count.
Vlerat e mundshme
-
textIndicates the model should return text.
-
imageIndicates the model should return images.
-
audioIndicates the model should return audio.
-
videoIndicates the model should return video.
-
documentIndicates the model should return documents.
Number of tokens for the modality.
grounding_tool_count array (GroundingToolCount) (optional)
Grounding tool count.
Fushat
The number of grounding tool counts.
The grounding tool type associated with the count.
Vlerat e mundshme:
-
google_searchGrounding with Google Web Search and Image Search, & Web Grounding for Enterprise.
-
google_mapsGrounding with Google Maps.
-
retrievalGrounding with customer's data, for example, VertexAISearch.
input_tokens_by_modality array (ModalityTokens) (optional)
A breakdown of input token usage by modality.
Fushat
modality ResponseModality (optional)
The modality associated with the token count.
Vlerat e mundshme
-
textIndicates the model should return text.
-
imageIndicates the model should return images.
-
audioIndicates the model should return audio.
-
videoIndicates the model should return video.
-
documentIndicates the model should return documents.
Number of tokens for the modality.
output_tokens_by_modality array (ModalityTokens) (optional)
A breakdown of output token usage by modality.
Fushat
modality ResponseModality (optional)
The modality associated with the token count.
Vlerat e mundshme
-
textIndicates the model should return text.
-
imageIndicates the model should return images.
-
audioIndicates the model should return audio.
-
videoIndicates the model should return video.
-
documentIndicates the model should return documents.
Number of tokens for the modality.
tool_use_tokens_by_modality array (ModalityTokens) (optional)
A breakdown of tool-use token usage by modality.
Fushat
modality ResponseModality (optional)
The modality associated with the token count.
Vlerat e mundshme
-
textIndicates the model should return text.
-
imageIndicates the model should return images.
-
audioIndicates the model should return audio.
-
videoIndicates the model should return video.
-
documentIndicates the model should return documents.
Number of tokens for the modality.
Number of tokens in the cached part of the prompt (the cached content).
Number of tokens in the prompt (context).
Total number of tokens across all the generated responses.
Number of tokens of thoughts for thinking models.
Total token count for the interaction request (prompt + responses + other internal tokens).
Number of tokens present in tool-use prompt(s).
InteractionStatusUpdate
The event_id token to be used to resume the interaction stream, from this event.
Nuk është dhënë përshkrim.
Always set to "interaction.status_update" .
Nuk është dhënë përshkrim.
Nuk është dhënë përshkrim.
Vlerat e mundshme:
-
in_progressThe interaction is in progress.
-
requires_actionThe interaction requires action/input from the user.
-
completedThe interaction is completed.
-
failedThe interaction failed.
-
cancelledThe interaction was cancelled.
-
incompleteThe interaction is completed, but contains incomplete results (eg hitting max_tokens).
-
budget_exceededThe interaction was halted because the token budget was exceeded.
-
queuedThe interaction is queued, waiting for processing (eg waiting for off-peak capacity).
StepDelta
delta StepDeltaData (required)
Nuk është dhënë përshkrim.
Llojet e mundshme
ArgumentsDelta
Nuk është dhënë përshkrim.
Nuk është dhënë përshkrim.
Always set to "arguments_delta" .
AudioDelta
The number of audio channels.
Nuk është dhënë përshkrim.
Nuk është dhënë përshkrim.
Vlerat e mundshme:
-
audio/wavWAV audio format
-
audio/mp3MP3 audio format
-
audio/aiffAIFF audio format
-
audio/aacAAC audio format
-
audio/oggOGG audio format
-
audio/flacFLAC audio format
-
audio/mpegMPEG audio format
-
audio/m4aM4A audio format
-
audio/l16L16 audio format
-
audio/opusOPUS audio format
-
audio/alawALAW audio format
-
audio/mulawMULAW audio format
The sample rate of the audio.
Nuk është dhënë përshkrim.
Always set to "audio" .
Nuk është dhënë përshkrim.
CodeExecutionCallDelta
arguments CodeExecutionCallArguments (required)
Nuk është dhënë përshkrim.
Fushat
The code to be executed.
Programming language of the `code`.
Vlerat e mundshme:
-
pythonPython >= 3.10, with numpy and simpy available.
A signature hash for backend validation.
Nuk është dhënë përshkrim.
Always set to "code_execution_call" .
CodeExecutionResultDelta
Nuk është dhënë përshkrim.
Nuk është dhënë përshkrim.
A signature hash for backend validation.
Nuk është dhënë përshkrim.
Always set to "code_execution_result" .
DocumentDelta
Nuk është dhënë përshkrim.
Nuk është dhënë përshkrim.
Vlerat e mundshme:
-
application/pdfPDF document format
-
text/csvCSV document format
Nuk është dhënë përshkrim.
Always set to "document" .
Nuk është dhënë përshkrim.
FileSearchCallDelta
A signature hash for backend validation.
Nuk është dhënë përshkrim.
Always set to "file_search_call" .
FileSearchResultDelta
result array (FileSearchResult) (required)
Nuk është dhënë përshkrim.
A signature hash for backend validation.
Nuk është dhënë përshkrim.
Always set to "file_search_result" .
FunctionResultDelta
Required. ID to match the ID from the function call block.
Nuk është dhënë përshkrim.
Nuk është dhënë përshkrim.
Nuk është dhënë përshkrim.
Nuk është dhënë përshkrim.
Always set to "function_result" .
GoogleMapsCallDelta
arguments GoogleMapsCallArguments (optional)
The arguments to pass to the Google Maps tool.
Fushat
The queries to be executed.
A signature hash for backend validation.
Nuk është dhënë përshkrim.
Always set to "google_maps_call" .
GoogleMapsResultDelta
result array (GoogleMapsResult) (optional)
The results of the Google Maps.
Fushat
places array (Places) (optional)
The places that were found.
Fushat
Title of the place.
The ID of the place, in `places/{place_id}` format.
review_snippets array (ReviewSnippet) (optional)
Snippets of reviews that are used to generate answers about the features of a given place in Google Maps.
Fushat
The ID of the review snippet.
Title of the review.
A link that corresponds to the user review on Google Maps.
URI reference of the place.
Resource name of the Google Maps widget context token.
A signature hash for backend validation.
Nuk është dhënë përshkrim.
Always set to "google_maps_result" .
GoogleSearchCallDelta
arguments GoogleSearchCallArguments (required)
Nuk është dhënë përshkrim.
Fushat
Web search queries for the following-up web search.
A signature hash for backend validation.
Nuk është dhënë përshkrim.
Always set to "google_search_call" .
GoogleSearchResultDelta
Nuk është dhënë përshkrim.
result array (GoogleSearchResult) (required)
Nuk është dhënë përshkrim.
Fushat
Web content snippet that can be embedded in a web page or an app webview.
A signature hash for backend validation.
Nuk është dhënë përshkrim.
Always set to "google_search_result" .
ImageDelta
Nuk është dhënë përshkrim.
Nuk është dhënë përshkrim.
Vlerat e mundshme:
-
image/pngPNG image format
-
image/jpegJPEG image format
-
image/webpWebP image format
-
image/heicHEIC image format
-
image/heifHEIF image format
-
image/gifGIF image format
-
image/bmpBMP image format
-
image/tiffTIFF image format
resolution MediaResolution (optional)
The resolution of the media.
Vlerat e mundshme
-
lowLow resolution.
-
mediumMedium resolution.
-
highHigh resolution.
-
ultra_highUltra high resolution.
Nuk është dhënë përshkrim.
Always set to "image" .
Nuk është dhënë përshkrim.
McpServerToolCallDelta
Nuk është dhënë përshkrim.
Nuk është dhënë përshkrim.
Nuk është dhënë përshkrim.
Nuk është dhënë përshkrim.
Always set to "mcp_server_tool_call" .
McpServerToolResultDelta
Nuk është dhënë përshkrim.
Nuk është dhënë përshkrim.
Nuk është dhënë përshkrim.
Nuk është dhënë përshkrim.
Always set to "mcp_server_tool_result" .
ProcessingCallDelta
Streaming delta for a server-initiated media processing step.
A signature hash for backend validation.
Nuk është dhënë përshkrim.
Always set to "processing_call" .
ProcessingResultDelta
Streaming delta for the result of a server-initiated media processing step.
A signature hash for backend validation.
Nuk është dhënë përshkrim.
Always set to "processing_result" .
RetrievalCallDelta
Used by Vertex Retrieval tools such as Parallel AI, Exa AI, Vertex AI Search, etc. RetrievalType decides which tool is used.
arguments RetrievalStepArguments (required)
Required. The arguments to pass to the Retrieval tool.
Fushat
Queries for Retrieval information.
The type of retrieval tools.
Vlerat e mundshme:
-
rag_storeThe type of retrieval tools.
-
exa_ai_searchThe type of retrieval tools.
-
parallel_ai_searchThe type of retrieval tools.
A signature hash for backend validation.
Nuk është dhënë përshkrim.
Always set to "retrieval_call" .
RetrievalResultDelta
Used by Vertex Retrieval tools such as Parallel AI, Exa AI, Vertex AI Search, etc. ToolResultDelta.type
Whether the retrieval resulted in an error.
A signature hash for backend validation.
Nuk është dhënë përshkrim.
Always set to "retrieval_result" .
TextAnnotationDelta
annotations array (Annotation) (optional)
Citation information for model-generated content.
Llojet e mundshme
FileCitation
A file citation annotation.
User provided metadata about the retrieved context.
The URI of the file.
End of the attributed segment, exclusive.
The name of the file.
Media ID in-case of image citations, if applicable.
Page number of the cited document, if applicable.
Source attributed for a portion of the text.
Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.
Nuk është dhënë përshkrim.
Always set to "file_citation" .
PlaceCitation
A place citation annotation.
End of the attributed segment, exclusive.
Title of the place.
The ID of the place, in `places/{place_id}` format.
review_snippets array (ReviewSnippet) (optional)
Snippets of reviews that are used to generate answers about the features of a given place in Google Maps.
Fushat
The ID of the review snippet.
Title of the review.
A link that corresponds to the user review on Google Maps.
Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.
Nuk është dhënë përshkrim.
Always set to "place_citation" .
URI reference of the place.
UrlCitation
A URL citation annotation.
End of the attributed segment, exclusive.
Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.
The title of the URL.
Nuk është dhënë përshkrim.
Always set to "url_citation" .
The URL.
WordInfo
Word-level ASR annotation for transcription output. Carries the word text, optional timing, and optional speaker attribution.
End of the attributed segment, exclusive.
End offset in time of the word relative to the start of the audio. Present when timestamp_granularities contains "word".
Optional. Speaker label for this word (eg "spk_1", "spk_2"). Present when diarization_mode is set in TranscriptionConfig.
Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.
Start offset in time of the word relative to the start of the audio. Present when timestamp_granularities contains "word".
The transcribed word.
Nuk është dhënë përshkrim.
Always set to "word_info" .
Nuk është dhënë përshkrim.
Always set to "text_annotation_delta" .
TextDelta
Nuk është dhënë përshkrim.
Nuk është dhënë përshkrim.
Always set to "text" .
ThoughtSignatureDelta
Signature to match the backend source to be part of the generation.
Nuk është dhënë përshkrim.
Always set to "thought_signature" .
ThoughtSummaryDelta
A new summary item to be added to the thought.
Nuk është dhënë përshkrim.
Always set to "thought_summary" .
UrlContextCallDelta
arguments UrlContextCallArguments (required)
Nuk është dhënë përshkrim.
Fushat
The URLs to fetch.
A signature hash for backend validation.
Nuk është dhënë përshkrim.
Always set to "url_context_call" .
UrlContextResultDelta
Nuk është dhënë përshkrim.
result array (UrlContextResult) (required)
Nuk është dhënë përshkrim.
Fushat
The status of the URL retrieval.
Vlerat e mundshme:
-
successUrl retrieval is successful.
-
errorUrl retrieval is failed due to error.
-
paywallUrl retrieval is failed because the content is behind paywall.
-
unsafeUrl retrieval is failed because the content is unsafe.
The URL that was fetched.
A signature hash for backend validation.
Nuk është dhënë përshkrim.
Always set to "url_context_result" .
VideoDelta
Nuk është dhënë përshkrim.
Nuk është dhënë përshkrim.
Vlerat e mundshme:
-
video/mp4MP4 video format
-
video/mpegMPEG video format
-
video/mpgMPG video format
-
video/movMOV video format
-
video/aviAVI video format
-
video/x-flvFLV video format
-
video/webmWebM video format
-
video/wmvWMV video format
-
video/3gpp3GPP video format
-
video/jpeg2000JPEG 2000 video format
resolution MediaResolution (optional)
The resolution of the media.
Vlerat e mundshme
-
lowLow resolution.
-
mediumMedium resolution.
-
highHigh resolution.
-
ultra_highUltra high resolution.
Nuk është dhënë përshkrim.
Always set to "video" .
Nuk është dhënë përshkrim.
The event_id token to be used to resume the interaction stream, from this event.
Nuk është dhënë përshkrim.
Always set to "step.delta" .
Nuk është dhënë përshkrim.
metadata StepDeltaMetadata (optional)
Nuk është dhënë përshkrim.
Fushat
total_usage Usage (optional)
Statistics on the interaction request's token usage.
Fushat
cached_tokens_by_modality array (ModalityTokens) (optional)
A breakdown of cached token usage by modality.
Fushat
modality ResponseModality (optional)
The modality associated with the token count.
Vlerat e mundshme
-
textIndicates the model should return text.
-
imageIndicates the model should return images.
-
audioIndicates the model should return audio.
-
videoIndicates the model should return video.
-
documentIndicates the model should return documents.
Number of tokens for the modality.
grounding_tool_count array (GroundingToolCount) (optional)
Grounding tool count.
Fushat
The number of grounding tool counts.
The grounding tool type associated with the count.
Vlerat e mundshme:
-
google_searchGrounding with Google Web Search and Image Search, & Web Grounding for Enterprise.
-
google_mapsGrounding with Google Maps.
-
retrievalGrounding with customer's data, for example, VertexAISearch.
input_tokens_by_modality array (ModalityTokens) (optional)
A breakdown of input token usage by modality.
Fushat
modality ResponseModality (optional)
The modality associated with the token count.
Vlerat e mundshme
-
textIndicates the model should return text.
-
imageIndicates the model should return images.
-
audioIndicates the model should return audio.
-
videoIndicates the model should return video.
-
documentIndicates the model should return documents.
Number of tokens for the modality.
output_tokens_by_modality array (ModalityTokens) (optional)
A breakdown of output token usage by modality.
Fushat
modality ResponseModality (optional)
The modality associated with the token count.
Vlerat e mundshme
-
textIndicates the model should return text.
-
imageIndicates the model should return images.
-
audioIndicates the model should return audio.
-
videoIndicates the model should return video.
-
documentIndicates the model should return documents.
Number of tokens for the modality.
tool_use_tokens_by_modality array (ModalityTokens) (optional)
A breakdown of tool-use token usage by modality.
Fushat
modality ResponseModality (optional)
The modality associated with the token count.
Vlerat e mundshme
-
textIndicates the model should return text.
-
imageIndicates the model should return images.
-
audioIndicates the model should return audio.
-
videoIndicates the model should return video.
-
documentIndicates the model should return documents.
Number of tokens for the modality.
Number of tokens in the cached part of the prompt (the cached content).
Number of tokens in the prompt (context).
Total number of tokens across all the generated responses.
Number of tokens of thoughts for thinking models.
Total token count for the interaction request (prompt + responses + other internal tokens).
Number of tokens present in tool-use prompt(s).
StepStart
The event_id token to be used to resume the interaction stream, from this event.
Nuk është dhënë përshkrim.
Always set to "step.start" .
Nuk është dhënë përshkrim.
Nuk është dhënë përshkrim.
StepStop
The event_id token to be used to resume the interaction stream, from this event.
Nuk është dhënë përshkrim.
Always set to "step.stop" .
Nuk është dhënë përshkrim.
step_usage Usage (optional)
Model usage stats for this specific step.
Fushat
cached_tokens_by_modality array (ModalityTokens) (optional)
A breakdown of cached token usage by modality.
Fushat
modality ResponseModality (optional)
The modality associated with the token count.
Vlerat e mundshme
-
textIndicates the model should return text.
-
imageIndicates the model should return images.
-
audioIndicates the model should return audio.
-
videoIndicates the model should return video.
-
documentIndicates the model should return documents.
Number of tokens for the modality.
grounding_tool_count array (GroundingToolCount) (optional)
Grounding tool count.
Fushat
The number of grounding tool counts.
The grounding tool type associated with the count.
Vlerat e mundshme:
-
google_searchGrounding with Google Web Search and Image Search, & Web Grounding for Enterprise.
-
google_mapsGrounding with Google Maps.
-
retrievalGrounding with customer's data, for example, VertexAISearch.
input_tokens_by_modality array (ModalityTokens) (optional)
A breakdown of input token usage by modality.
Fushat
modality ResponseModality (optional)
The modality associated with the token count.
Vlerat e mundshme
-
textIndicates the model should return text.
-
imageIndicates the model should return images.
-
audioIndicates the model should return audio.
-
videoIndicates the model should return video.
-
documentIndicates the model should return documents.
Number of tokens for the modality.
output_tokens_by_modality array (ModalityTokens) (optional)
A breakdown of output token usage by modality.
Fushat
modality ResponseModality (optional)
The modality associated with the token count.
Vlerat e mundshme
-
textIndicates the model should return text.
-
imageIndicates the model should return images.
-
audioIndicates the model should return audio.
-
videoIndicates the model should return video.
-
documentIndicates the model should return documents.
Number of tokens for the modality.
tool_use_tokens_by_modality array (ModalityTokens) (optional)
A breakdown of tool-use token usage by modality.
Fushat
modality ResponseModality (optional)
The modality associated with the token count.
Vlerat e mundshme
-
textIndicates the model should return text.
-
imageIndicates the model should return images.
-
audioIndicates the model should return audio.
-
videoIndicates the model should return video.
-
documentIndicates the model should return documents.
Number of tokens for the modality.
Number of tokens in the cached part of the prompt (the cached content).
Number of tokens in the prompt (context).
Total number of tokens across all the generated responses.
Number of tokens of thoughts for thinking models.
Total token count for the interaction request (prompt + responses + other internal tokens).
Number of tokens present in tool-use prompt(s).
usage Usage (optional)
Cumulative model usage stats from the start of the session.
Fushat
cached_tokens_by_modality array (ModalityTokens) (optional)
A breakdown of cached token usage by modality.
Fushat
modality ResponseModality (optional)
The modality associated with the token count.
Vlerat e mundshme
-
textIndicates the model should return text.
-
imageIndicates the model should return images.
-
audioIndicates the model should return audio.
-
videoIndicates the model should return video.
-
documentIndicates the model should return documents.
Number of tokens for the modality.
grounding_tool_count array (GroundingToolCount) (optional)
Grounding tool count.
Fushat
The number of grounding tool counts.
The grounding tool type associated with the count.
Vlerat e mundshme:
-
google_searchGrounding with Google Web Search and Image Search, & Web Grounding for Enterprise.
-
google_mapsGrounding with Google Maps.
-
retrievalGrounding with customer's data, for example, VertexAISearch.
input_tokens_by_modality array (ModalityTokens) (optional)
A breakdown of input token usage by modality.
Fushat
modality ResponseModality (optional)
The modality associated with the token count.
Vlerat e mundshme
-
textIndicates the model should return text.
-
imageIndicates the model should return images.
-
audioIndicates the model should return audio.
-
videoIndicates the model should return video.
-
documentIndicates the model should return documents.
Number of tokens for the modality.
output_tokens_by_modality array (ModalityTokens) (optional)
A breakdown of output token usage by modality.
Fushat
modality ResponseModality (optional)
The modality associated with the token count.
Vlerat e mundshme
-
textIndicates the model should return text.
-
imageIndicates the model should return images.
-
audioIndicates the model should return audio.
-
videoIndicates the model should return video.
-
documentIndicates the model should return documents.
Number of tokens for the modality.
tool_use_tokens_by_modality array (ModalityTokens) (optional)
A breakdown of tool-use token usage by modality.
Fushat
modality ResponseModality (optional)
The modality associated with the token count.
Vlerat e mundshme
-
textIndicates the model should return text.
-
imageIndicates the model should return images.
-
audioIndicates the model should return audio.
-
videoIndicates the model should return video.
-
documentIndicates the model should return documents.
Number of tokens for the modality.
Number of tokens in the cached part of the prompt (the cached content).
Number of tokens in the prompt (context).
Total number of tokens across all the generated responses.
Number of tokens of thoughts for thinking models.
Total token count for the interaction request (prompt + responses + other internal tokens).
Number of tokens present in tool-use prompt(s).
Shembuj
Error Event
{ "error": { "code": "not_found", "message": "Failed to get completed interaction: Result not found." }, "event_type": "error" }
Interaction Completed
{ "event_id": "evt_123", "event_type": "interaction.completed", "interaction": { "created": "2025-12-04T15:01:45Z", "id": "v1_ChdXS0l4YWZXTk9xbk0xZThQczhEcmlROBIXV0tJeGFmV05PcW5NMWU4UHM4RHJpUTg", "model": "gemini-3.6-flash", "status": "completed", "updated": "2025-12-04T15:01:45Z" } }
Interaction Completed
{ "event_id": "evt_123", "event_type": "interaction.completed", "interaction": { "created": "2025-12-04T15:01:45Z", "id": "v1_ChdXS0l4YWZXTk9xbk0xZThQczhEcmlROBIXV0tJeGFmV05PcW5NMWU4UHM4RHJpUTg", "model": "gemini-3-flash-preview", "object": "interaction", "status": "completed", "updated": "2025-12-04T15:01:45Z" } }
Interaction Created
{ "event_id": "evt_123", "event_type": "interaction.created", "interaction": { "created": "2025-12-04T15:01:45Z", "id": "v1_ChdXS0l4YWZXTk9xbk0xZThQczhEcmlROBIXV0tJeGFmV05PcW5NMWU4UHM4RHJpUTg", "model": "gemini-3.6-flash", "status": "in_progress", "updated": "2025-12-04T15:01:45Z" } }
Interaction Created
{ "event_id": "evt_123", "event_type": "interaction.created", "interaction": { "id": "v1_ChdXS0l4YWZXTk9xbk0xZThQczhEcmlROBIXV0tJeGFmV05PcW5NMWU4UHM4RHJpUTg", "model": "gemini-3-flash-preview", "object": "interaction", "status": "in_progress" } }
Interaction Status Update
{ "event_type": "interaction.status_update", "interaction_id": "v1_ChdTMjQ0YWJ5TUF1TzcxZThQdjRpcnFRcxIXUzI0NGFieU1BdU83MWU4UHY0aXJxUXM", "status": "in_progress" }
Step Delta
{ "delta": { "type": "text", "text": "Hello" }, "event_type": "step.delta", "index": 0 }
Step Start
{ "event_type": "step.start", "index": 0, "step": { "type": "model_output" } }
Step Stop
{ "event_type": "step.stop", "index": 0 }
ResponseFormat
Llojet e mundshme
AudioResponseFormat
Configuration for audio output format.
Bit rate in bits per second (bps). Only applicable for compressed formats (MP3, Opus).
The delivery mode for the audio output.
Vlerat e mundshme:
-
inlineAudio data is returned inline in the response.
-
uriAudio data is returned as a URI.
The MIME type of the audio output.
Vlerat e mundshme:
-
audio/mp3MP3 audio format.
-
audio/ogg_opusOGG Opus audio format.
-
audio/l16Raw PCM (L16) audio format.
-
audio/wavWAV audio format.
-
audio/alawA-law audio format.
-
audio/mulawMu-law audio format.
Sample rate in Hz.
Nuk është dhënë përshkrim.
Always set to "audio" .
ImageResponseFormat
Configuration for image output format.
The aspect ratio for the image output.
Vlerat e mundshme:
-
1:11:1 aspect ratio.
-
2:32:3 aspect ratio.
-
3:23:2 aspect ratio.
-
3:43:4 aspect ratio.
-
4:34:3 aspect ratio.
-
4:54:5 aspect ratio.
-
5:45:4 aspect ratio.
-
9:169:16 aspect ratio.
-
16:916:9 aspect ratio.
-
21:921:9 aspect ratio.
-
1:81:8 aspect ratio.
-
8:18:1 aspect ratio.
-
1:41:4 aspect ratio.
-
4:14:1 aspect ratio.
The delivery mode for the image output.
Vlerat e mundshme:
-
inlineImage data is returned inline in the response.
-
uriImage data is returned as a URI.
The size of the image output.
Vlerat e mundshme:
-
512512px image size.
-
1K1K image size.
-
2K2K image size.
-
4K4K image size.
The MIME type of the image output.
Vlerat e mundshme:
-
image/jpegJPEG image format.
Nuk është dhënë përshkrim.
Always set to "image" .
TextResponseFormat
Configuration for text output format.
The MIME type of the text output.
Vlerat e mundshme:
-
application/jsonJSON output format.
-
text/plainPlain text output format.
The JSON schema that the output should conform to. Only applicable when mime_type is application/json.
Nuk është dhënë përshkrim.
Always set to "text" .
VideoResponseFormat
Configuration for video output format.
The aspect ratio for the video output.
Vlerat e mundshme:
-
16:916:9 aspect ratio.
-
9:169:16 aspect ratio.
The delivery mode for the video output.
Vlerat e mundshme:
-
inlineVideo data is returned inline in the response.
-
uriVideo data is returned as a URI.
The duration for the video output.
The Cloud Storage URI to store the video output. Required for Vertex if delivery mode is URI.
The video output resolution. Defaults to 720p.
Vlerat e mundshme:
-
360p360p resolution.
-
720p720p resolution.
-
1080p1080p resolution.
-
4k4K resolution.
Nuk është dhënë përshkrim.
Always set to "video" .
Shembuj
Dalja e audios
{ "type": "audio", "sample_rate": 24000 }
Image Output
{ "type": "image", "aspect_ratio": "16:9", "image_size": "1K", "mime_type": "image/jpeg" }
Text Output (JSON Schema)
{ "type": "text", "mime_type": "application/json", "schema": { "type": "object", "properties": { "ingredients": { "type": "array", "items": { "type": "string" } }, "recipe_name": { "type": "string" } }, "required": [ "ingredients", "recipe_name" ] } }
Video Output
{ "type": "video", "aspect_ratio": "16:9", "delivery": "inline" }
Hapi
A step in the interaction.
Llojet e mundshme
CodeExecutionCallStep
Code execution call step.
arguments CodeExecutionCallStepArguments (required)
Required. The arguments to pass to the code execution.
Fushat
The code to be executed.
Programming language of the `code`.
Vlerat e mundshme:
-
pythonPython >= 3.10, with numpy and simpy available.
Required. A unique ID for this specific tool call.
A signature hash for backend validation.
Nuk është dhënë përshkrim.
Always set to "code_execution_call" .
CodeExecutionResultStep
Code execution result step.
Required. ID to match the ID from the function call block.
Whether the code execution resulted in an error.
Required. The output of the code execution.
A signature hash for backend validation.
Nuk është dhënë përshkrim.
Always set to "code_execution_result" .
FileSearchCallStep
File Search call step.
Required. A unique ID for this specific tool call.
A signature hash for backend validation.
Nuk është dhënë përshkrim.
Always set to "file_search_call" .
FileSearchResultStep
File Search result step.
Required. ID to match the ID from the function call block.
A signature hash for backend validation.
Nuk është dhënë përshkrim.
Always set to "file_search_result" .
FunctionCallStep
A function tool call step.
Required. The arguments to pass to the function.
Required. A unique ID for this specific tool call.
Required. The name of the tool to call.
Nuk është dhënë përshkrim.
Always set to "function_call" .
FunctionResultStep
Result of a function tool call.
Required. ID to match the ID from the function call block.
Whether the tool call resulted in an error.
The name of the tool that was called.
Required. The result of the tool call.
Nuk është dhënë përshkrim.
Always set to "function_result" .
GoogleMapsCallStep
Google Maps call step.
arguments GoogleMapsCallStepArguments (optional)
The arguments to pass to the Google Maps tool.
Fushat
The queries to be executed.
Required. A unique ID for this specific tool call.
A signature hash for backend validation.
Nuk është dhënë përshkrim.
Always set to "google_maps_call" .
GoogleMapsResultStep
Google Maps result step.
Required. ID to match the ID from the function call block.
result array (GoogleMapsResultItem) (required)
Nuk është dhënë përshkrim.
Fushat
places array (GoogleMapsResultPlaces) (optional)
Nuk është dhënë përshkrim.
Fushat
Nuk është dhënë përshkrim.
Nuk është dhënë përshkrim.
review_snippets array (ReviewSnippet) (optional)
Nuk është dhënë përshkrim.
Fushat
The ID of the review snippet.
Title of the review.
A link that corresponds to the user review on Google Maps.
Nuk është dhënë përshkrim.
Nuk është dhënë përshkrim.
A signature hash for backend validation.
Nuk është dhënë përshkrim.
Always set to "google_maps_result" .
GoogleSearchCallStep
Google Search call step.
arguments GoogleSearchCallStepArguments (required)
Required. The arguments to pass to Google Search.
Fushat
Web search queries for the following-up web search.
Required. A unique ID for this specific tool call.
The type of search grounding enabled.
Vlerat e mundshme:
-
web_searchVendosja e kësaj fushe aktivizon kërkimin në internet. Kthehen vetëm rezultatet me tekst.
-
image_searchVendosja e kësaj fushe aktivizon kërkimin e imazheve. Kthehen bajtet e imazheve.
-
enterprise_web_searchVendosja e kësaj fushe aktivizon kërkimin në internet të ndërmarrjes.
A signature hash for backend validation.
Nuk është dhënë përshkrim.
Always set to "google_search_call" .
GoogleSearchResultStep
Google Search result step.
Required. ID to match the ID from the function call block.
Whether the Google Search resulted in an error.
result array (GoogleSearchResultItem) (required)
Required. The results of the Google Search.
Fushat
Web content snippet that can be embedded in a web page or an app webview.
A signature hash for backend validation.
Nuk është dhënë përshkrim.
Always set to "google_search_result" .
McpServerToolCallStep
MCPServer tool call step.
Required. The JSON object of arguments for the function.
Required. A unique ID for this specific tool call.
Required. The name of the tool which was called.
Required. The name of the used MCP server.
Nuk është dhënë përshkrim.
Always set to "mcp_server_tool_call" .
McpServerToolResultStep
MCPServer tool result step.
Required. ID to match the ID from the function call block.
Name of the tool which is called for this specific tool call.
Required. The output from the MCP server call. Can be simple text or rich content.
The name of the used MCP server.
Nuk është dhënë përshkrim.
Always set to "mcp_server_tool_result" .
ModelOutputStep
Output generated by the model.
Nuk është dhënë përshkrim.
Nuk është dhënë përshkrim.
Always set to "model_output" .
ThoughtStep
A thought step.
A signature hash for backend validation.
summary array (ThoughtSummaryContent) (optional)
A summary of the thought.
Llojet e mundshme
ImageContent
An image content block.
The image content.
The mime type of the image.
Vlerat e mundshme:
-
image/pngPNG image format
-
image/jpegJPEG image format
-
image/webpWebP image format
-
image/heicHEIC image format
-
image/heifHEIF image format
-
image/gifGIF image format
-
image/bmpBMP image format
-
image/tiffTIFF image format
resolution MediaResolution (optional)
The resolution of the media.
Vlerat e mundshme
-
lowLow resolution.
-
mediumMedium resolution.
-
highHigh resolution.
-
ultra_highUltra high resolution.
Nuk është dhënë përshkrim.
Always set to "image" .
The URI of the image.
TextContent
A text content block.
annotations array (Annotation) (optional)
Citation information for model-generated content.
Llojet e mundshme
FileCitation
A file citation annotation.
User provided metadata about the retrieved context.
The URI of the file.
End of the attributed segment, exclusive.
The name of the file.
Media ID in-case of image citations, if applicable.
Page number of the cited document, if applicable.
Source attributed for a portion of the text.
Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.
Nuk është dhënë përshkrim.
Always set to "file_citation" .
PlaceCitation
A place citation annotation.
End of the attributed segment, exclusive.
Title of the place.
The ID of the place, in `places/{place_id}` format.
review_snippets array (ReviewSnippet) (optional)
Snippets of reviews that are used to generate answers about the features of a given place in Google Maps.
Fushat
The ID of the review snippet.
Title of the review.
A link that corresponds to the user review on Google Maps.
Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.
Nuk është dhënë përshkrim.
Always set to "place_citation" .
URI reference of the place.
UrlCitation
A URL citation annotation.
End of the attributed segment, exclusive.
Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.
The title of the URL.
Nuk është dhënë përshkrim.
Always set to "url_citation" .
The URL.
WordInfo
Word-level ASR annotation for transcription output. Carries the word text, optional timing, and optional speaker attribution.
End of the attributed segment, exclusive.
End offset in time of the word relative to the start of the audio. Present when timestamp_granularities contains "word".
Optional. Speaker label for this word (eg "spk_1", "spk_2"). Present when diarization_mode is set in TranscriptionConfig.
Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.
Start offset in time of the word relative to the start of the audio. Present when timestamp_granularities contains "word".
The transcribed word.
Nuk është dhënë përshkrim.
Always set to "word_info" .
Required. The text content.
Nuk është dhënë përshkrim.
Always set to "text" .
Nuk është dhënë përshkrim.
Always set to "thought" .
UrlContextCallStep
URL context call step.
arguments UrlContextCallArguments (required)
Required. The arguments to pass to the URL context.
Fushat
The URLs to fetch.
Required. A unique ID for this specific tool call.
A signature hash for backend validation.
Nuk është dhënë përshkrim.
Always set to "url_context_call" .
UrlContextResultStep
URL context result step.
Required. ID to match the ID from the function call block.
Whether the URL context resulted in an error.
result array (UrlContextResult) (required)
Required. The results of the URL context.
Fushat
The status of the URL retrieval.
Vlerat e mundshme:
-
successUrl retrieval is successful.
-
errorUrl retrieval is failed due to error.
-
paywallUrl retrieval is failed because the content is behind paywall.
-
unsafeUrl retrieval is failed because the content is unsafe.
The URL that was fetched.
A signature hash for backend validation.
Nuk është dhënë përshkrim.
Always set to "url_context_result" .
UserInputStep
Input provided by the user.
Nuk është dhënë përshkrim.
Nuk është dhënë përshkrim.
Always set to "user_input" .
Shembuj
CodeExecutionCallStep
{ "type": "code_execution_call", "arguments": { "code": "print(sum(range(1, 11)))" }, "id": "code_call_71021" }
CodeExecutionResultStep
{ "type": "code_execution_result", "call_id": "code_call_71021", "result": "55\n" }
FileSearchCallStep
{ "type": "file_search_call", "id": "file_call_88192" }
FileSearchResultStep
{ "type": "file_search_result", "call_id": "file_call_88192" }
FunctionCallStep
{ "name": "get_weather", "type": "function_call", "arguments": { "location": "Boston, MA" }, "id": "call_98231" }
FunctionResultStep
{ "name": "get_weather", "type": "function_result", "call_id": "call_98231", "result": [ { "type": "text", "text": "{\"weather\":\"sunny\"}" } ] }
GoogleMapsCallStep
{ "type": "google_maps_call", "arguments": { "latitude": 37.7749, "longitude": -122.4194 }, "id": "maps_call_39201" }
GoogleMapsResultStep
{ "type": "google_maps_result", "call_id": "maps_call_39201", "result": [ { "name": "Golden Gate Park", "place_id": "ChIJIQBpAG2ahYAR9R7bNdTLg8M", "rating": 4.8 } ] }
GoogleSearchCallStep
{ "type": "google_search_call", "arguments": { "query": "Who won the men's 100m in Paris 2024?" }, "id": "search_call_19201" }
GoogleSearchResultStep
{ "type": "google_search_result", "call_id": "search_call_19201", "result": [ { "title": "Paris 2024 Olympics: Noah Lyles wins men's 100m gold", "url": "https://olympics.com/en/news/paris-2024-noah-lyles-wins-mens-100m-gold", "snippet": "American Noah Lyles won the Olympic men's 100m gold medal in a photo finish." } ] }
McpServerToolCallStep
{ "name": "calculate_tax", "type": "mcp_server_tool_call", "arguments": { "income": 120000, "state": "CA" }, "id": "mcp_call_29012", "server_name": "financial_mcp_server" }
McpServerToolResultStep
{ "type": "mcp_server_tool_result", "call_id": "mcp_call_29012", "result": { "tax_due": 32400 } }
ModelOutputStep
{ "type": "model_output", "content": [ { "type": "text", "text": "The capital of France is Paris." } ] }
ThoughtStep
{ "type": "thought", "signature": "thought_sig_abcd1234", "summary": [ { "type": "text", "text": "The model is searching Google for the capital of France." } ] }
UrlContextCallStep
{ "type": "url_context_call", "arguments": { "urls": [ "https://www.example.com" ] }, "id": "url_call_10219" }
UrlContextResultStep
{ "type": "url_context_result", "call_id": "url_call_10219", "result": [ { "title": "Example Domain", "url": "https://www.example.com", "snippet": "This domain is for use in illustrative examples in documents." } ] }
UserInputStep
{ "type": "user_input", "content": [ { "type": "text", "text": "What is the capital of France?" } ] }
EnvironmentConfig
Konfigurimi për një mjedis të personalizuar.
Fushat
Opsionale. ID-ja e mjedisit për bashkëveprimin. Nëse specifikohet, kërkesa do të përditësojë mjedisin ekzistues në vend që të krijojë një të ri.
Konfigurimi i rrjetit për mjedisin.
Vlerat e mundshme:
-
disabledÇaktivizon të gjithë rrjetin.
vargu i burimeve (Burimi) (opsional)
Nuk është dhënë përshkrim.
Fushat
Përmbajtja brenda rreshtit nëse `tipi` është `INLINE`.
Kodim opsional për përmbajtjen brenda rreshtit (p.sh. `base64`).
Burimi i mjedisit. Për Cloud Storage, kjo është shtegu i Cloud Storage. Për GitHub, kjo është shtegu i GitHub.
Ku duhet të shfaqet burimi në mjedis.
Nuk është dhënë përshkrim.
Vlerat e mundshme:
-
gcsNjë kovë Ruajtjeje në Cloud.
-
inlinePërmbajtje e integruar.
-
repositoryNjë depo gjenerike. Parashtesa e protokollit në URL-në burimore identifikon ofruesin (p.sh., github://, gcs://).
-
skill_registryNjë burim aftësish nga Shërbimi i Regjistrit të Aftësive. Aftësi: projects/{project}/locations/{location}/skills/{skill} Rishikimi i Aftësive: projects/{project}/locations/{location}/skills/{skill}/revisions/{revision} Mbështet montimin e të gjitha aftësive në kuadër të një projekti: projects/{project}/locations/{location}/skills.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "remote" .
Shembuj
Inline Sources
{ "type": "remote", "sources": [ { "type": "inline", "content": "You are a data analyst. Always include visualizations and export results as PDF.", "target": ".agents/AGENTS.md" }, { "type": "inline", "content": "---\nname: slide-maker\ndescription: Create HTML slide decks\n---\n# Slide Maker\n\nWhen asked to create a presentation:\n1. Analyze the input data\n2. Create an HTML slide deck with reveal.js\n3. Save to /workspace/output/slides.html", "target": ".agents/skills/slide-maker/SKILL.md" } ] }
External Sources
{ "type": "remote", "sources": [ { "type": "repository", "source": "https://github.com/my-org/my-skills.git", "target": ".agents/skills" }, { "type": "gcs", "source": "gs://my-bucket/my-folder", "target": "/workspace/data" } ] }
Network Allowlist
{ "type": "remote", "network": { "allowlist": [ { "domain": "pypi.org" }, { "domain": "*.github.com" } ] } }
Proxy Credentials
{ "type": "remote", "network": { "allowlist": [ { "domain": "api.github.com", "transform": { "Authorization": "Bearer YOUR_GITHUB_TOKEN" } } ] } }
EnvironmentNetworkEgressAllowlist
Konfigurimi i rrjetit dalës për sandbox-in. Pranon një objekt me një matricë 'allowlist' për të kufizuar trafikun, ose vargun 'disabled' për të çaktivizuar të gjithë aksesin në rrjet. Hiqeni plotësisht për të lejuar të gjithë trafikun dalës pa injektim në kokë.
Llojet e mundshme
objekt
Konfigurimi i rrjetit dalës për sandbox-in. Kur specifikohet, kufizon se cilat domene të jashtme mund të arrijë sandbox-i. Hiqeni plotësisht për të lejuar të gjithë trafikun dalës pa injektim të kokës.
vargu i listës së lejimeve (AllowlistEntry) (opsionale)
Lista e domeneve të lejuara dalëse. Lejohen vetëm kërkesat për domenet e listuara. Përdorni [{'domain': '*'}] për të lejuar të gjitha domenet, ndërkohë që ende injektohen tituj në ato specifike.
Fushat
Domeni për të lejuar kërkesat dalëse. Mbështet shenjat karakteristike (p.sh. '*.googleapis.com'). Përdorni '*' për të lejuar të gjitha domenet.
Tituj për t'u injektuar në të gjitha kërkesat dalëse që përputhen me këtë domen. Pranon një diktat të vetëm ose një listë diktatesh. Proxy i daljes i injekton këto automatikisht.
varg
Çaktivizon të gjithë rrjetin.
Vlerat e mundshme
-
disabledÇaktivizon të gjithë rrjetin.
Shembuj
Shembull
{ "allowlist": [ { "domain": "github.com", "transform": [ { "Authorization": "Bearer your-token" } ] }, { "domain": "*.googleapis.com" } ] }
ToolChoiceConfig
The tool choice configuration containing allowed tools.
Fushat
allowed_tools AllowedTools (optional)
Mjetet e lejuara.
Fushat
Mënyra e zgjedhjes së mjetit.
Vlerat e mundshme:
-
autoZgjedhja e mjetit automatik.
-
anyÇdo zgjedhje mjeti.
-
nonePa zgjedhje mjetesh.
-
validatedZgjedhje e mjetit të validuar.
Emrat e mjeteve të lejuara.
Shembuj
Shembull
{ "allowed_tools": { "mode": "any", "tools": [ "my_tool" ] } }
ImageContent
An image content block.
Fushat
The image content.
The mime type of the image.
Vlerat e mundshme:
-
image/pngPNG image format
-
image/jpegJPEG image format
-
image/webpWebP image format
-
image/heicHEIC image format
-
image/heifHEIF image format
-
image/gifGIF image format
-
image/bmpBMP image format
-
image/tiffTIFF image format
resolution MediaResolution (optional)
The resolution of the media.
Vlerat e mundshme
-
lowLow resolution.
-
mediumMedium resolution.
-
highHigh resolution.
-
ultra_highUltra high resolution.
Nuk është dhënë përshkrim.
Always set to "image" .
The URI of the image.
Shembuj
Imazh
{ "type": "image", "data": "BASE64_ENCODED_IMAGE", "mime_type": "image/png" }
TextContent
A text content block.
Fushat
annotations array (Annotation) (optional)
Citation information for model-generated content.
Llojet e mundshme
FileCitation
A file citation annotation.
User provided metadata about the retrieved context.
The URI of the file.
End of the attributed segment, exclusive.
The name of the file.
Media ID in-case of image citations, if applicable.
Page number of the cited document, if applicable.
Source attributed for a portion of the text.
Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.
Nuk është dhënë përshkrim.
Always set to "file_citation" .
PlaceCitation
A place citation annotation.
End of the attributed segment, exclusive.
Title of the place.
The ID of the place, in `places/{place_id}` format.
review_snippets array (ReviewSnippet) (optional)
Snippets of reviews that are used to generate answers about the features of a given place in Google Maps.
Fushat
The ID of the review snippet.
Title of the review.
A link that corresponds to the user review on Google Maps.
Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.
Nuk është dhënë përshkrim.
Always set to "place_citation" .
URI reference of the place.
UrlCitation
A URL citation annotation.
End of the attributed segment, exclusive.
Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.
The title of the URL.
Nuk është dhënë përshkrim.
Always set to "url_citation" .
The URL.
WordInfo
Word-level ASR annotation for transcription output. Carries the word text, optional timing, and optional speaker attribution.
End of the attributed segment, exclusive.
End offset in time of the word relative to the start of the audio. Present when timestamp_granularities contains "word".
Optional. Speaker label for this word (eg "spk_1", "spk_2"). Present when diarization_mode is set in TranscriptionConfig.
Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.
Start offset in time of the word relative to the start of the audio. Present when timestamp_granularities contains "word".
The transcribed word.
Nuk është dhënë përshkrim.
Always set to "word_info" .
Required. The text content.
Nuk është dhënë përshkrim.
Always set to "text" .
Shembuj
Tekst
{ "type": "text", "text": "Hello, how are you?" }