API-ja Gemini Interactions është një API eksperimentale që u lejon zhvilluesve të ndërtojnë aplikacione gjeneruese të IA-së duke përdorur modelet Gemini. Gemini është modeli ynë më i aftë, i ndërtuar nga themeli për të qenë multimodal. Mund të përgjithësojë dhe të kuptojë, të funksionojë dhe të kombinojë pa probleme lloje të ndryshme informacioni, duke përfshirë gjuhën, imazhet, audion, videon dhe kodin. Ju mund ta përdorni API-në Gemini për raste përdorimi si arsyetimi nëpër tekst dhe imazhe, gjenerimi i përmbajtjes, agjentët e dialogut, sistemet e përmbledhjes dhe klasifikimit dhe më shumë.
Krijimi i një ndërveprimi
Krijon një ndërveprim të ri.
Trupi i kërkesës
Trupi i kërkesës përmban të dhëna me strukturën e mëposhtme:
modeli ModelOpsioni (opsional)
Emri i `Modelit` të përdorur për gjenerimin e ndërveprimit.
E detyrueshme nëse `agjent` nuk është dhënë.
Vlerat e mundshme:
-
gemini-2.5-computer-use-preview-10-2025Një model i aftësive agjentike i projektuar për bashkëveprim të drejtpërdrejtë të ndërfaqes, duke i lejuar Gemini-t të perceptojë dhe të lundrojë në mjedise dixhitale.
-
gemini-2.5-flashModeli ynë i parë hibrid i arsyetimit i cili mbështet një dritare konteksti prej 1M token dhe ka buxhete të të menduarit.
-
gemini-2.5-flash-imageModeli ynë i gjenerimit të imazheve vendase, i optimizuar për shpejtësi, fleksibilitet dhe kuptim kontekstual. Futja dhe dalja e tekstit ka të njëjtin çmim si në Flash 2.5.
-
gemini-2.5-flash-liteModeli ynë më i vogël dhe më ekonomik, i ndërtuar për përdorim në shkallë të gjerë.
-
gemini-2.5-flash-lite-preview-09-2025Modeli më i fundit i bazuar në Gemini 2.5 Flash lite i optimizuar për efikasitet në kosto, rendiment të lartë dhe cilësi të lartë.
-
gemini-2.5-flash-native-audio-preview-12-2025Modelet tona audio vendase janë optimizuar për dalje audio me cilësi më të lartë me ritëm, natyrshmëri zëri, fjalëshmëri dhe humor më të mirë.
-
gemini-2.5-flash-preview-09-2025Modeli më i fundit i bazuar në modelin 2.5 Flash. 2.5 Flash Preview është më i miri për përpunim në shkallë të gjerë, detyra me vonesë të ulët, me vëllim të lartë që kërkojnë të menduarit dhe raste përdorimi agjentësh.
-
gemini-2.5-flash-preview-ttsModeli ynë 2.5 Flash i konvertimit tekst-në-fjalë është optimizuar për gjenerim të fuqishëm të të folurit dhe të kontrollueshëm me vonesë të ulët.
-
gemini-2.5-proModeli ynë shumëfunksional i teknologjisë së fundit, i cili shkëlqen në kodim dhe detyra komplekse arsyetimi.
-
gemini-2.5-pro-preview-ttsModeli ynë audio 2.5 Pro i konvertimit tekst-në-fjalë është i optimizuar për gjenerim të fuqishëm të të folurit me vonesë të ulët për rezultate më natyrale dhe udhëzime më të lehta për t'u drejtuar.
-
gemini-3-flash-previewModeli ynë më inteligjent i ndërtuar për shpejtësi, duke kombinuar inteligjencën kufitare me kërkimin dhe tokëzimin superior.
-
gemini-3-pro-image-previewModel i gjenerimit dhe redaktimit të imazheve sipas teknologjisë së fundit.
-
gemini-3-pro-previewModeli ynë më inteligjent me arsyetim SOTA dhe kuptim multimodal, si dhe aftësi të fuqishme kodimi agjentik dhe vibrues.
-
gemini-3.1-pro-previewModeli ynë më i fundit i arsyetimit SOTA me thellësi dhe nuancë të paparë, si dhe aftësi të fuqishme të të kuptuarit dhe kodimit multimodal.
-
gemini-3.1-flash-image-previewInteligjencë vizuale e nivelit profesional me efikasitet me shpejtësinë e Flash-it dhe aftësi gjenerimi të bazuara në realitet.
-
gemini-3.1-flash-lite-previewModeli ynë më me kosto efektive, i optimizuar për detyra agjentike me vëllim të lartë, përkthim dhe përpunim të thjeshtë të të dhënave.
-
gemini-3.1-flash-tts-previewGemini 3.1 Flash TTS: Gjenerim i fuqishëm i të folurit me vonesë të ulët. Shijoni dalje natyrale, udhëzime të kontrollueshme dhe etiketa të reja audio ekspresive për kontroll të saktë të rrëfimit.
-
lyria-3-clip-previewModeli ynë i gjenerimit të muzikës me latencë të ulët është i optimizuar për klipe audio me besnikëri të lartë dhe kontroll të saktë ritmik.
-
lyria-3-pro-previewModeli ynë i avancuar, gjenerues i këngëve të plota, me kuptim të thellë kompozicioni, i optimizuar për kontroll të saktë strukturor dhe tranzicione komplekse nëpër stile të ndryshme muzikore.
agjenti i agjentit (opsionale)
Emri i `Agjentit` të përdorur për gjenerimin e ndërveprimit.
E detyrueshme nëse `model` nuk është dhënë.
Vlerat e mundshme:
-
deep-research-pro-preview-12-2025Agjent i Kërkimeve të Thellë Gemini
-
deep-research-preview-04-2026Agjent i Kërkimeve të Thellë Gemini
-
deep-research-max-preview-04-2026Agjenti Maksimal i Kërkimeve të Thellë Gemini
Të dhënat hyrëse për bashkëveprimin (të përbashkëta si për Modelin ashtu edhe për Agjentin).
Udhëzime sistemi për bashkëveprimin.
Një listë e deklarimeve të mjeteve që modeli mund të thërrasë gjatë ndërveprimit.
Zbaton që përgjigjja e gjeneruar të jetë një objekt JSON që përputhet me skemën JSON të specifikuar në këtë fushë.
Lloji mime i përgjigjes. Kjo kërkohet nëse është vendosur response_format.
Vetëm të dhëna. Nëse bashkëveprimi do të transmetohet.
Vetëm hyrje. Nëse përgjigja dhe kërkesa do të ruhen për rikthim të mëvonshëm.
Vetëm të dhëna. Nëse do të ekzekutohet bashkëveprimi i modelit në sfond.
generation_config GenerationConfig (opsionale)
Konfigurimi i modelit
Parametrat e konfigurimit për bashkëveprimin e modelit.
Alternativë ndaj `agent_config`. I zbatueshëm vetëm kur është vendosur `model`.
Fushat
Kontrollon rastësinë e rezultatit.
Probabiliteti maksimal kumulativ i tokenëve që duhen marrë në konsideratë gjatë marrjes së mostrave.
Farë e përdorur në dekodim për riprodhueshmëri.
Një listë e sekuencave të karaktereve që do të ndalojnë bashkëveprimin e daljes.
niveli_i_thinkingLevel_i_Thinking (opsionale )
Niveli i tokenëve të mendimit që modeli duhet të gjenerojë.
Vlerat e mundshme:
-
minimal -
low -
medium -
high
thinking_summaries Përmbledhje të të Menduarit (opsionale)
Nëse do të përfshihen përmbledhje të mendimeve në përgjigje.
Vlerat e mundshme:
-
auto -
none
Numri maksimal i tokenëve që duhen përfshirë në përgjigje.
speech_config SpeechConfig (opsionale)
Konfigurimi për ndërveprimin me të folur.
Fushat
Zëri i folësit.
Gjuha e të folurit.
Emri i folësit, duhet të përputhet me emrin e folësit të dhënë në kërkesë.
image_config ImageConfig (opsionale)
Konfigurimi për bashkëveprimin e imazhit.
Fushat
Nuk është dhënë përshkrim.
Vlerat e mundshme:
-
1:1 -
2:3 -
3:2 -
3:4 -
4:3 -
4:5 -
5:4 -
9:16 -
16:9 -
21:9 -
1:8 -
8:1 -
1:4 -
4:1
Nuk është dhënë përshkrim.
Vlerat e mundshme:
-
1K -
2K -
4K -
512
Konfigurimi i zgjedhjes së mjetit.
objekti agent_config (opsional)
Konfigurimi i Agjentit
Konfigurimi për agjentin.
Alternativë ndaj `generation_config`. I zbatueshëm vetëm kur është vendosur `agent`.
Llojet e mundshme
Diskriminuesi polimorfik: type
Konfigurimi i Agjentit Dinamike
Konfigurimi për agjentë dinamikë.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "dynamic" .
DeepResearchAgentConfig
Konfigurimi për agjentin e Kërkimit të Thellë.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur për "deep-research" .
thinking_summaries Përmbledhje të të Menduarit (opsionale)
Nëse do të përfshihen përmbledhje të mendimeve në përgjigje.
Vlerat e mundshme:
-
auto -
none
Nëse do të përfshihen vizualizime në përgjigje.
Vlerat e mundshme:
-
off -
auto
Aktivizon planifikimin njerëzor në ciklin e punës për agjentin e Kërkimit të Thellë. Nëse vendoset në "e vërtetë", agjenti i Kërkimit të Thellë do të ofrojë një plan kërkimi në përgjigjen e tij. Agjenti do të vazhdojë vetëm nëse përdoruesi e konfirmon planin në raundin tjetër.
ID-ja e ndërveprimit të mëparshëm, nëse ka.
response_modalities ResponseModality (opsionale)
Modalitetet e kërkuara të përgjigjes (TEKSTI, IMAZHI, AUDIO).
Vlerat e mundshme:
-
text -
image -
audio -
video -
document
niveli_i_shërbimit Niveli_i_Shërbimit (opsional)
Niveli i shërbimit për bashkëveprimin.
Vlerat e mundshme:
-
flex -
standard -
priority
webhook_config WebhookConfig (opsionale)
Opsionale. Konfigurimi i Webhook për marrjen e njoftimeve kur ndërveprimi përfundon.
Fushat
Opsionale. Nëse caktohet, këto URI të webhook-ut do të përdoren për ngjarjet e webhook-ut në vend të webhook-ut të regjistruar.
Opsionale. Meta të dhënat e përdoruesit që do të kthehen në çdo transmetim ngjarjeje te webhook-et.
Përgjigje
Kthen një burim Ndërveprimi .
Kërkesë e thjeshtë
Shembull Përgjigjeje
{ "created": "2025-11-26T12:25:15Z", "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg", "model": "gemini-3-flash-preview", "object": "interaction", "steps": [ { "type": "model_output", "content": [ { "type": "text", "text": "Hello! I'm functioning perfectly and ready to assist you.\n\nHow are you doing today?" } ] } ], "status": "completed", "updated": "2025-11-26T12:25:15Z", "usage": { "input_tokens_by_modality": [ { "modality": "text", "tokens": 7 } ], "total_cached_tokens": 0, "total_input_tokens": 7, "total_output_tokens": 20, "total_thought_tokens": 22, "total_tokens": 49, "total_tool_use_tokens": 0 } }
Shumëkthesë
Shembull Përgjigjeje
{ "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg", "model": "gemini-3-flash-preview", "status": "completed", "object": "interaction", "created": "2025-11-26T12:22:47Z", "updated": "2025-11-26T12:22:47Z", "steps": [ { "type": "model_output", "content": [ { "type": "text", "text": "The capital of France is Paris." } ] } ], "usage": { "input_tokens_by_modality": [ { "modality": "text", "tokens": 50 } ], "total_cached_tokens": 0, "total_input_tokens": 50, "total_output_tokens": 10, "total_thought_tokens": 0, "total_tokens": 60, "total_tool_use_tokens": 0 } }
Futja e imazhit
Shembull Përgjigjeje
{ "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg", "model": "gemini-3-flash-preview", "status": "completed", "object": "interaction", "created": "2025-11-26T12:22:47Z", "updated": "2025-11-26T12:22:47Z", "steps": [ { "type": "model_output", "content": [ { "type": "text", "text": "A white humanoid robot with glowing blue eyes stands holding a red skateboard." } ] } ], "usage": { "input_tokens_by_modality": [ { "modality": "text", "tokens": 10 }, { "modality": "image", "tokens": 258 } ], "total_cached_tokens": 0, "total_input_tokens": 268, "total_output_tokens": 20, "total_thought_tokens": 0, "total_tokens": 288, "total_tool_use_tokens": 0 } }
Thirrja e funksionit
Shembull Përgjigjeje
{ "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg", "model": "gemini-3-flash-preview", "status": "requires_action", "object": "interaction", "created": "2025-11-26T12:22:47Z", "updated": "2025-11-26T12:22:47Z", "steps": [ { "type": "function_call", "id": "gth23981", "name": "get_weather", "arguments": { "location": "Boston, MA" } } ], "usage": { "input_tokens_by_modality": [ { "modality": "text", "tokens": 100 } ], "total_cached_tokens": 0, "total_input_tokens": 100, "total_output_tokens": 25, "total_thought_tokens": 0, "total_tokens": 125, "total_tool_use_tokens": 50 } }
Hulumtime të Thella
Shembull Përgjigjeje
{ "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg", "agent": "deep-research-pro-preview-12-2025", "status": "completed", "object": "interaction", "created": "2025-11-26T12:22:47Z", "updated": "2025-11-26T12:22:47Z", "steps": [ { "type": "model_output", "content": [ { "type": "text", "text": "Here is a comprehensive research report on the current state of cancer research..." } ] } ], "usage": { "input_tokens_by_modality": [ { "modality": "text", "tokens": 20 } ], "total_cached_tokens": 0, "total_input_tokens": 20, "total_output_tokens": 1000, "total_thought_tokens": 500, "total_tokens": 1520, "total_tool_use_tokens": 0 } }
Duke marrë një ndërveprim
Merr detajet e plota të një bashkëveprimi të vetëm bazuar në `Interaction.id`-in e tij.
Parametrat e Shtegut / Pyetjes
Identifikuesi unik i ndërveprimit që do të rikuperohet.
Nëse vendoset në "e vërtetë", përmbajtja e gjeneruar do të transmetohet në mënyrë graduale.
Parazgjedhja është: False
Opsionale. Nëse vendoset, rifillon rrjedhën e ndërveprimit nga pjesa tjetër pas ngjarjes së shënuar nga ID-ja e ngjarjes. Mund të përdoret vetëm nëse `rrjedha` është e vërtetë.
Nëse vendoset në "e vërtetë", përfshin të dhënat hyrëse në përgjigje.
Parazgjedhja është: False
Cilin version të API-t të përdoret.
Përgjigje
Kthen një burim Ndërveprimi .
Merr Ndërveprimin
Shembull Përgjigjeje
{ "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg", "model": "gemini-3-flash-preview", "status": "completed", "object": "interaction", "created": "2025-11-26T12:25:15Z", "updated": "2025-11-26T12:25:15Z", "steps": [ { "type": "model_output", "content": [ { "type": "text", "text": "I'm doing great, thank you for asking! How can I help you today?" } ] } ] }
Fshirja e një ndërveprimi
Fshin ndërveprimin me anë të ID-së.
Parametrat e Shtegut / Pyetjes
Identifikuesi unik i ndërveprimit që do të fshihet.
Cilin version të API-t të përdoret.
Përgjigje
Nëse ka sukses, përgjigja është bosh.
Fshij Ndërveprimin
Anulimi i një ndërveprimi
Anulon një bashkëveprim me anë të ID-së. Kjo vlen vetëm për bashkëveprimet në sfond që janë ende në ekzekutim.
Parametrat e Shtegut / Pyetjes
Identifikuesi unik i ndërveprimit që do të anulohet.
Cilin version të API-t të përdoret.
Përgjigje
Kthen një burim Ndërveprimi .
Anulo Ndërveprimin
Shembull Përgjigjeje
{ "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg", "agent": "deep-research-pro-preview-12-2025", "status": "cancelled", "object": "interaction", "created": "2025-11-26T12:25:15Z", "updated": "2025-11-26T12:25:15Z" }
Burimet
Ndërveprimi
Burimi i Ndërveprimit.
Fushat
modeli ModelOpsioni (opsional)
Emri i `Modelit` të përdorur për gjenerimin e ndërveprimit.
Vlerat e mundshme:
-
gemini-2.5-computer-use-preview-10-2025Një model i aftësive agjentike i projektuar për bashkëveprim të drejtpërdrejtë të ndërfaqes, duke i lejuar Gemini-t të perceptojë dhe të lundrojë në mjedise dixhitale.
-
gemini-2.5-flashModeli ynë i parë hibrid i arsyetimit i cili mbështet një dritare konteksti prej 1M token dhe ka buxhete të të menduarit.
-
gemini-2.5-flash-imageModeli ynë i gjenerimit të imazheve vendase, i optimizuar për shpejtësi, fleksibilitet dhe kuptim kontekstual. Futja dhe dalja e tekstit ka të njëjtin çmim si në Flash 2.5.
-
gemini-2.5-flash-liteModeli ynë më i vogël dhe më ekonomik, i ndërtuar për përdorim në shkallë të gjerë.
-
gemini-2.5-flash-lite-preview-09-2025Modeli më i fundit i bazuar në Gemini 2.5 Flash lite i optimizuar për efikasitet në kosto, rendiment të lartë dhe cilësi të lartë.
-
gemini-2.5-flash-native-audio-preview-12-2025Modelet tona audio vendase janë optimizuar për dalje audio me cilësi më të lartë me ritëm, natyrshmëri zëri, fjalëshmëri dhe humor më të mirë.
-
gemini-2.5-flash-preview-09-2025Modeli më i fundit i bazuar në modelin 2.5 Flash. 2.5 Flash Preview është më i miri për përpunim në shkallë të gjerë, detyra me vonesë të ulët, me vëllim të lartë që kërkojnë të menduarit dhe raste përdorimi agjentësh.
-
gemini-2.5-flash-preview-ttsModeli ynë 2.5 Flash i konvertimit tekst-në-fjalë është optimizuar për gjenerim të fuqishëm të të folurit dhe të kontrollueshëm me vonesë të ulët.
-
gemini-2.5-proModeli ynë shumëfunksional i teknologjisë së fundit, i cili shkëlqen në kodim dhe detyra komplekse arsyetimi.
-
gemini-2.5-pro-preview-ttsModeli ynë audio 2.5 Pro i konvertimit tekst-në-fjalë është i optimizuar për gjenerim të fuqishëm të të folurit me vonesë të ulët për rezultate më natyrale dhe udhëzime më të lehta për t'u drejtuar.
-
gemini-3-flash-previewModeli ynë më inteligjent i ndërtuar për shpejtësi, duke kombinuar inteligjencën kufitare me kërkimin dhe tokëzimin superior.
-
gemini-3-pro-image-previewModel i gjenerimit dhe redaktimit të imazheve sipas teknologjisë së fundit.
-
gemini-3-pro-previewModeli ynë më inteligjent me arsyetim SOTA dhe kuptim multimodal, si dhe aftësi të fuqishme kodimi agjentik dhe vibrues.
-
gemini-3.1-pro-previewModeli ynë më i fundit i arsyetimit SOTA me thellësi dhe nuancë të paparë, si dhe aftësi të fuqishme të të kuptuarit dhe kodimit multimodal.
-
gemini-3.1-flash-image-previewInteligjencë vizuale e nivelit profesional me efikasitet me shpejtësinë e Flash-it dhe aftësi gjenerimi të bazuara në realitet.
-
gemini-3.1-flash-lite-previewModeli ynë më me kosto efektive, i optimizuar për detyra agjentike me vëllim të lartë, përkthim dhe përpunim të thjeshtë të të dhënave.
-
gemini-3.1-flash-tts-previewGemini 3.1 Flash TTS: Gjenerim i fuqishëm i të folurit me vonesë të ulët. Shijoni dalje natyrale, udhëzime të kontrollueshme dhe etiketa të reja audio ekspresive për kontroll të saktë të rrëfimit.
-
lyria-3-clip-previewModeli ynë i gjenerimit të muzikës me latencë të ulët është i optimizuar për klipe audio me besnikëri të lartë dhe kontroll të saktë ritmik.
-
lyria-3-pro-previewModeli ynë i avancuar, gjenerues i këngëve të plota, me kuptim të thellë kompozicioni, i optimizuar për kontroll të saktë strukturor dhe tranzicione komplekse nëpër stile të ndryshme muzikore.
agjenti i agjentit (opsionale)
Emri i `Agjentit` të përdorur për gjenerimin e ndërveprimit.
Vlerat e mundshme:
-
deep-research-pro-preview-12-2025Agjent i Kërkimeve të Thellë Gemini
-
deep-research-preview-04-2026Agjent i Kërkimeve të Thellë Gemini
-
deep-research-max-preview-04-2026Agjenti Maksimal i Kërkimeve të Thellë Gemini
E detyrueshme. Vetëm rezultat. Një identifikues unik për përfundimin e ndërveprimit.
E detyrueshme. Vetëm rezultat. Statusi i ndërveprimit.
Vlerat e mundshme:
-
in_progress -
requires_action -
completed -
failed -
cancelled -
incomplete
E detyrueshme. Vetëm rezultati. Ora në të cilën u krijua përgjigja në formatin ISO 8601 (YYYY-MM-DDThh:mm:ssZ).
E detyrueshme. Vetëm rezultati. Ora në të cilën përgjigja është përditësuar për herë të fundit në formatin ISO 8601 (YYYY-MM-DDThh:mm:ssZ).
Vetëm rezultati. Roli i ndërveprimit.
Udhëzime sistemi për bashkëveprimin.
Një listë e deklarimeve të mjeteve që modeli mund të thërrasë gjatë ndërveprimit.
Përdorimi Përdorimi (opsional)
Vetëm rezultate. Statistikat mbi përdorimin e tokenit të kërkesës së ndërveprimit.
Fushat
Numri i tokenëve në kërkesë (konteksti).
input_tokens_by_modality ModalityTokens (opsionale)
Një ndarje e përdorimit të tokenit të hyrjes sipas modalitetit.
Fushat
modaliteti ResponseModality (opsionale)
Modaliteti i lidhur me numërimin e tokenëve.
Vlerat e mundshme:
-
text -
image -
audio -
video -
document
Numri i tokenëve për modalitetin.
Numri i tokenëve në pjesën e ruajtur në memorien e përkohshme të kërkesës (përmbajtja e ruajtur në memorien e përkohshme).
cached_tokens_by_modality ModalityTokens (opsionale)
Një ndarje e përdorimit të tokenëve të ruajtur në memorje sipas modalitetit.
Fushat
modaliteti ResponseModality (opsionale)
Modaliteti i lidhur me numërimin e tokenëve.
Vlerat e mundshme:
-
text -
image -
audio -
video -
document
Numri i tokenëve për modalitetin.
Numri total i tokenëve në të gjitha përgjigjet e gjeneruara.
output_tokens_by_modality ModalityTokens (opsionale)
Një ndarje e përdorimit të tokenit të daljes sipas modalitetit.
Fushat
modaliteti ResponseModality (opsionale)
Modaliteti i lidhur me numërimin e tokenëve.
Vlerat e mundshme:
-
text -
image -
audio -
video -
document
Numri i tokenëve për modalitetin.
Numri i tokenëve të pranishëm në kërkesën/kërkesat e përdorimit të mjetit.
tool_use_tokens_by_modality ModalityTokens (opsionale)
Një ndarje e përdorimit të tokenëve të përdorimit të mjeteve sipas modalitetit.
Fushat
modaliteti ResponseModality (opsionale)
Modaliteti i lidhur me numërimin e tokenëve.
Vlerat e mundshme:
-
text -
image -
audio -
video -
document
Numri i tokenëve për modalitetin.
Numri i tokenëve të mendimeve për modelet e të menduarit.
Numri total i tokenëve për kërkesën e ndërveprimit (kërkesa + përgjigjet + tokenët e tjerë të brendshëm).
grounding_tool_count GroundingToolCount (opsionale)
Numri i mjeteve të tokëzimit.
Fushat
Lloji i mjetit të tokëzimit i lidhur me numërimin.
Vlerat e mundshme:
-
google_search -
google_maps -
retrieval
Numri i mjeteve të tokëzimit numërohet.
response_modalities ResponseModality (opsionale)
Modalitetet e kërkuara të përgjigjes (TEKSTI, IMAZHI, AUDIO).
Vlerat e mundshme:
-
text -
image -
audio -
video -
document
Lloji mime i përgjigjes. Kjo kërkohet nëse është vendosur response_format.
ID-ja e ndërveprimit të mëparshëm, nëse ka.
niveli_i_shërbimit Niveli_i_Shërbimit (opsional)
Niveli i shërbimit për bashkëveprimin.
Vlerat e mundshme:
-
flex -
standard -
priority
webhook_config WebhookConfig (opsionale)
Opsionale. Konfigurimi i Webhook për marrjen e njoftimeve kur ndërveprimi përfundon.
Fushat
Opsionale. Nëse caktohet, këto URI të webhook-ut do të përdoren për ngjarjet e webhook-ut në vend të webhook-ut të regjistruar.
Opsionale. Meta të dhënat e përdoruesit që do të kthehen në çdo transmetim ngjarjeje te webhook-et.
hapat Hapi (opsional)
Vetëm rezultati. Hapat që përbëjnë bashkëveprimin.
Llojet e mundshme
Diskriminuesi polimorfik: type
Hapi i Hyrjes së Përdoruesit
Të dhëna të dhëna nga përdoruesi.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "user_input" .
Nuk është dhënë përshkrim.
Hapi i Prodhimit të Modelit
Rezultati i gjeneruar nga modeli.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "model_output" .
Nuk është dhënë përshkrim.
ThoughtStep
Një hap i menduar.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "thought" .
Një hash nënshkrimi për validimin e backend-it.
përmbledhje ThoughtSummaryContent (opsionale)
Një përmbledhje e mendimit.
Llojet e mundshme
Diskriminuesi polimorfik: type
Përmbajtje Teksti
Një bllok përmbajtjeje teksti.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "text" .
E detyrueshme. Përmbajtja e tekstit.
shënime Shënim (opsional)
Informacion mbi citimin për përmbajtjen e gjeneruar nga modeli.
Llojet e mundshme
Diskriminuesi polimorfik: type
Citimi i Url-it
Një shënim citimi URL-je.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "url_citation" .
URL-ja.
Titulli i URL-së.
Fillimi i segmentit të përgjigjes që i atribuohet këtij burimi. Indeksi tregon fillimin e segmentit, i matur në bajt.
Fundi i segmentit të atribuuar, ekskluziv.
FileCitation
Një shënim citimi i skedarit.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "file_citation" .
URI-ja e skedarit.
Emri i skedarit.
Burimi i atribuuar për një pjesë të tekstit.
Përdoruesi dha meta të dhëna rreth kontekstit të marrë.
Numri i faqes së dokumentit të cituar, nëse ka.
ID e medias në rast të citimeve të imazheve, nëse ka.
Fillimi i segmentit të përgjigjes që i atribuohet këtij burimi. Indeksi tregon fillimin e segmentit, i matur në bajt.
Fundi i segmentit të atribuuar, ekskluziv.
Citimi i Vendit
Një shënim citimi vendi.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "place_citation" .
ID-ja e vendit, në formatin `places/{place_id}`.
Titulli i vendit.
Referenca URI e vendit.
review_snippets ReviewSnippet (opsionale)
Fragmente të vlerësimeve që përdoren për të gjeneruar përgjigje rreth karakteristikave të një vendi të caktuar në Google Maps.
Fushat
Titulli i rishikimit.
Një lidhje që korrespondon me vlerësimin e përdoruesit në Google Maps.
ID-ja e fragmentit të rishikimit.
Fillimi i segmentit të përgjigjes që i atribuohet këtij burimi. Indeksi tregon fillimin e segmentit, i matur në bajt.
Fundi i segmentit të atribuuar, ekskluziv.
Përmbajtje Imazhesh
Një bllok përmbajtjeje imazhi.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "image" .
Përmbajtja e imazhit.
URI-ja e imazhit.
Lloji i mimikës së imazhit.
Vlerat e mundshme:
-
image/png -
image/jpeg -
image/webp -
image/heic -
image/heif -
image/gif -
image/bmp -
image/tiff
rezolucioni i MediaResolution (opsional)
Zgjidhja e mediave.
Vlerat e mundshme:
-
low -
medium -
high -
ultra_high
Hapi i Thirrjes së Funksionit
Një hap i thirrjes së mjetit të funksionit.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "function_call" .
E detyrueshme. Emri i mjetit që do të thirret.
E detyrueshme. Argumentet që duhen kaluar te funksioni.
E detyrueshme. Një ID unike për këtë thirrje specifike të mjetit.
Një hash nënshkrimi për validimin e backend-it.
CodeExecutionCallStep
Hapi i thirrjes së ekzekutimit të kodit.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "code_execution_call" .
argumentet CodeExecutionCallStepArguments (e detyrueshme)
E detyrueshme. Argumentet që do të kalohen në ekzekutimin e kodit.
Fushat
Gjuha e programimit të `kodit`.
Vlerat e mundshme:
-
python
Kodi që do të ekzekutohet.
E detyrueshme. Një ID unike për këtë thirrje specifike të mjetit.
Një hash nënshkrimi për validimin e backend-it.
UrlContextCallStep
Hapi i thirrjes së kontekstit të URL-së.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "url_context_call" .
argumentet UrlContextCallStepArguments (e detyrueshme)
E detyrueshme. Argumentet që duhen kaluar në kontekstin e URL-së.
Fushat
URL-të që duhen marrë.
E detyrueshme. Një ID unike për këtë thirrje specifike të mjetit.
Një hash nënshkrimi për validimin e backend-it.
McpServerToolCallStep
Hapi i thirrjes së mjetit MCPServer.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "mcp_server_tool_call" .
E detyrueshme. Emri i mjetit që u thirr.
E detyrueshme. Emri i serverit MCP të përdorur.
E detyrueshme. Objekti JSON i argumenteve për funksionin.
E detyrueshme. Një ID unike për këtë thirrje specifike të mjetit.
Një hash nënshkrimi për validimin e backend-it.
GoogleSearchCallStep
Hapi i thirrjes së Kërkimit në Google.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "google_search_call" .
argumente GoogleSearchCallStepArguments (e detyrueshme)
E detyrueshme. Argumentet që duhen kaluar te Kërkimi në Google.
Fushat
Pyetje kërkimi në internet për kërkimin pasues në internet.
Lloji i bazës së kërkimit të aktivizuar.
Vlerat e mundshme:
-
web_search -
image_search -
enterprise_web_search
E detyrueshme. Një ID unike për këtë thirrje specifike të mjetit.
Një hash nënshkrimi për validimin e backend-it.
FileSearchCallStep
Hapi i thirrjes së Kërkimit të Skedarit.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "file_search_call" .
E detyrueshme. Një ID unike për këtë thirrje specifike të mjetit.
Një hash nënshkrimi për validimin e backend-it.
GoogleMapsCallStep
Hapi i thirrjes së Google Maps.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "google_maps_call" .
argumentet GoogleMapsCallStepArguments (opsionale)
Argumentet për t'i kaluar mjetit Google Maps.
Fushat
Pyetjet që do të ekzekutohen.
E detyrueshme. Një ID unike për këtë thirrje specifike të mjetit.
Një hash nënshkrimi për validimin e backend-it.
FunctionResultStep
Rezultati i një thirrjeje të mjetit të funksionit.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "function_result" .
Emri i mjetit që u thirr.
Nëse thirrja e mjetit rezultoi në një gabim.
E detyrueshme. ID që përputhet me ID-në nga blloku i thirrjes së funksionit.
Një hash nënshkrimi për validimin e backend-it.
Rezultati i thirrjes së mjetit.
Hapi i Rezultatit të Ekzekutimit të Kodit
Hapi i rezultatit të ekzekutimit të kodit.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "code_execution_result" .
E detyrueshme. Rezultati i ekzekutimit të kodit.
Nëse ekzekutimi i kodit rezultoi në një gabim.
E detyrueshme. ID që përputhet me ID-në nga blloku i thirrjes së funksionit.
Një hash nënshkrimi për validimin e backend-it.
UrlContextResultStep
Hapi i rezultatit të kontekstit të URL-së.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "url_context_result" .
rezultati UrlContextResultItem (i detyrueshëm)
E detyrueshme. Rezultatet e kontekstit të URL-së.
Fushat
URL-ja që u mor.
Statusi i rikthimit të URL-së.
Vlerat e mundshme:
-
success -
error -
paywall -
unsafe
Nëse konteksti i URL-së rezultoi në një gabim.
E detyrueshme. ID që përputhet me ID-në nga blloku i thirrjes së funksionit.
Një hash nënshkrimi për validimin e backend-it.
Hapi i Rezultateve të Kërkimit në Google
Hapi i rezultatit të Kërkimit në Google.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "google_search_result" .
rezultati GoogleSearchResultItem (i detyrueshëm)
E detyrueshme. Rezultatet e Kërkimit në Google.
Fushat
Fragment përmbajtjeje uebi që mund të integrohet në një faqe uebi ose në një pamje uebi të aplikacionit.
Nëse Kërkimi në Google rezultoi në një gabim.
E detyrueshme. ID që përputhet me ID-në nga blloku i thirrjes së funksionit.
Një hash nënshkrimi për validimin e backend-it.
McpServerToolResultStep
Hapi i rezultatit të mjetit MCPServer.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "mcp_server_tool_result" .
Emri i mjetit që thirret për këtë thirrje specifike të mjetit.
Emri i serverit MCP të përdorur.
E detyrueshme. ID që përputhet me ID-në nga blloku i thirrjes së funksionit.
Një hash nënshkrimi për validimin e backend-it.
Dalja nga thirrja e serverit MCP. Mund të jetë tekst i thjeshtë ose përmbajtje e pasur.
FileSearchResultStep
Hapi i rezultatit të kërkimit të skedarëve.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "file_search_result" .
E detyrueshme. ID që përputhet me ID-në nga blloku i thirrjes së funksionit.
Një hash nënshkrimi për validimin e backend-it.
Hapi i Rezultateve të GoogleMaps
Hapi i rezultatit të Google Maps.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "google_maps_result" .
rezultati GoogleMapsResultItem (i detyrueshëm)
Nuk është dhënë përshkrim.
Fushat
vende GoogleMapsResultPlaces (opsionale)
Nuk është dhënë përshkrim.
Fushat
Nuk është dhënë përshkrim.
Nuk është dhënë përshkrim.
Nuk është dhënë përshkrim.
review_snippets ReviewSnippet (opsionale)
Nuk është dhënë përshkrim.
Fushat
Titulli i rishikimit.
Një lidhje që korrespondon me vlerësimin e përdoruesit në Google Maps.
ID-ja e fragmentit të rishikimit.
Nuk është dhënë përshkrim.
E detyrueshme. ID që përputhet me ID-në nga blloku i thirrjes së funksionit.
Një hash nënshkrimi për validimin e backend-it.
Të dhënat hyrëse për bashkëveprimin.
Zbaton që përgjigjja e gjeneruar të jetë një objekt JSON që përputhet me skemën JSON të specifikuar në këtë fushë.
objekti agent_config (opsional)
Parametrat e konfigurimit për bashkëveprimin e agjentit.
Llojet e mundshme
Diskriminuesi polimorfik: type
Konfigurimi i Agjentit Dinamike
Konfigurimi për agjentë dinamikë.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "dynamic" .
DeepResearchAgentConfig
Konfigurimi për agjentin e Kërkimit të Thellë.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur për "deep-research" .
thinking_summaries Përmbledhje të të Menduarit (opsionale)
Nëse do të përfshihen përmbledhje të mendimeve në përgjigje.
Vlerat e mundshme:
-
auto -
none
Nëse do të përfshihen vizualizime në përgjigje.
Vlerat e mundshme:
-
off -
auto
Aktivizon planifikimin njerëzor në ciklin e punës për agjentin e Kërkimit të Thellë. Nëse vendoset në "e vërtetë", agjenti i Kërkimit të Thellë do të ofrojë një plan kërkimi në përgjigjen e tij. Agjenti do të vazhdojë vetëm nëse përdoruesi e konfirmon planin në raundin tjetër.
Shembuj
Shembull
{ "created": "2025-12-04T15:01:45Z", "id": "v1_ChdXS0l4YWZXTk9xbk0xZThQczhEcmlROBIXV0tJeGFmV05PcW5NMWU4UHM4RHJpUTg", "model": "gemini-3-flash-preview", "object": "interaction", "steps": [ { "type": "model_output", "content": [ { "type": "text", "text": "Hello! I'm doing well, functioning as expected. Thank you for asking! How are you doing today?" } ] } ], "status": "completed", "updated": "2025-12-04T15:01:45Z", "usage": { "input_tokens_by_modality": [ { "modality": "text", "tokens": 7 } ], "total_cached_tokens": 0, "total_input_tokens": 7, "total_output_tokens": 23, "total_thought_tokens": 49, "total_tokens": 79, "total_tool_use_tokens": 0 } }
Modelet e të dhënave
Përmbajtja
Përmbajtja e përgjigjes.
Llojet e mundshme
Diskriminuesi polimorfik: type
Përmbajtje Teksti
Një bllok përmbajtjeje teksti.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "text" .
E detyrueshme. Përmbajtja e tekstit.
shënime Shënim (opsional)
Informacion mbi citimin për përmbajtjen e gjeneruar nga modeli.
Llojet e mundshme
Diskriminuesi polimorfik: type
Citimi i Url-it
Një shënim citimi URL-je.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "url_citation" .
URL-ja.
Titulli i URL-së.
Fillimi i segmentit të përgjigjes që i atribuohet këtij burimi. Indeksi tregon fillimin e segmentit, i matur në bajt.
Fundi i segmentit të atribuuar, ekskluziv.
FileCitation
Një shënim citimi i skedarit.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "file_citation" .
URI-ja e skedarit.
Emri i skedarit.
Burimi i atribuuar për një pjesë të tekstit.
Përdoruesi dha meta të dhëna rreth kontekstit të marrë.
Numri i faqes së dokumentit të cituar, nëse ka.
ID e medias në rast të citimeve të imazheve, nëse ka.
Fillimi i segmentit të përgjigjes që i atribuohet këtij burimi. Indeksi tregon fillimin e segmentit, i matur në bajt.
Fundi i segmentit të atribuuar, ekskluziv.
Citimi i Vendit
Një shënim citimi vendi.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "place_citation" .
ID-ja e vendit, në formatin `places/{place_id}`.
Titulli i vendit.
Referenca URI e vendit.
review_snippets ReviewSnippet (opsionale)
Fragmente të vlerësimeve që përdoren për të gjeneruar përgjigje rreth karakteristikave të një vendi të caktuar në Google Maps.
Fushat
Titulli i rishikimit.
Një lidhje që korrespondon me vlerësimin e përdoruesit në Google Maps.
ID-ja e fragmentit të rishikimit.
Fillimi i segmentit të përgjigjes që i atribuohet këtij burimi. Indeksi tregon fillimin e segmentit, i matur në bajt.
Fundi i segmentit të atribuuar, ekskluziv.
Përmbajtje Imazhesh
Një bllok përmbajtjeje imazhi.
Nuk është dhënë përshkrim.
Gjithmonë i vendosur në "image" .
Përmbajtja e imazhit.
URI-ja e imazhit.
Lloji i mimikës së imazhit.
Vlerat e mundshme:
-
image/png -
image/jpeg -
image/webp -
image/heic -
image/heif -
image/gif -
image/bmp -
image/tiff
rezolucioni i MediaResolution (opsional)
The resolution of the media.
Possible values:
-
low -
medium -
high -
ultra_high
AudioContent
An audio content block.
No description provided.
Always set to "audio" .
The audio content.
The URI of the audio.
The mime type of the audio.
Possible values:
-
audio/wav -
audio/mp3 -
audio/aiff -
audio/aac -
audio/ogg -
audio/flac -
audio/mpeg -
audio/m4a -
audio/l16 -
audio/opus -
audio/alaw -
audio/mulaw
The number of audio channels.
The sample rate of the audio.
DocumentContent
A document content block.
No description provided.
Always set to "document" .
The document content.
The URI of the document.
The mime type of the document.
Possible values:
-
application/pdf
VideoContent
A video content block.
No description provided.
Always set to "video" .
The video content.
The URI of the video.
The mime type of the video.
Possible values:
-
video/mp4 -
video/mpeg -
video/mpg -
video/mov -
video/avi -
video/x-flv -
video/webm -
video/wmv -
video/3gpp
resolution MediaResolution (optional)
The resolution of the media.
Possible values:
-
low -
medium -
high -
ultra_high
Shembuj
Tekst
{ "type": "text", "text": "Hello, how are you?" }
Imazh
{ "type": "image", "data": "BASE64_ENCODED_IMAGE", "mime_type": "image/png" }
Audio
{ "type": "audio", "data": "BASE64_ENCODED_AUDIO", "mime_type": "audio/wav" }
Dokument
{ "type": "document", "data": "BASE64_ENCODED_DOCUMENT", "mime_type": "application/pdf" }
Video
{ "type": "video", "uri": "https://www.youtube.com/watch?v=9hE5-98ZeCg" }
Tool
A tool that can be used by the model.
Possible Types
Polymorphic discriminator: type
Funksioni
A tool that can be used by the model.
No description provided.
Always set to "function" .
The name of the function.
A description of the function.
The JSON Schema for the function's parameters.
CodeExecution
A tool that can be used by the model to execute code.
No description provided.
Always set to "code_execution" .
UrlContext
A tool that can be used by the model to fetch URL context.
No description provided.
Always set to "url_context" .
ComputerUse
A tool that can be used by the model to interact with the computer.
No description provided.
Always set to "computer_use" .
The environment being operated.
Possible values:
-
browser
The list of predefined functions that are excluded from the model call.
McpServer
A MCPServer is a server that can be called by the model to perform actions.
No description provided.
Always set to "mcp_server" .
The name of the MCPServer.
The full URL for the MCPServer endpoint. Example: "https://api.example.com/mcp"
Optional: Fields for authentication headers, timeouts, etc., if needed.
allowed_tools AllowedTools (optional)
The allowed tools.
Fields
mode ToolChoiceType (optional)
The mode of the tool choice.
Possible values:
-
auto -
any -
none -
validated
The names of the allowed tools.
GoogleSearch
A tool that can be used by the model to search Google.
No description provided.
Always set to "google_search" .
The types of search grounding to enable.
Possible values:
-
web_search -
image_search -
enterprise_web_search
FileSearch
A tool that can be used by the model to search files.
No description provided.
Always set to "file_search" .
The file search store names to search.
The number of semantic retrieval chunks to retrieve.
Metadata filter to apply to the semantic retrieval documents and chunks.
GoogleMaps
A tool that can be used by the model to call Google Maps.
No description provided.
Always set to "google_maps" .
Whether to return a widget context token in the tool call result of the response.
The latitude of the user's location.
The longitude of the user's location.
Rikthim
A tool that can be used by the model to retrieve files.
No description provided.
Always set to "retrieval" .
The types of file retrieval to enable.
Possible values:
-
vertex_ai_search
vertex_ai_search_config VertexAISearchConfig (optional)
Used to specify configuration for VertexAISearch.
Fields
Optional. Used to specify Vertex AI Search engine.
Optional. Used to specify Vertex AI Search datastores.
Shembuj
Funksioni
CodeExecution
UrlContext
ComputerUse
McpServer
GoogleSearch
FileSearch
GoogleMaps
Rikthim
No examples available for this type.
InteractionSseEvent
Possible Types
Polymorphic discriminator: event_type
InteractionCreatedEvent
No description provided.
Always set to "interaction.created" .
No description provided.
The event_id token to be used to resume the interaction stream, from this event.
InteractionCompletedEvent
No description provided.
Always set to "interaction.completed" .
Required. The completed interaction with empty outputs to reduce the payload size. Use the preceding ContentDelta events for the actual output.
The event_id token to be used to resume the interaction stream, from this event.
InteractionStatusUpdate
No description provided.
Always set to "interaction.status_update" .
No description provided.
No description provided.
Possible values:
-
in_progress -
requires_action -
completed -
failed -
cancelled -
incomplete
The event_id token to be used to resume the interaction stream, from this event.
ErrorEvent
No description provided.
Always set to "error" .
error Error (optional)
No description provided.
Fields
A URI that identifies the error type.
A human-readable error message.
The event_id token to be used to resume the interaction stream, from this event.
StepStart
No description provided.
Always set to "step.start" .
No description provided.
step Step (required)
No description provided.
Possible Types
Polymorphic discriminator: type
UserInputStep
Input provided by the user.
No description provided.
Always set to "user_input" .
No description provided.
ModelOutputStep
Output generated by the model.
No description provided.
Always set to "model_output" .
No description provided.
ThoughtStep
A thought step.
No description provided.
Always set to "thought" .
A signature hash for backend validation.
summary ThoughtSummaryContent (optional)
A summary of the thought.
Possible Types
Polymorphic discriminator: type
TextContent
A text content block.
No description provided.
Always set to "text" .
Required. The text content.
annotations Annotation (optional)
Citation information for model-generated content.
Possible Types
Polymorphic discriminator: type
UrlCitation
A URL citation annotation.
No description provided.
Always set to "url_citation" .
The URL.
The title of the URL.
Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.
End of the attributed segment, exclusive.
FileCitation
A file citation annotation.
No description provided.
Always set to "file_citation" .
The URI of the file.
The name of the file.
Source attributed for a portion of the text.
User provided metadata about the retrieved context.
Page number of the cited document, if applicable.
Media ID in-case of image citations, if applicable.
Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.
End of the attributed segment, exclusive.
PlaceCitation
A place citation annotation.
No description provided.
Always set to "place_citation" .
The ID of the place, in `places/{place_id}` format.
Title of the place.
URI reference of the place.
review_snippets ReviewSnippet (optional)
Snippets of reviews that are used to generate answers about the features of a given place in Google Maps.
Fields
Title of the review.
A link that corresponds to the user review on Google Maps.
The ID of the review snippet.
Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.
End of the attributed segment, exclusive.
ImageContent
An image content block.
No description provided.
Always set to "image" .
The image content.
The URI of the image.
The mime type of the image.
Possible values:
-
image/png -
image/jpeg -
image/webp -
image/heic -
image/heif -
image/gif -
image/bmp -
image/tiff
resolution MediaResolution (optional)
The resolution of the media.
Possible values:
-
low -
medium -
high -
ultra_high
FunctionCallStep
A function tool call step.
No description provided.
Always set to "function_call" .
Required. The name of the tool to call.
Required. The arguments to pass to the function.
Required. A unique ID for this specific tool call.
A signature hash for backend validation.
CodeExecutionCallStep
Code execution call step.
No description provided.
Always set to "code_execution_call" .
arguments CodeExecutionCallStepArguments (required)
Required. The arguments to pass to the code execution.
Fields
Programming language of the `code`.
Possible values:
-
python
The code to be executed.
Required. A unique ID for this specific tool call.
A signature hash for backend validation.
UrlContextCallStep
URL context call step.
No description provided.
Always set to "url_context_call" .
arguments UrlContextCallStepArguments (required)
Required. The arguments to pass to the URL context.
Fields
The URLs to fetch.
Required. A unique ID for this specific tool call.
A signature hash for backend validation.
McpServerToolCallStep
MCPServer tool call step.
No description provided.
Always set to "mcp_server_tool_call" .
Required. The name of the tool which was called.
Required. The name of the used MCP server.
Required. The JSON object of arguments for the function.
Required. A unique ID for this specific tool call.
A signature hash for backend validation.
GoogleSearchCallStep
Google Search call step.
No description provided.
Always set to "google_search_call" .
arguments GoogleSearchCallStepArguments (required)
Required. The arguments to pass to Google Search.
Fields
Web search queries for the following-up web search.
The type of search grounding enabled.
Possible values:
-
web_search -
image_search -
enterprise_web_search
Required. A unique ID for this specific tool call.
A signature hash for backend validation.
FileSearchCallStep
File Search call step.
No description provided.
Always set to "file_search_call" .
Required. A unique ID for this specific tool call.
A signature hash for backend validation.
GoogleMapsCallStep
Google Maps call step.
No description provided.
Always set to "google_maps_call" .
arguments GoogleMapsCallStepArguments (optional)
The arguments to pass to the Google Maps tool.
Fields
The queries to be executed.
Required. A unique ID for this specific tool call.
A signature hash for backend validation.
FunctionResultStep
Result of a function tool call.
No description provided.
Always set to "function_result" .
The name of the tool that was called.
Whether the tool call resulted in an error.
Required. ID to match the ID from the function call block.
A signature hash for backend validation.
The result of the tool call.
CodeExecutionResultStep
Code execution result step.
No description provided.
Always set to "code_execution_result" .
Required. The output of the code execution.
Whether the code execution resulted in an error.
Required. ID to match the ID from the function call block.
A signature hash for backend validation.
UrlContextResultStep
URL context result step.
No description provided.
Always set to "url_context_result" .
result UrlContextResultItem (required)
Required. The results of the URL context.
Fields
The URL that was fetched.
The status of the URL retrieval.
Possible values:
-
success -
error -
paywall -
unsafe
Whether the URL context resulted in an error.
Required. ID to match the ID from the function call block.
A signature hash for backend validation.
GoogleSearchResultStep
Google Search result step.
No description provided.
Always set to "google_search_result" .
result GoogleSearchResultItem (required)
Required. The results of the Google Search.
Fields
Web content snippet that can be embedded in a web page or an app webview.
Whether the Google Search resulted in an error.
Required. ID to match the ID from the function call block.
A signature hash for backend validation.
McpServerToolResultStep
MCPServer tool result step.
No description provided.
Always set to "mcp_server_tool_result" .
Name of the tool which is called for this specific tool call.
The name of the used MCP server.
Required. ID to match the ID from the function call block.
A signature hash for backend validation.
The output from the MCP server call. Can be simple text or rich content.
FileSearchResultStep
File Search result step.
No description provided.
Always set to "file_search_result" .
Required. ID to match the ID from the function call block.
A signature hash for backend validation.
GoogleMapsResultStep
Google Maps result step.
No description provided.
Always set to "google_maps_result" .
result GoogleMapsResultItem (required)
No description provided.
Fields
places GoogleMapsResultPlaces (optional)
No description provided.
Fields
No description provided.
No description provided.
No description provided.
review_snippets ReviewSnippet (optional)
No description provided.
Fields
Title of the review.
A link that corresponds to the user review on Google Maps.
The ID of the review snippet.
No description provided.
Required. ID to match the ID from the function call block.
A signature hash for backend validation.
The event_id token to be used to resume the interaction stream, from this event.
StepDelta
No description provided.
Always set to "step.delta" .
No description provided.
delta StepDeltaData (required)
No description provided.
Possible Types
Polymorphic discriminator: type
TextDelta
No description provided.
Always set to "text" .
No description provided.
ImageDelta
No description provided.
Always set to "image" .
No description provided.
No description provided.
No description provided.
Possible values:
-
image/png -
image/jpeg -
image/webp -
image/heic -
image/heif -
image/gif -
image/bmp -
image/tiff
resolution MediaResolution (optional)
The resolution of the media.
Possible values:
-
low -
medium -
high -
ultra_high
AudioDelta
No description provided.
Always set to "audio" .
No description provided.
No description provided.
No description provided.
Possible values:
-
audio/wav -
audio/mp3 -
audio/aiff -
audio/aac -
audio/ogg -
audio/flac -
audio/mpeg -
audio/m4a -
audio/l16 -
audio/opus -
audio/alaw -
audio/mulaw
Deprecated. Use sample_rate instead. The value is ignored.
The sample rate of the audio.
The number of audio channels.
DocumentDelta
No description provided.
Always set to "document" .
No description provided.
No description provided.
No description provided.
Possible values:
-
application/pdf
VideoDelta
No description provided.
Always set to "video" .
No description provided.
No description provided.
No description provided.
Possible values:
-
video/mp4 -
video/mpeg -
video/mpg -
video/mov -
video/avi -
video/x-flv -
video/webm -
video/wmv -
video/3gpp
resolution MediaResolution (optional)
The resolution of the media.
Possible values:
-
low -
medium -
high -
ultra_high
ThoughtSummaryDelta
No description provided.
Always set to "thought_summary" .
content ThoughtSummaryContent (optional)
A new summary item to be added to the thought.
Possible Types
Polymorphic discriminator: type
TextContent
A text content block.
No description provided.
Always set to "text" .
Required. The text content.
annotations Annotation (optional)
Citation information for model-generated content.
Possible Types
Polymorphic discriminator: type
UrlCitation
A URL citation annotation.
No description provided.
Always set to "url_citation" .
The URL.
The title of the URL.
Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.
End of the attributed segment, exclusive.
FileCitation
A file citation annotation.
No description provided.
Always set to "file_citation" .
The URI of the file.
The name of the file.
Source attributed for a portion of the text.
User provided metadata about the retrieved context.
Page number of the cited document, if applicable.
Media ID in-case of image citations, if applicable.
Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.
End of the attributed segment, exclusive.
PlaceCitation
A place citation annotation.
No description provided.
Always set to "place_citation" .
The ID of the place, in `places/{place_id}` format.
Title of the place.
URI reference of the place.
review_snippets ReviewSnippet (optional)
Snippets of reviews that are used to generate answers about the features of a given place in Google Maps.
Fields
Title of the review.
A link that corresponds to the user review on Google Maps.
The ID of the review snippet.
Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.
End of the attributed segment, exclusive.
ImageContent
An image content block.
No description provided.
Always set to "image" .
The image content.
The URI of the image.
The mime type of the image.
Possible values:
-
image/png -
image/jpeg -
image/webp -
image/heic -
image/heif -
image/gif -
image/bmp -
image/tiff
resolution MediaResolution (optional)
The resolution of the media.
Possible values:
-
low -
medium -
high -
ultra_high
ThoughtSignatureDelta
No description provided.
Always set to "thought_signature" .
Signature to match the backend source to be part of the generation.
TextAnnotationDelta
No description provided.
Always set to "text_annotation_delta" .
annotations Annotation (optional)
Citation information for model-generated content.
Possible Types
Polymorphic discriminator: type
UrlCitation
A URL citation annotation.
No description provided.
Always set to "url_citation" .
The URL.
The title of the URL.
Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.
End of the attributed segment, exclusive.
FileCitation
A file citation annotation.
No description provided.
Always set to "file_citation" .
The URI of the file.
The name of the file.
Source attributed for a portion of the text.
User provided metadata about the retrieved context.
Page number of the cited document, if applicable.
Media ID in-case of image citations, if applicable.
Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.
End of the attributed segment, exclusive.
PlaceCitation
A place citation annotation.
No description provided.
Always set to "place_citation" .
The ID of the place, in `places/{place_id}` format.
Title of the place.
URI reference of the place.
review_snippets ReviewSnippet (optional)
Snippets of reviews that are used to generate answers about the features of a given place in Google Maps.
Fields
Title of the review.
A link that corresponds to the user review on Google Maps.
The ID of the review snippet.
Start of segment of the response that is attributed to this source. Index indicates the start of the segment, measured in bytes.
End of the attributed segment, exclusive.
ArgumentsDelta
No description provided.
Always set to "arguments_delta" .
No description provided.
The event_id token to be used to resume the interaction stream, from this event.
StepStop
No description provided.
Always set to "step.stop" .
No description provided.
The event_id token to be used to resume the interaction stream, from this event.
Shembuj
Interaction Created
{ "event_type": "interaction.created", "interaction": { "id": "v1_ChdXS0l4YWZXTk9xbk0xZThQczhEcmlROBIXV0tJeGFmV05PcW5NMWU4UHM4RHJpUTg", "model": "gemini-3-flash-preview", "status": "in_progress", "created": "2025-12-04T15:01:45Z", "updated": "2025-12-04T15:01:45Z" }, "event_id": "evt_123" }
Interaction Completed
{ "event_type": "interaction.completed", "interaction": { "id": "v1_ChdXS0l4YWZXTk9xbk0xZThQczhEcmlROBIXV0tJeGFmV05PcW5NMWU4UHM4RHJpUTg", "model": "gemini-3-flash-preview", "status": "completed", "created": "2025-12-04T15:01:45Z", "updated": "2025-12-04T15:01:45Z" }, "event_id": "evt_123" }
Interaction Status Update
{ "event_type": "interaction.status_update", "interaction_id": "v1_ChdTMjQ0YWJ5TUF1TzcxZThQdjRpcnFRcxIXUzI0NGFieU1BdU83MWU4UHY0aXJxUXM", "status": "in_progress" }
Error Event
{ "event_type": "error", "error": { "message": "Failed to get completed interaction: Result not found.", "code": "not_found" } }
Step Start
{ "event_type": "step.start", "index": 0, "step": { "type": "model_output" } }
Step Delta
{ "event_type": "step.delta", "index": 0, "delta": { "type": "text", "text": "Hello" } }
Step Stop
{ "event_type": "step.stop", "index": 0 }