Die Gemini Interactions API ist eine experimentelle API, mit der Entwickler generative KI-Anwendungen mit Gemini-Modellen erstellen können. Gemini ist unser leistungsstärkstes Modell, das von Grund auf multimodal konzipiert wurde. Es kann generalisieren und problemlos verschiedene Arten von Informationen wie Sprache, Bilder, Audio, Video und Code verstehen, verarbeiten und kombinieren. Sie können die Gemini API für Anwendungsfälle wie das Ableiten von Text und Bildern, die Generierung von Inhalten, Dialog-Agents, Zusammenfassungs- und Klassifizierungssysteme und vieles mehr verwenden.
Interaktion erstellen
Erstellt eine neue Interaktion.
Anfragetext
Der Anfragetext enthält Daten mit folgender Struktur:
model ModelOption (optional)
Der Name des `Model`, das zum Generieren der Interaktion verwendet wurde.
Erforderlich, wenn „agent“ nicht angegeben ist.
Mögliche Werte:
-
gemini-2.5-flashUnser erstes Hybrid-Reasoning-Modell, das ein Kontextfenster mit 1 Million Tokens unterstützt und über Denkbudgets verfügt.
-
gemini-2.5-flash-imageUnser natives Modell für die Bildgenerierung, das für Geschwindigkeit, Flexibilität und kontextuelles Verständnis optimiert ist. Die Preise für Texteingabe und -ausgabe sind dieselben wie für 2.5 Flash.
-
gemini-2.5-flash-liteUnser kleinstes und kostengünstigstes Modell, das für die Nutzung im großen Maßstab entwickelt wurde.
-
gemini-2.5-flash-lite-preview-09-2025Das neueste Modell basiert auf Gemini 2.5 Flash Lite und ist für Kosteneffizienz, hohen Durchsatz und hohe Qualität optimiert.
-
gemini-2.5-flash-native-audio-preview-12-2025Unsere nativen Audiomodelle sind für Audioausgaben mit höherer Qualität optimiert und bieten ein besseres Tempo, natürlichere Stimmen, mehr Ausführlichkeit und eine passendere Stimmungslage.
-
gemini-2.5-flash-preview-09-2025Das neueste Modell, das auf dem Modell 2.5 Flash basiert. 2.5 Flash Preview eignet sich am besten für die Verarbeitung großer Mengen, Aufgaben mit niedriger Latenz und hohem Volumen, die Denkprozesse erfordern, sowie für Agent-Anwendungsfälle.
-
gemini-2.5-flash-preview-ttsUnser 2.5 Flash-Modell für die Sprachausgabe, das für leistungsstarke, latenzarme und steuerbare Sprachgenerierung optimiert ist.
-
gemini-2.5-proUnser hochmodernes Mehrzweckmodell, das sich besonders gut für Programmier- und komplexe Denkaufgaben eignet.
-
gemini-2.5-pro-preview-ttsUnser 2.5 Pro-Modell für die Sprachsynthese ist für die leistungsstarke, latenzarme Sprachgenerierung optimiert und bietet natürlichere Ausgaben und einfacher zu steuernde Prompts.
-
gemini-3-flash-previewUnser intelligentestes Modell, das auf Geschwindigkeit ausgelegt ist und bahnbrechende Intelligenz mit überlegener Suche und Fundierung kombiniert.
-
gemini-3-pro-image-previewHochmodernes Modell für die Bildgenerierung und ‑bearbeitung.
-
gemini-3-pro-previewUnser bisher intelligentestes Modell mit modernsten Funktionen für logische Schlussfolgerungen und multimodales Verstehen sowie leistungsstarken Funktionen für agentisches Programmieren und Vibe Coding.
-
gemini-3.1-pro-previewUnser neuestes, hochmodernes Modell für logische Schlussfolgerungen mit beispielloser Tiefe und Nuance sowie leistungsstarken multimodalen und Programmierfunktionen.
-
gemini-3.1-flash-image-previewVisuelle Intelligenz auf Profiniveau mit der Effizienz von Flash und realitätsnahen Generierungsfunktionen.
agent AgentOption (optional)
Der Name des `Agent`, der zum Generieren der Interaktion verwendet wurde.
Erforderlich, wenn „model“ nicht angegeben ist.
Mögliche Werte:
-
deep-research-pro-preview-12-2025Gemini Deep Research-Agent
Die Eingaben für die Interaktion (gemeinsam für Modell und Agent).
Systemanweisung für die Interaktion.
Eine Liste der Tool-Deklarationen, die das Modell während der Interaktion aufrufen kann.
Erzwingt, dass die generierte Antwort ein JSON-Objekt ist, das dem in diesem Feld angegebenen JSON-Schema entspricht.
Der MIME-Typ der Antwort. Erforderlich, wenn „response_format“ festgelegt ist.
Nur Eingabe. Ob die Interaktion gestreamt wird.
Nur Eingabe. Gibt an, ob die Antwort und die Anfrage für den späteren Abruf gespeichert werden sollen.
Nur Eingabe. Gibt an, ob die Modellinteraktion im Hintergrund ausgeführt werden soll.
generation_config GenerationConfig (optional)
Modellkonfiguration
Konfigurationsparameter für die Modellinteraktion.
Alternative zu „agent_config“. Gilt nur, wenn „model“ festgelegt ist.
Felder
Steuert die Zufälligkeit der Ausgabe.
Die maximale kumulative Wahrscheinlichkeit der Tokens, die beim Sampling berücksichtigt werden sollen.
Seed, der beim Decodieren für die Reproduzierbarkeit verwendet wird.
Eine Liste von Zeichenfolgen, die die Ausgabeinteraktion beenden.
thinking_level ThinkingLevel (optional)
Die Anzahl der Denk-Tokens, die das Modell generieren soll.
Mögliche Werte:
-
minimal -
low -
medium -
high
thinking_summaries ThinkingSummaries (optional)
Gibt an, ob Zusammenfassungen der Überlegungen in die Antwort aufgenommen werden sollen.
Mögliche Werte:
-
auto -
none
Die maximale Anzahl von Tokens, die in der Antwort enthalten sein sollen.
speech_config SpeechConfig (optional)
Konfiguration für die Sprachinteraktion.
Felder
Die Stimme des Sprechers.
Die Sprache der Rede.
Der Name des Sprechers muss mit dem Namen des Sprechers im Prompt übereinstimmen.
image_config ImageConfig (optional)
Konfiguration für die Bildinteraktion.
Felder
Keine Beschreibung vorhanden.
Mögliche Werte:
-
1:1 -
2:3 -
3:2 -
3:4 -
4:3 -
4:5 -
5:4 -
9:16 -
16:9 -
21:9 -
1:8 -
8:1 -
1:4 -
4:1
Keine Beschreibung vorhanden.
Mögliche Werte:
-
1K -
2K -
4K -
512
Die Auswahl des Tools für die Interaktion.
agent_config object (optional)
Agent Configuration (Agent-Konfiguration)
Konfiguration für den Agent.
Alternative zu `generation_config`. Gilt nur, wenn `agent` festgelegt ist.
Mögliche Typen
Polymorpher Diskriminator: type
DynamicAgentConfig
Konfiguration für dynamische Agenten.
Keine Beschreibung vorhanden.
Immer auf "dynamic" gesetzt.
DeepResearchAgentConfig
Konfiguration für den Deep Research-Agent.
thinking_summaries ThinkingSummaries (optional)
Gibt an, ob Zusammenfassungen der Überlegungen in die Antwort aufgenommen werden sollen.
Mögliche Werte:
-
auto -
none
Keine Beschreibung vorhanden.
Immer auf "deep-research" gesetzt.
Die ID der vorherigen Interaktion, falls vorhanden.
response_modalities ResponseModality (optional)
Die angeforderten Modalitäten der Antwort (TEXT, IMAGE, AUDIO).
Mögliche Werte:
-
text -
image -
audio
Antwort
Gibt eine Interaction-Ressource zurück.
Einfache Anfrage
Beispielantwort
{ "created": "2025-11-26T12:25:15Z", "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg", "model": "gemini-3-flash-preview", "object": "interaction", "outputs": [ { "text": "Hello! I'm functioning perfectly and ready to assist you.\n\nHow are you doing today?", "type": "text" } ], "role": "model", "status": "completed", "updated": "2025-11-26T12:25:15Z", "usage": { "input_tokens_by_modality": [ { "modality": "text", "tokens": 7 } ], "total_cached_tokens": 0, "total_input_tokens": 7, "total_output_tokens": 20, "total_thought_tokens": 22, "total_tokens": 49, "total_tool_use_tokens": 0 } }
In mehreren Schritten
Beispielantwort
{ "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg", "model": "gemini-3-flash-preview", "status": "completed", "object": "interaction", "created": "2025-11-26T12:22:47Z", "updated": "2025-11-26T12:22:47Z", "role": "model", "outputs": [ { "type": "text", "text": "The capital of France is Paris." } ], "usage": { "input_tokens_by_modality": [ { "modality": "text", "tokens": 50 } ], "total_cached_tokens": 0, "total_input_tokens": 50, "total_output_tokens": 10, "total_thought_tokens": 0, "total_tokens": 60, "total_tool_use_tokens": 0 } }
Bildeingabe
Beispielantwort
{ "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg", "model": "gemini-3-flash-preview", "status": "completed", "object": "interaction", "created": "2025-11-26T12:22:47Z", "updated": "2025-11-26T12:22:47Z", "role": "model", "outputs": [ { "type": "text", "text": "A white humanoid robot with glowing blue eyes stands holding a red skateboard." } ], "usage": { "input_tokens_by_modality": [ { "modality": "text", "tokens": 10 }, { "modality": "image", "tokens": 258 } ], "total_cached_tokens": 0, "total_input_tokens": 268, "total_output_tokens": 20, "total_thought_tokens": 0, "total_tokens": 288, "total_tool_use_tokens": 0 } }
Funktionsaufrufe
Beispielantwort
{ "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg", "model": "gemini-3-flash-preview", "status": "requires_action", "object": "interaction", "created": "2025-11-26T12:22:47Z", "updated": "2025-11-26T12:22:47Z", "role": "model", "outputs": [ { "type": "function_call", "id": "gth23981", "name": "get_weather", "arguments": { "location": "Boston, MA" } } ], "usage": { "input_tokens_by_modality": [ { "modality": "text", "tokens": 100 } ], "total_cached_tokens": 0, "total_input_tokens": 100, "total_output_tokens": 25, "total_thought_tokens": 0, "total_tokens": 125, "total_tool_use_tokens": 50 } }
Deep Research
Beispielantwort
{ "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg", "agent": "deep-research-pro-preview-12-2025", "status": "completed", "object": "interaction", "created": "2025-11-26T12:22:47Z", "updated": "2025-11-26T12:22:47Z", "role": "agent", "outputs": [ { "type": "text", "text": "Here is a comprehensive research report on the current state of cancer research..." } ], "usage": { "input_tokens_by_modality": [ { "modality": "text", "tokens": 20 } ], "total_cached_tokens": 0, "total_input_tokens": 20, "total_output_tokens": 1000, "total_thought_tokens": 500, "total_tokens": 1520, "total_tool_use_tokens": 0 } }
Interaktion abrufen
Ruft die vollständigen Details einer einzelnen Interaktion anhand ihrer `Interaction.id` ab.
Pfad-/Suchparameter
Die eindeutige Kennung der abzurufenden Interaktion.
Bei „true“ werden die generierten Inhalte inkrementell gestreamt.
Standardeinstellung: False
Optional. Wenn festgelegt, wird der Interaktionsstream ab dem nächsten Chunk nach dem Ereignis fortgesetzt, das durch die Ereignis-ID markiert ist. Kann nur verwendet werden, wenn „stream“ auf „true“ gesetzt ist.
Wenn diese Option auf „true“ gesetzt ist, wird die Eingabe in die Antwort aufgenommen.
Standardeinstellung: False
Zu verwendende API-Version.
Antwort
Gibt eine Interaction-Ressource zurück.
Interaktion abrufen
Beispielantwort
{ "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg", "model": "gemini-3-flash-preview", "status": "completed", "object": "interaction", "created": "2025-11-26T12:25:15Z", "updated": "2025-11-26T12:25:15Z", "role": "model", "outputs": [ { "type": "text", "text": "I'm doing great, thank you for asking! How can I help you today?" } ] }
Interaktion löschen
Löscht die Interaktion anhand der ID.
Pfad-/Suchparameter
Die eindeutige Kennung der zu löschenden Interaktion.
Zu verwendende API-Version.
Antwort
Bei Erfolg ist die Antwort leer.
Interaktion löschen
Interaktion abbrechen
Bricht eine Interaktion anhand der ID ab. Das gilt nur für Hintergrundinteraktionen, die noch laufen.
Pfad-/Suchparameter
Die eindeutige ID der abzubrechenden Interaktion.
Zu verwendende API-Version.
Antwort
Gibt eine Interaction-Ressource zurück.
Interaktion abbrechen
Beispielantwort
{ "id": "v1_ChdPU0F4YWFtNkFwS2kxZThQZ05lbXdROBIXT1NBeGFhbTZBcEtpMWU4UGdOZW13UTg", "agent": "deep-research-pro-preview-12-2025", "status": "cancelled", "object": "interaction", "created": "2025-11-26T12:25:15Z", "updated": "2025-11-26T12:25:15Z", "role": "agent" }
Ressourcen
Interaktion
Die Interaction-Ressource.
Felder
model ModelOption (optional)
Der Name des `Model`, das zum Generieren der Interaktion verwendet wurde.
Mögliche Werte:
-
gemini-2.5-flashUnser erstes Hybrid-Reasoning-Modell, das ein Kontextfenster mit 1 Million Tokens unterstützt und über Denkbudgets verfügt.
-
gemini-2.5-flash-imageUnser natives Modell für die Bildgenerierung, das für Geschwindigkeit, Flexibilität und kontextuelles Verständnis optimiert ist. Die Preise für Texteingabe und -ausgabe sind dieselben wie für 2.5 Flash.
-
gemini-2.5-flash-liteUnser kleinstes und kostengünstigstes Modell, das für die Nutzung im großen Maßstab entwickelt wurde.
-
gemini-2.5-flash-lite-preview-09-2025Das neueste Modell basiert auf Gemini 2.5 Flash Lite und ist für Kosteneffizienz, hohen Durchsatz und hohe Qualität optimiert.
-
gemini-2.5-flash-native-audio-preview-12-2025Unsere nativen Audiomodelle sind für Audioausgaben mit höherer Qualität optimiert und bieten ein besseres Tempo, natürlichere Stimmen, mehr Ausführlichkeit und eine passendere Stimmungslage.
-
gemini-2.5-flash-preview-09-2025Das neueste Modell, das auf dem Modell 2.5 Flash basiert. 2.5 Flash Preview eignet sich am besten für die Verarbeitung großer Mengen, Aufgaben mit niedriger Latenz und hohem Volumen, die Denkprozesse erfordern, sowie für Agent-Anwendungsfälle.
-
gemini-2.5-flash-preview-ttsUnser 2.5 Flash-Modell für die Sprachausgabe, das für leistungsstarke, latenzarme und steuerbare Sprachgenerierung optimiert ist.
-
gemini-2.5-proUnser hochmodernes Mehrzweckmodell, das sich besonders gut für Programmier- und komplexe Denkaufgaben eignet.
-
gemini-2.5-pro-preview-ttsUnser 2.5 Pro-Modell für die Sprachsynthese ist für die leistungsstarke, latenzarme Sprachgenerierung optimiert und bietet natürlichere Ausgaben und einfacher zu steuernde Prompts.
-
gemini-3-flash-previewUnser intelligentestes Modell, das auf Geschwindigkeit ausgelegt ist und bahnbrechende Intelligenz mit überlegener Suche und Fundierung kombiniert.
-
gemini-3-pro-image-previewHochmodernes Modell für die Bildgenerierung und ‑bearbeitung.
-
gemini-3-pro-previewUnser bisher intelligentestes Modell mit modernsten Funktionen für logische Schlussfolgerungen und multimodales Verstehen sowie leistungsstarken Funktionen für agentisches Programmieren und Vibe Coding.
-
gemini-3.1-pro-previewUnser neuestes, hochmodernes Modell für logische Schlussfolgerungen mit beispielloser Tiefe und Nuance sowie leistungsstarken multimodalen und Programmierfunktionen.
-
gemini-3.1-flash-image-previewVisuelle Intelligenz auf Profiniveau mit der Effizienz von Flash und realitätsnahen Generierungsfunktionen.
agent AgentOption (optional)
Der Name des `Agent`, der zum Generieren der Interaktion verwendet wurde.
Mögliche Werte:
-
deep-research-pro-preview-12-2025Gemini Deep Research-Agent
Nur Ausgabe. Eine eindeutige Kennung für den Abschluss der Interaktion.
Nur Ausgabe. Der Status der Interaktion.
Mögliche Werte:
-
in_progress -
requires_action -
completed -
failed -
cancelled -
incomplete
Nur Ausgabe. Die Uhrzeit, zu der die Antwort erstellt wurde, im ISO 8601-Format (JJJJ-MM-TTThh:mm:ssZ).
Nur Ausgabe. Die Uhrzeit, zu der die Antwort zuletzt aktualisiert wurde, im ISO 8601-Format (JJJJ-MM-TTThh:mm:ssZ).
Nur Ausgabe. Die Rolle der Interaktion.
Nur Ausgabe. Antworten des Modells.
Systemanweisung für die Interaktion.
Eine Liste der Tool-Deklarationen, die das Modell während der Interaktion aufrufen kann.
usage Usage (optional)
Nur Ausgabe. Statistiken zur Tokennutzung der Interaktionsanfrage.
Felder
Anzahl der Tokens im Prompt (Kontext).
input_tokens_by_modality ModalityTokens (optional)
Eine Aufschlüsselung der Nutzung von Eingabetokens nach Modalität.
Felder
modality ResponseModality (optional)
Die mit der Anzahl der Tokens verknüpfte Modalität.
Mögliche Werte:
-
text -
image -
audio
Anzahl der Tokens für die Modalität.
Anzahl der Tokens im im Cache gespeicherten Teil des Prompts (dem im Cache gespeicherten Inhalt).
cached_tokens_by_modality ModalityTokens (optional)
Eine Aufschlüsselung der Nutzung von zwischengespeicherten Tokens nach Modalität.
Felder
modality ResponseModality (optional)
Die mit der Anzahl der Tokens verknüpfte Modalität.
Mögliche Werte:
-
text -
image -
audio
Anzahl der Tokens für die Modalität.
Die Gesamtzahl der Tokens in allen generierten Antworten.
output_tokens_by_modality ModalityTokens (optional)
Eine Aufschlüsselung der Nutzung von Ausgabetokens nach Modalität.
Felder
modality ResponseModality (optional)
Die mit der Anzahl der Tokens verknüpfte Modalität.
Mögliche Werte:
-
text -
image -
audio
Anzahl der Tokens für die Modalität.
Anzahl der Tokens in den Tool-Nutzungs-Prompts.
tool_use_tokens_by_modality ModalityTokens (optional)
Eine Aufschlüsselung der Tokennutzung für die Tool-Verwendung nach Modalität.
Felder
modality ResponseModality (optional)
Die mit der Anzahl der Tokens verknüpfte Modalität.
Mögliche Werte:
-
text -
image -
audio
Anzahl der Tokens für die Modalität.
Anzahl der Tokens für Gedanken für Thinking-Modelle.
Gesamtzahl der Tokens für die Interaktionsanfrage (Prompt + Antworten + andere interne Tokens).
response_modalities ResponseModality (optional)
Die angeforderten Modalitäten der Antwort (TEXT, IMAGE, AUDIO).
Mögliche Werte:
-
text -
image -
audio
Erzwingt, dass die generierte Antwort ein JSON-Objekt ist, das dem in diesem Feld angegebenen JSON-Schema entspricht.
Der MIME-Typ der Antwort. Erforderlich, wenn „response_format“ festgelegt ist.
Die ID der vorherigen Interaktion, falls vorhanden.
Die Eingaben für die Interaktion (gemeinsam für Modell und Agent).
agent_config object (optional)
Konfigurationsparameter für die Interaktion mit dem Agent.
Mögliche Typen
Polymorpher Diskriminator: type
DynamicAgentConfig
Konfiguration für dynamische Agenten.
Keine Beschreibung vorhanden.
Immer auf "dynamic" gesetzt.
DeepResearchAgentConfig
Konfiguration für den Deep Research-Agent.
thinking_summaries ThinkingSummaries (optional)
Gibt an, ob Zusammenfassungen der Überlegungen in die Antwort aufgenommen werden sollen.
Mögliche Werte:
-
auto -
none
Keine Beschreibung vorhanden.
Immer auf "deep-research" gesetzt.
Beispiele
Beispiel
{ "created": "2025-12-04T15:01:45Z", "id": "v1_ChdXS0l4YWZXTk9xbk0xZThQczhEcmlROBIXV0tJeGFmV05PcW5NMWU4UHM4RHJpUTg", "model": "gemini-3-flash-preview", "object": "interaction", "outputs": [ { "text": "Hello! I'm doing well, functioning as expected. Thank you for asking! How are you doing today?", "type": "text" } ], "role": "model", "status": "completed", "updated": "2025-12-04T15:01:45Z", "usage": { "input_tokens_by_modality": [ { "modality": "text", "tokens": 7 } ], "total_cached_tokens": 0, "total_input_tokens": 7, "total_output_tokens": 23, "total_thought_tokens": 49, "total_tokens": 79, "total_tool_use_tokens": 0 } }
Datenmodelle
Inhalt
Der Inhalt der Antwort.
Mögliche Typen
Polymorpher Diskriminator: type
TextContent
Ein Textinhaltsblock.
Der Textinhalt.
annotations Annotation (optional)
Quellenangaben für von Modellen generierte Inhalte.
Mögliche Typen
Polymorpher Diskriminator: type
UrlCitation
Eine URL-Zitationsanmerkung.
Die URL.
Der Titel der URL.
Keine Beschreibung vorhanden.
Immer auf "url_citation" gesetzt.
Beginn des Antwortsegments, das dieser Quelle zugeordnet wird.
Ende des zugeordneten Segments (ausschließlich).
FileCitation
Eine Dateizitationsanmerkung.
Der URI der Datei.
Der Name der Datei.
Die Quelle, die einem Teil des Texts zugeordnet ist.
Keine Beschreibung vorhanden.
Immer auf "file_citation" gesetzt.
Beginn des Antwortsegments, das dieser Quelle zugeordnet wird.
Ende des zugeordneten Segments (ausschließlich).
PlaceCitation
Eine Anmerkung mit einer Ortsangabe.
Die ID des Orts im Format „places/{place_id}“.
Titel des Orts.
URI-Verweis des Orts.
review_snippets ReviewSnippet (optional)
Ausschnitte aus Rezensionen, die zum Generieren von Antworten zu den Funktionen eines bestimmten Orts in Google Maps verwendet werden.
Felder
Titel der Rezension.
Ein Link, der der Nutzerrezension auf Google Maps entspricht.
Die ID des Rezensions-Snippets.
Keine Beschreibung vorhanden.
Immer auf "place_citation" gesetzt.
Beginn des Antwortsegments, das dieser Quelle zugeordnet wird.
Ende des zugeordneten Segments (ausschließlich).
Keine Beschreibung vorhanden.
Immer auf "text" gesetzt.
ImageContent
Ein Inhaltsblock mit einem Bild.
Der Bildinhalt.
Der URI des Bildes.
Der MIME-Typ des Bildes.
Mögliche Werte:
-
image/png -
image/jpeg -
image/webp -
image/heic -
image/heif
resolution MediaResolution (optional)
Die Auflösung der Media.
Mögliche Werte:
-
low -
medium -
high -
ultra_high
Keine Beschreibung vorhanden.
Immer auf "image" gesetzt.
AudioContent
Ein Audioinhaltsblock.
Die Audioinhalte.
Der URI des Audios.
Der MIME-Typ des Audios.
Mögliche Werte:
-
audio/wav -
audio/mp3 -
audio/aiff -
audio/aac -
audio/ogg -
audio/flac
Keine Beschreibung vorhanden.
Immer auf "audio" gesetzt.
DocumentContent
Ein Inhaltsblock für Dokumente.
Der Inhalt des Dokuments.
Der URI des Dokuments.
Der MIME-Typ des Dokuments.
Mögliche Werte:
-
application/pdf
Keine Beschreibung vorhanden.
Immer auf "document" gesetzt.
VideoContent
Ein Videocontent-Block.
Der Videoinhalt.
Der URI des Videos.
Der MIME-Typ des Videos.
Mögliche Werte:
-
video/mp4 -
video/mpeg -
video/mpg -
video/mov -
video/avi -
video/x-flv -
video/webm -
video/wmv -
video/3gpp
resolution MediaResolution (optional)
Die Auflösung der Media.
Mögliche Werte:
-
low -
medium -
high -
ultra_high
Keine Beschreibung vorhanden.
Immer auf "video" gesetzt.
ThoughtContent
Ein Inhaltsblock mit Gedanken.
Signatur, die mit der Backend-Quelle übereinstimmen muss, damit sie Teil der Generierung ist.
summary ThoughtSummaryContent (optional)
Eine Zusammenfassung des Gedankens.
Mögliche Typen
Polymorpher Diskriminator: type
TextContent
Ein Textinhaltsblock.
Der Textinhalt.
annotations Annotation (optional)
Quellenangaben für von Modellen generierte Inhalte.
Mögliche Typen
Polymorpher Diskriminator: type
UrlCitation
Eine URL-Zitationsanmerkung.
Die URL.
Der Titel der URL.
Keine Beschreibung vorhanden.
Immer auf "url_citation" gesetzt.
Beginn des Antwortsegments, das dieser Quelle zugeordnet wird.
Ende des zugeordneten Segments (ausschließlich).
FileCitation
Eine Dateizitationsanmerkung.
Der URI der Datei.
Der Name der Datei.
Die Quelle, die einem Teil des Texts zugeordnet ist.
Keine Beschreibung vorhanden.
Immer auf "file_citation" gesetzt.
Beginn des Antwortsegments, das dieser Quelle zugeordnet wird.
Ende des zugeordneten Segments (ausschließlich).
PlaceCitation
Eine Anmerkung mit einer Ortsangabe.
Die ID des Orts im Format „places/{place_id}“.
Titel des Orts.
URI-Verweis des Orts.
review_snippets ReviewSnippet (optional)
Ausschnitte aus Rezensionen, die zum Generieren von Antworten zu den Funktionen eines bestimmten Orts in Google Maps verwendet werden.
Felder
Titel der Rezension.
Ein Link, der der Nutzerrezension auf Google Maps entspricht.
Die ID des Rezensions-Snippets.
Keine Beschreibung vorhanden.
Immer auf "place_citation" gesetzt.
Beginn des Antwortsegments, das dieser Quelle zugeordnet wird.
Ende des zugeordneten Segments (ausschließlich).
Keine Beschreibung vorhanden.
Immer auf "text" gesetzt.
ImageContent
Ein Inhaltsblock mit einem Bild.
Der Bildinhalt.
Der URI des Bildes.
Der MIME-Typ des Bildes.
Mögliche Werte:
-
image/png -
image/jpeg -
image/webp -
image/heic -
image/heif
resolution MediaResolution (optional)
Die Auflösung der Media.
Mögliche Werte:
-
low -
medium -
high -
ultra_high
Keine Beschreibung vorhanden.
Immer auf "image" gesetzt.
Keine Beschreibung vorhanden.
Immer auf "thought" gesetzt.
FunctionCallContent
Ein Inhaltsblock für einen Funktionsaufruf.
Der Name des aufzurufenden Tools.
Die Argumente, die an die Funktion übergeben werden sollen.
Keine Beschreibung vorhanden.
Immer auf "function_call" gesetzt.
Eine eindeutige ID für diesen bestimmten Tool-Aufruf.
Ein Signatur-Hash für die Backend-Validierung.
FunctionResultContent
Ein Inhaltsblock mit dem Ergebnis eines Funktionstools.
Der Name des aufgerufenen Tools.
Gibt an, ob beim Toolaufruf ein Fehler aufgetreten ist.
Das Ergebnis des Tool-Aufrufs.
Keine Beschreibung vorhanden.
Immer auf "function_result" gesetzt.
ID, die mit der ID aus dem Funktionsaufrufblock übereinstimmen muss.
Ein Signatur-Hash für die Backend-Validierung.
CodeExecutionCallContent
Inhalte zur Codeausführung.
arguments CodeExecutionCallArguments (erforderlich)
Die Argumente, die an die Codeausführung übergeben werden sollen.
Felder
Programmiersprache des „code“.
Mögliche Werte:
-
python
Der auszuführende Code.
Keine Beschreibung vorhanden.
Immer auf "code_execution_call" gesetzt.
Eine eindeutige ID für diesen bestimmten Tool-Aufruf.
Ein Signatur-Hash für die Backend-Validierung.
CodeExecutionResultContent
Inhalte des Ergebnisses der Codeausführung.
Die Ausgabe der Codeausführung.
Gibt an, ob bei der Codeausführung ein Fehler aufgetreten ist.
Keine Beschreibung vorhanden.
Immer auf "code_execution_result" gesetzt.
ID, die der ID aus dem Block für den Aufruf der Codeausführung entspricht.
Ein Signatur-Hash für die Backend-Validierung.
UrlContextCallContent
Kontextinhalte der URL.
arguments UrlContextCallArguments (erforderlich)
Die Argumente, die an den URL-Kontext übergeben werden sollen.
Felder
Die abzurufenden URLs.
Keine Beschreibung vorhanden.
Immer auf "url_context_call" gesetzt.
Eine eindeutige ID für diesen bestimmten Tool-Aufruf.
Ein Signatur-Hash für die Backend-Validierung.
UrlContextResultContent
Inhalte des URL-Kontext-Ergebnisses.
result UrlContextResult (erforderlich)
Die Ergebnisse des URL-Kontexts.
Felder
Die abgerufene URL.
Der Status des URL-Abrufs.
Mögliche Werte:
-
success -
error -
paywall -
unsafe
Gibt an, ob der URL-Kontext zu einem Fehler geführt hat.
Keine Beschreibung vorhanden.
Immer auf "url_context_result" gesetzt.
ID, die mit der ID aus dem URL-Kontextaufrufblock übereinstimmen muss.
Ein Signatur-Hash für die Backend-Validierung.
GoogleSearchCallContent
Inhalte der Google Suche.
arguments GoogleSearchCallArguments (erforderlich)
Die Argumente, die an die Google Suche übergeben werden sollen.
Felder
Websuchanfragen für die anschließende Websuche.
Der Typ der aktivierten Fundierung der Suche.
Mögliche Werte:
-
web_search -
image_search
Keine Beschreibung vorhanden.
Immer auf "google_search_call" gesetzt.
Eine eindeutige ID für diesen bestimmten Tool-Aufruf.
Ein Signatur-Hash für die Backend-Validierung.
GoogleSearchResultContent
Inhalte von Google-Suchergebnissen.
result GoogleSearchResult (erforderlich)
Die Ergebnisse der Google Suche.
Felder
Webinhalts-Snippet, das in eine Webseite oder eine App-Webview eingebettet werden kann.
Gibt an, ob bei der Google-Suche ein Fehler aufgetreten ist.
Keine Beschreibung vorhanden.
Immer auf "google_search_result" gesetzt.
ID, die mit der ID aus dem Google Search-Aufrufblock übereinstimmen muss.
Ein Signatur-Hash für die Backend-Validierung.
McpServerToolCallContent
Inhalte für MCPServer-Toolaufrufe.
Der Name des aufgerufenen Tools.
Der Name des verwendeten MCP-Servers.
Das JSON-Objekt mit den Argumenten für die Funktion.
Keine Beschreibung vorhanden.
Immer auf "mcp_server_tool_call" gesetzt.
Eine eindeutige ID für diesen bestimmten Tool-Aufruf.
Ein Signatur-Hash für die Backend-Validierung.
McpServerToolResultContent
Inhalte des MCPServer-Tool-Ergebnisses.
Name des Tools, das für diesen bestimmten Tool-Aufruf aufgerufen wird.
Der Name des verwendeten MCP-Servers.
Die Ausgabe des MCP-Serveraufrufs. Kann einfacher Text oder Rich Content sein.
Keine Beschreibung vorhanden.
Immer auf "mcp_server_tool_result" gesetzt.
ID, die der ID aus dem MCP-Server-Toolaufrufblock entspricht.
Ein Signatur-Hash für die Backend-Validierung.
FileSearchCallContent
Inhalte der Dateisuche.
Keine Beschreibung vorhanden.
Immer auf "file_search_call" gesetzt.
Eine eindeutige ID für diesen bestimmten Tool-Aufruf.
Ein Signatur-Hash für die Backend-Validierung.
FileSearchResultContent
Inhalt des Suchergebnisses für die Dateisuche.
result FileSearchResult (optional)
Die Ergebnisse der Dateisuche.
Keine Beschreibung vorhanden.
Immer auf "file_search_result" gesetzt.
ID, die der ID aus dem Block für den Dateisuchaufruf entspricht.
Ein Signatur-Hash für die Backend-Validierung.
GoogleMapsCallContent
Google Maps-Inhalte.
arguments GoogleMapsCallArguments (optional)
Die Argumente, die an das Google Maps-Tool übergeben werden sollen.
Felder
Die auszuführenden Abfragen.
Keine Beschreibung vorhanden.
Immer auf "google_maps_call" gesetzt.
Eine eindeutige ID für diesen bestimmten Tool-Aufruf.
Ein Signatur-Hash für die Backend-Validierung.
GoogleMapsResultContent
Inhalte von Google Maps-Ergebnissen.
result GoogleMapsResult (erforderlich)
Die Ergebnisse von Google Maps.
Felder
places Orte (optional)
Die gefundenen Orte.
Felder
Die ID des Orts im Format „places/{place_id}“.
Titel des Orts.
URI-Verweis des Orts.
review_snippets ReviewSnippet (optional)
Ausschnitte aus Rezensionen, die zum Generieren von Antworten zu den Funktionen eines bestimmten Orts in Google Maps verwendet werden.
Felder
Titel der Rezension.
Ein Link, der der Nutzerrezension auf Google Maps entspricht.
Die ID des Rezensions-Snippets.
Ressourcenname des Kontexttokens für das Google Maps-Widget.
Keine Beschreibung vorhanden.
Immer auf "google_maps_result" gesetzt.
ID, die der ID aus dem Google Maps-Aufrufblock entsprechen muss.
Ein Signatur-Hash für die Backend-Validierung.
Beispiele
Text
{ "type": "text", "text": "Hello, how are you?" }
Bild
{ "type": "image", "data": "BASE64_ENCODED_IMAGE", "mime_type": "image/png" }
Audio
{ "type": "audio", "data": "BASE64_ENCODED_AUDIO", "mime_type": "audio/wav" }
Dokument
{ "type": "document", "data": "BASE64_ENCODED_DOCUMENT", "mime_type": "application/pdf" }
Video
{ "type": "video", "uri": "https://www.youtube.com/watch?v=9hE5-98ZeCg" }
Gedanke
{ "type": "thought", "summary": [ { "type": "text", "text": "The user is asking about the weather. I should use the get_weather tool." } ], "signature": "CoMDAXLI2nynRYojJIy6B1Jh9os2crpWLfB0+19xcLsGG46bd8wjkF/6RNlRUdvHrXyjsHkG0BZFcuO/bPOyA6Xh5jANNgx82wPHjGExN8A4ZQn56FlMwyZoqFVQz0QyY1lfibFJ2zU3J87uw26OewzcuVX0KEcs+GIsZa3EA6WwqhbsOd3wtZB3Ua2Qf98VAWZTS5y/tWpql7jnU3/CU7pouxQr/Bwft3hwnJNesQ9/dDJTuaQ8Zprh9VRWf1aFFjpIueOjBRrlT3oW6/y/eRl/Gt9BQXCYTqg/38vHFUU4Wo/d9dUpvfCe/a3o97t2Jgxp34oFKcsVb4S5WJrykIkw+14DzVnTpCpbQNFckqvFLuqnJCkL0EQFtunBXI03FJpPu3T1XU6id8S7ojoJQZSauGUCgmaLqUGdMrd08oo81ecoJSLs51Re9N/lISGmjWFPGpqJLoGq6uo4FHz58hmeyXCgHG742BHz2P3MiH1CXHUT2J8mF6zLhf3SR9Qb3lkrobAh" }
Funktionsaufruf
{ "type": "function_call", "name": "get_weather", "id": "gth23981", "arguments": { "location": "Boston, MA" } }
Funktionsergebnis
{ "type": "function_result", "name": "get_weather", "call_id": "gth23981", "result": [ { "type": "text", "text": "{\"weather\":\"sunny\"}" } ] }
Codeausführungsaufruf
{ "type": "code_execution_call", "id": "call_123456", "arguments": { "language": "python", "code": "print('hello world')" } }
Ergebnis der Codeausführung
{ "type": "code_execution_result", "call_id": "call_123456", "result": "hello world" }
URL-Kontextaufruf
{ "type": "url_context_call", "id": "call_123456", "arguments": { "urls": [ "https://www.example.com" ] } }
Ergebnis des URL-Kontexts
{ "type": "url_context_result", "call_id": "call_123456", "result": [ { "url": "https://www.example.com", "status": "SUCCESS" } ] }
Google Search Call
{ "type": "google_search_call", "id": "call_123456", "arguments": { "queries": [ "weather in Boston" ] } }
Google-Suchergebnis
{ "type": "google_search_result", "call_id": "call_123456", "result": [ { "url": "https://www.google.com/search?q=weather+in+Boston", "title": "Weather in Boston" } ] }
McpServer-Toolaufruf
{ "type": "mcp_server_tool_call", "id": "call_123456", "name": "get_forecast", "server_name": "weather_server", "arguments": { "city": "London" } }
Mcp Server Tool Result
{ "type": "mcp_server_tool_result", "name": "get_forecast", "server_name": "weather_server", "call_id": "call_123456", "result": "sunny" }
Dateisuchaufruf
{ "type": "file_search_call", "id": "call_123456" }
Dateisuchergebnis
{ "type": "file_search_result", "call_id": "call_123456", "result": [ { "text": "search result chunk", "file_search_store": "file_search_store" } ] }
Google Maps Call
{ "type": "google_maps_call", "id": "call_123456", "arguments": { "query": "best food near me" } }
Google Maps-Ergebnis
{ "type": "google_maps_result", "call_id": "call_123456", "result": [ { "places": [ { "url": "https://www.google.com/maps/search/best+food+near+me", "name": "Tasty Restaurant" } ] } ] }
Tool
Mögliche Typen
Polymorpher Diskriminator: type
Funktion
Ein Tool, das vom Modell verwendet werden kann.
Der Name der Funktion.
Eine Beschreibung der Funktion.
Das JSON-Schema für die Parameter der Funktion.
Keine Beschreibung vorhanden.
Immer auf "function" gesetzt.
GoogleSearch
Ein Tool, das vom Modell verwendet werden kann, um in Google zu suchen.
Die Arten von Suchgrundlagen, die aktiviert werden sollen.
Mögliche Werte:
-
web_search -
image_search
Keine Beschreibung vorhanden.
Immer auf "google_search" gesetzt.
CodeExecution
Ein Tool, das vom Modell zum Ausführen von Code verwendet werden kann.
Keine Beschreibung vorhanden.
Immer auf "code_execution" gesetzt.
UrlContext
Ein Tool, mit dem das Modell URL-Kontext abrufen kann.
Keine Beschreibung vorhanden.
Immer auf "url_context" gesetzt.
ComputerUse
Ein Tool, das vom Modell verwendet werden kann, um mit dem Computer zu interagieren.
Die Umgebung, in der der Vorgang ausgeführt wird.
Mögliche Werte:
-
browser
Die Liste der vordefinierten Funktionen, die vom Modellaufruf ausgeschlossen sind.
Keine Beschreibung vorhanden.
Immer auf "computer_use" gesetzt.
McpServer
Ein MCPServer ist ein Server, der vom Modell aufgerufen werden kann, um Aktionen auszuführen.
Der Name des MCPServers.
Die vollständige URL für den MCPServer-Endpunkt. Beispiel: „https://api.beispiel.de/mcp“
Optional: Felder für Authentifizierungsheader, Zeitüberschreitungen usw., falls erforderlich.
allowed_tools AllowedTools (optional)
Die zulässigen Tools.
Felder
mode ToolChoiceType (optional)
Der Modus der Tool-Auswahl.
Mögliche Werte:
-
auto -
any -
none -
validated
Die Namen der zulässigen Tools.
Keine Beschreibung vorhanden.
Immer auf "mcp_server" gesetzt.
FileSearch
Ein Tool, das vom Modell zum Suchen von Dateien verwendet werden kann.
Die Namen der Dateisuchspeicher, die durchsucht werden sollen.
Die Anzahl der semantischen Abruf-Chunks, die abgerufen werden sollen.
Metadatenfilter, der auf die Dokumente und Chunks für den semantischen Abruf angewendet werden soll.
Keine Beschreibung vorhanden.
Immer auf "file_search" gesetzt.
GoogleMaps
Ein Tool, das vom Modell verwendet werden kann, um Google Maps aufzurufen.
Gibt an, ob im Ergebnis des Toolaufrufs der Antwort ein Widget-Kontext-Token zurückgegeben werden soll.
Der Breitengrad des Standorts des Nutzers.
Der Längengrad des Standorts des Nutzers.
Keine Beschreibung vorhanden.
Immer auf "google_maps" gesetzt.
Beispiele
Funktion
GoogleSearch
CodeExecution
UrlContext
ComputerUse
McpServer
FileSearch
GoogleMaps
Turn
Felder
Der Initiator dieses Zuges. Muss „user“ für die Eingabe oder „model“ für die Modellausgabe sein.
Der Inhalt des Zuges.
Beispiele
Nutzerzugriff
{ "role": "user", "content": [ { "type": "text", "text": "user turn" } ] }
Modell-Turn
{ "role": "model", "content": [ { "type": "text", "text": "model turn" } ] }
InteractionSseEvent
Mögliche Typen
Polymorpher Diskriminator: event_type
InteractionStartEvent
Keine Beschreibung vorhanden.
Keine Beschreibung vorhanden.
Mögliche Werte:
-
interaction.start
Das event_id-Token, das verwendet werden soll, um den Interaktionsstream ab diesem Ereignis fortzusetzen.
InteractionCompleteEvent
Die abgeschlossene Interaktion mit leeren Ausgaben, um die Nutzlastgröße zu verringern. Verwenden Sie die vorherigen ContentDelta-Ereignisse für die tatsächliche Ausgabe.
Keine Beschreibung vorhanden.
Mögliche Werte:
-
interaction.complete
Das event_id-Token, das verwendet werden soll, um den Interaktionsstream ab diesem Ereignis fortzusetzen.
InteractionStatusUpdate
Keine Beschreibung vorhanden.
Keine Beschreibung vorhanden.
Mögliche Werte:
-
in_progress -
requires_action -
completed -
failed -
cancelled -
incomplete
Keine Beschreibung vorhanden.
Immer auf "interaction.status_update" gesetzt.
Das event_id-Token, das verwendet werden soll, um den Interaktionsstream ab diesem Ereignis fortzusetzen.
ContentStart
Keine Beschreibung vorhanden.
Keine Beschreibung vorhanden.
Keine Beschreibung vorhanden.
Immer auf "content.start" gesetzt.
Das event_id-Token, das verwendet werden soll, um den Interaktionsstream ab diesem Ereignis fortzusetzen.
ContentDelta
Keine Beschreibung vorhanden.
delta object (erforderlich)
Keine Beschreibung vorhanden.
Mögliche Typen
Polymorpher Diskriminator: type
TextDelta
Keine Beschreibung vorhanden.
annotations Annotation (optional)
Quellenangaben für von Modellen generierte Inhalte.
Mögliche Typen
Polymorpher Diskriminator: type
UrlCitation
Eine URL-Zitationsanmerkung.
Die URL.
Der Titel der URL.
Keine Beschreibung vorhanden.
Immer auf "url_citation" gesetzt.
Beginn des Antwortsegments, das dieser Quelle zugeordnet wird.
Ende des zugeordneten Segments (ausschließlich).
FileCitation
Eine Dateizitationsanmerkung.
Der URI der Datei.
Der Name der Datei.
Die Quelle, die einem Teil des Texts zugeordnet ist.
Keine Beschreibung vorhanden.
Immer auf "file_citation" gesetzt.
Beginn des Antwortsegments, das dieser Quelle zugeordnet wird.
Ende des zugeordneten Segments (ausschließlich).
PlaceCitation
Eine Anmerkung mit einer Ortsangabe.
Die ID des Orts im Format „places/{place_id}“.
Titel des Orts.
URI-Verweis des Orts.
review_snippets ReviewSnippet (optional)
Ausschnitte aus Rezensionen, die zum Generieren von Antworten zu den Funktionen eines bestimmten Orts in Google Maps verwendet werden.
Felder
Titel der Rezension.
Ein Link, der der Nutzerrezension auf Google Maps entspricht.
Die ID des Rezensions-Snippets.
Keine Beschreibung vorhanden.
Immer auf "place_citation" gesetzt.
Beginn des Antwortsegments, das dieser Quelle zugeordnet wird.
Ende des zugeordneten Segments (ausschließlich).
Keine Beschreibung vorhanden.
Immer auf "text" gesetzt.
ImageDelta
Keine Beschreibung vorhanden.
Keine Beschreibung vorhanden.
Keine Beschreibung vorhanden.
Mögliche Werte:
-
image/png -
image/jpeg -
image/webp -
image/heic -
image/heif
resolution MediaResolution (optional)
Die Auflösung der Media.
Mögliche Werte:
-
low -
medium -
high -
ultra_high
Keine Beschreibung vorhanden.
Immer auf "image" gesetzt.
AudioDelta
Keine Beschreibung vorhanden.
Keine Beschreibung vorhanden.
Keine Beschreibung vorhanden.
Mögliche Werte:
-
audio/wav -
audio/mp3 -
audio/aiff -
audio/aac -
audio/ogg -
audio/flac
Keine Beschreibung vorhanden.
Immer auf "audio" gesetzt.
DocumentDelta
Keine Beschreibung vorhanden.
Keine Beschreibung vorhanden.
Keine Beschreibung vorhanden.
Mögliche Werte:
-
application/pdf
Keine Beschreibung vorhanden.
Immer auf "document" gesetzt.
VideoDelta
Keine Beschreibung vorhanden.
Keine Beschreibung vorhanden.
Keine Beschreibung vorhanden.
Mögliche Werte:
-
video/mp4 -
video/mpeg -
video/mpg -
video/mov -
video/avi -
video/x-flv -
video/webm -
video/wmv -
video/3gpp
resolution MediaResolution (optional)
Die Auflösung der Media.
Mögliche Werte:
-
low -
medium -
high -
ultra_high
Keine Beschreibung vorhanden.
Immer auf "video" gesetzt.
ThoughtSummaryDelta
content ThoughtSummaryContent (optional)
Ein neues Zusammenfassungselement, das dem Gedanken hinzugefügt werden soll.
Mögliche Typen
Polymorpher Diskriminator: type
TextContent
Ein Textinhaltsblock.
Der Textinhalt.
annotations Annotation (optional)
Quellenangaben für von Modellen generierte Inhalte.
Mögliche Typen
Polymorpher Diskriminator: type
UrlCitation
Eine URL-Zitationsanmerkung.
Die URL.
Der Titel der URL.
Keine Beschreibung vorhanden.
Immer auf "url_citation" gesetzt.
Beginn des Antwortsegments, das dieser Quelle zugeordnet wird.
Ende des zugeordneten Segments (ausschließlich).
FileCitation
Eine Dateizitationsanmerkung.
Der URI der Datei.
Der Name der Datei.
Die Quelle, die einem Teil des Texts zugeordnet ist.
Keine Beschreibung vorhanden.
Immer auf "file_citation" gesetzt.
Beginn des Antwortsegments, das dieser Quelle zugeordnet wird.
Ende des zugeordneten Segments (ausschließlich).
PlaceCitation
Eine Anmerkung mit einer Ortsangabe.
Die ID des Orts im Format „places/{place_id}“.
Titel des Orts.
URI-Verweis des Orts.
review_snippets ReviewSnippet (optional)
Ausschnitte aus Rezensionen, die zum Generieren von Antworten zu den Funktionen eines bestimmten Orts in Google Maps verwendet werden.
Felder
Titel der Rezension.
Ein Link, der der Nutzerrezension auf Google Maps entspricht.
Die ID des Rezensions-Snippets.
Keine Beschreibung vorhanden.
Immer auf "place_citation" gesetzt.
Beginn des Antwortsegments, das dieser Quelle zugeordnet wird.
Ende des zugeordneten Segments (ausschließlich).
Keine Beschreibung vorhanden.
Immer auf "text" gesetzt.
ImageContent
Ein Inhaltsblock mit einem Bild.
Der Bildinhalt.
Der URI des Bildes.
Der MIME-Typ des Bildes.
Mögliche Werte:
-
image/png -
image/jpeg -
image/webp -
image/heic -
image/heif
resolution MediaResolution (optional)
Die Auflösung der Media.
Mögliche Werte:
-
low -
medium -
high -
ultra_high
Keine Beschreibung vorhanden.
Immer auf "image" gesetzt.
Keine Beschreibung vorhanden.
Immer auf "thought_summary" gesetzt.
ThoughtSignatureDelta
Signatur, die mit der Backend-Quelle übereinstimmen muss, damit sie Teil der Generierung ist.
Keine Beschreibung vorhanden.
Immer auf "thought_signature" gesetzt.
FunctionCallDelta
Keine Beschreibung vorhanden.
Keine Beschreibung vorhanden.
Keine Beschreibung vorhanden.
Immer auf "function_call" gesetzt.
Eine eindeutige ID für diesen bestimmten Tool-Aufruf.
Ein Signatur-Hash für die Backend-Validierung.
FunctionResultDelta
Keine Beschreibung vorhanden.
Keine Beschreibung vorhanden.
Delta des Tool-Aufrufergebnisses.
Keine Beschreibung vorhanden.
Immer auf "function_result" gesetzt.
ID, die mit der ID aus dem Funktionsaufrufblock übereinstimmen muss.
Ein Signatur-Hash für die Backend-Validierung.
CodeExecutionCallDelta
arguments CodeExecutionCallArguments (erforderlich)
Keine Beschreibung vorhanden.
Felder
Programmiersprache des „code“.
Mögliche Werte:
-
python
Der auszuführende Code.
Keine Beschreibung vorhanden.
Immer auf "code_execution_call" gesetzt.
Eine eindeutige ID für diesen bestimmten Tool-Aufruf.
Ein Signatur-Hash für die Backend-Validierung.
CodeExecutionResultDelta
Keine Beschreibung vorhanden.
Keine Beschreibung vorhanden.
Keine Beschreibung vorhanden.
Immer auf "code_execution_result" gesetzt.
ID, die mit der ID aus dem Funktionsaufrufblock übereinstimmen muss.
Ein Signatur-Hash für die Backend-Validierung.
UrlContextCallDelta
arguments UrlContextCallArguments (erforderlich)
Keine Beschreibung vorhanden.
Felder
Die abzurufenden URLs.
Keine Beschreibung vorhanden.
Immer auf "url_context_call" gesetzt.
Eine eindeutige ID für diesen bestimmten Tool-Aufruf.
Ein Signatur-Hash für die Backend-Validierung.
UrlContextResultDelta
result UrlContextResult (erforderlich)
Keine Beschreibung vorhanden.
Felder
Die abgerufene URL.
Der Status des URL-Abrufs.
Mögliche Werte:
-
success -
error -
paywall -
unsafe
Keine Beschreibung vorhanden.
Keine Beschreibung vorhanden.
Immer auf "url_context_result" gesetzt.
ID, die mit der ID aus dem Funktionsaufrufblock übereinstimmen muss.
Ein Signatur-Hash für die Backend-Validierung.
GoogleSearchCallDelta
arguments GoogleSearchCallArguments (erforderlich)
Keine Beschreibung vorhanden.
Felder
Websuchanfragen für die anschließende Websuche.
Keine Beschreibung vorhanden.
Immer auf "google_search_call" gesetzt.
Eine eindeutige ID für diesen bestimmten Tool-Aufruf.
Ein Signatur-Hash für die Backend-Validierung.
GoogleSearchResultDelta
result GoogleSearchResult (erforderlich)
Keine Beschreibung vorhanden.
Felder
Webinhalts-Snippet, das in eine Webseite oder eine App-Webview eingebettet werden kann.
Keine Beschreibung vorhanden.
Keine Beschreibung vorhanden.
Immer auf "google_search_result" gesetzt.
ID, die mit der ID aus dem Funktionsaufrufblock übereinstimmen muss.
Ein Signatur-Hash für die Backend-Validierung.
McpServerToolCallDelta
Keine Beschreibung vorhanden.
Keine Beschreibung vorhanden.
Keine Beschreibung vorhanden.
Keine Beschreibung vorhanden.
Immer auf "mcp_server_tool_call" gesetzt.
Eine eindeutige ID für diesen bestimmten Tool-Aufruf.
Ein Signatur-Hash für die Backend-Validierung.
McpServerToolResultDelta
Keine Beschreibung vorhanden.
Keine Beschreibung vorhanden.
Delta des Tool-Aufrufergebnisses.
Keine Beschreibung vorhanden.
Immer auf "mcp_server_tool_result" gesetzt.
ID, die mit der ID aus dem Funktionsaufrufblock übereinstimmen muss.
Ein Signatur-Hash für die Backend-Validierung.
FileSearchCallDelta
Keine Beschreibung vorhanden.
Immer auf "file_search_call" gesetzt.
Eine eindeutige ID für diesen bestimmten Tool-Aufruf.
Ein Signatur-Hash für die Backend-Validierung.
FileSearchResultDelta
result FileSearchResult (optional)
Keine Beschreibung vorhanden.
Keine Beschreibung vorhanden.
Immer auf "file_search_result" gesetzt.
ID, die mit der ID aus dem Funktionsaufrufblock übereinstimmen muss.
Ein Signatur-Hash für die Backend-Validierung.
GoogleMapsCallDelta
arguments GoogleMapsCallArguments (optional)
Die Argumente, die an das Google Maps-Tool übergeben werden sollen.
Felder
Die auszuführenden Abfragen.
Keine Beschreibung vorhanden.
Immer auf "google_maps_call" gesetzt.
Eine eindeutige ID für diesen bestimmten Tool-Aufruf.
Ein Signatur-Hash für die Backend-Validierung.
GoogleMapsResultDelta
result GoogleMapsResult (erforderlich)
Die Ergebnisse von Google Maps.
Felder
places Orte (optional)
Die gefundenen Orte.
Felder
Die ID des Orts im Format „places/{place_id}“.
Titel des Orts.
URI-Verweis des Orts.
review_snippets ReviewSnippet (optional)
Ausschnitte aus Rezensionen, die zum Generieren von Antworten zu den Funktionen eines bestimmten Orts in Google Maps verwendet werden.
Felder
Titel der Rezension.
Ein Link, der der Nutzerrezension auf Google Maps entspricht.
Die ID des Rezensions-Snippets.
Ressourcenname des Kontexttokens für das Google Maps-Widget.
Keine Beschreibung vorhanden.
Immer auf "google_maps_result" gesetzt.
ID, die mit der ID aus dem Funktionsaufrufblock übereinstimmen muss.
Ein Signatur-Hash für die Backend-Validierung.
Keine Beschreibung vorhanden.
Immer auf "content.delta" gesetzt.
Das event_id-Token, das verwendet werden soll, um den Interaktionsstream ab diesem Ereignis fortzusetzen.
ContentStop
Keine Beschreibung vorhanden.
Keine Beschreibung vorhanden.
Immer auf "content.stop" gesetzt.
Das event_id-Token, das verwendet werden soll, um den Interaktionsstream ab diesem Ereignis fortzusetzen.
ErrorEvent
Fehler Fehler (optional)
Keine Beschreibung vorhanden.
Felder
Ein URI, der den Fehlertyp identifiziert.
Eine für Menschen lesbare Fehlermeldung.
Keine Beschreibung vorhanden.
Immer auf "error" gesetzt.
Das event_id-Token, das verwendet werden soll, um den Interaktionsstream ab diesem Ereignis fortzusetzen.
Beispiele
Interaktionsbeginn
{ "event_type": "interaction.start", "interaction": { "id": "v1_ChdTMjQ0YWJ5TUF1TzcxZThQdjRpcnFRcxIXUzI0NGFieU1BdU83MWU4UHY0aXJxUXM", "model": "gemini-3-flash-preview", "object": "interaction", "status": "in_progress" } }
Interaktion abgeschlossen
{ "event_type": "interaction.complete", "interaction": { "created": "2025-12-09T18:45:40Z", "id": "v1_ChdTMjQ0YWJ5TUF1TzcxZThQdjRpcnFRcxIXUzI0NGFieU1BdU83MWU4UHY0aXJxUXM", "model": "gemini-3-flash-preview", "object": "interaction", "role": "model", "status": "completed", "updated": "2025-12-09T18:45:40Z", "usage": { "input_tokens_by_modality": [ { "modality": "text", "tokens": 11 } ], "total_cached_tokens": 0, "total_input_tokens": 11, "total_output_tokens": 364, "total_thought_tokens": 1120, "total_tokens": 1495, "total_tool_use_tokens": 0 } } }
Aktualisierung des Interaktionsstatus
{ "event_type": "interaction.status_update", "interaction_id": "v1_ChdTMjQ0YWJ5TUF1TzcxZThQdjRpcnFRcxIXUzI0NGFieU1BdU83MWU4UHY0aXJxUXM", "status": "in_progress" }
Inhaltsbeginn
{ "event_type": "content.start", "content": { "type": "text" }, "index": 1 }
Content-Delta
{ "event_type": "content.delta", "delta": { "type": "text", "text": "Elara\u2019s life was a symphony of quiet moments. A librarian, she found solace in the hushed aisles, the scent of aged paper, and the predictable rhythm of her days. Her small apartment, meticulously ordered, reflected this internal calm, save" }, "index": 1 }
Inhaltsstopp
{ "event_type": "content.stop", "index": 1 }
Ereignis vom Typ „Fehler“
{ "event_type": "error", "error": { "message": "Failed to get completed interaction: Result not found.", "code": "not_found" } }