Tools erweitern die Möglichkeiten von Gemini-Modellen, sodass sie Aktionen in der realen Welt ausführen, auf Echtzeitinformationen zugreifen und komplexe Berechnungsaufgaben erledigen können. Modelle können Tools sowohl in Standardinteraktionen mit Anfragen und Antworten als auch in Echtzeit-Streamingsitzungen mit der Live API verwenden.
Tools sind spezifische Funktionen (z. B. Google Suche oder Codeausführung), die ein Modell verwenden kann, um Anfragen zu beantworten. Die Gemini API bietet eine Reihe vollständig verwalteter, integrierter Tools. Sie können aber auch benutzerdefinierte Tools mit Funktions aufrufen definieren.
Informationen zum Erstellen mehrstufiger, zielorientierter Systeme finden Sie in der Übersicht zu Agents.
Verfügbare integrierte Tools
| Tool | Beschreibung | Anwendungsfälle |
|---|---|---|
| Google Suche | Antworten mit aktuellen Ereignissen und Fakten aus dem Web untermauern, um Halluzinationen zu reduzieren. | Fragen zu aktuellen Ereignissen beantworten, Fakten mit verschiedenen Quellen überprüfen. |
| Google Maps | Standortbezogene Assistenten erstellen, die Orte finden, Wegbeschreibungen abrufen und umfassenden lokalen Kontext bereitstellen können. | Reisepläne mit mehreren Stationen erstellen, lokale Unternehmen anhand von Nutzerkriterien finden. |
| Code-Ausführung | Das Modell Python-Code schreiben und ausführen lassen, um mathematische Probleme zu lösen oder Daten genau zu verarbeiten. | Komplexe mathematische Gleichungen lösen, Textdaten präzise verarbeiten und analysieren. |
| URL-Kontext | Das Modell anweisen, Inhalte von bestimmten Webseiten oder aus bestimmten Dokumenten zu lesen und zu analysieren. | Fragen basierend auf bestimmten URLs oder Dokumenten beantworten, Informationen auf verschiedenen Webseiten abrufen. |
| Computernutzung (Vorschau) | Gemini ermöglichen, einen Bildschirm anzuzeigen und Aktionen zu generieren, um mit Webbrowser-UIs zu interagieren (clientseitige Ausführung). | Wiederholte webbasierte Arbeitsabläufe automatisieren, Benutzeroberflächen von Webanwendungen testen. |
| Dateisuche | Eigene Dokumente indexieren und durchsuchen, um Retrieval-Augmented Generation (RAG) zu ermöglichen. | Technische Handbücher durchsuchen, Fragen zu proprietären Daten beantworten. |
Weitere Informationen zu den Kosten für bestimmte Tools finden Sie auf der Preisseite.
Funktionsweise der Toolausführung
Mit Tools kann das Modell während einer Unterhaltung Aktionen anfordern. Der Ablauf unterscheidet sich je nachdem, ob das Tool integriert (von Google verwaltet) oder benutzerdefiniert (von Ihnen verwaltet) ist.
Ablauf für integrierte Tools
Bei integrierten Tools (Google Suche, Google Maps, URL Context, Dateisuche, Code-Ausführung) erfolgt der gesamte Prozess in einem API-Aufruf:
- Sie senden einen Prompt: „Was ist die Quadratwurzel des aktuellen Aktienkurses von GOOG?“
- Gemini entscheidet, dass Tools erforderlich sind, und führt sie auf den Servern von Google aus (z.B. wird nach dem Aktienkurs gesucht und dann Python-Code ausgeführt, um die Quadratwurzel zu berechnen).
- Gemini sendet die endgültige Antwort zurück, die auf den Toolergebnissen basiert.
Ablauf für benutzerdefinierte Tools (Funktionsaufrufe)
Bei benutzerdefinierten Tools und der Computernutzung übernimmt Ihre Anwendung die Ausführung:
- Sie senden einen Prompt zusammen mit Funktionsdeklarationen (Tools).
- Gemini sendet möglicherweise strukturiertes JSON zurück, um eine bestimmte Funktion aufzurufen
(z. B.
{"name": "get_order_status", "args": {"order_id": "123"}}), immer mit einer eindeutigenid. - Sie führen die Funktion in Ihrer Anwendung oder Umgebung aus.
- Sie senden die Funktionsergebnisse mit derselben
idwie der Funktionsaufruf an Gemini zurück. - Gemini verwendet die Ergebnisse, um eine endgültige Antwort oder einen weiteren Toolaufruf zu generieren.
Weitere Informationen finden Sie im Leitfaden zu Funktionsaufrufen.
Ablauf für die Kombination von integrierten und benutzerdefinierten Tools
Bei Anfragen, die integrierte und benutzerdefinierte Tools (Funktionsaufrufe) kombinieren, verwendet das Modell die Toolkontext-Zirkulation, um die Ausführung in verschiedenen Umgebungen zu koordinieren:
- Sie senden einen Prompt und deklarieren die integrierten Tools und benutzerdefinierten Funktionen, die Sie aktivieren möchten. Außerdem legen Sie ein Flag fest, um die Unterstützung für die Kombination zu aktivieren.
- Gemini führt integrierte Tools aus und übergibt die Steuerung an den Nutzer, wenn clientseitige Funktionsaufrufe generiert werden (welche zuerst ausgeführt werden, hängt vom Prompt und der Entscheidung des Modells ab). Es sendet eine Antwort mit Folgendem zurück:
- Bestätigung des Toolaufrufs
- Ergebnisse der Toolantwort (diese können nach dem JSON kommen, wenn das Modell zwei parallele Funktionsaufrufe generiert hat)
- Strukturiertes JSON zum Aufrufen Ihrer Funktion
- Verschlüsselte Gedankensignaturen, um den Kontext beizubehalten
- Sie führen die Funktion in Ihrer Anwendung oder Umgebung aus.
- Sie geben alle Teile der Antwort von Gemini sowie die Ergebnisse des Funktionsaufrufs zurück.
- Gemini generiert die endgültige Antwort mit dem kombinierten Kontext.
Lesen Sie den Leitfaden zur Toolkombination, um zu erfahren, wie Sie die Unterstützung für die Kombination von integrierten und benutzerdefinierten Tools aktivieren, und finden Sie Beispiele für die Kontextzirkulation.
Strukturierte Ausgaben im Vergleich zu Funktionsaufrufen
Gemini bietet zwei Methoden zum Generieren strukturierter Ausgaben. Verwenden Sie Funktions aufrufe, wenn das Modell einen Zwischenschritt ausführen muss, indem es eine Verbindung zu Ihren eigenen Tools oder Datensystemen herstellt. Verwenden Sie strukturierte Ausgaben, wenn die endgültige Antwort des Modells unbedingt einem bestimmten Schema entsprechen muss, z. B. zum Rendern einer benutzerdefinierten Benutzeroberfläche.
Strukturierte Ausgaben mit Tools
Sie können strukturierte Ausgaben mit integrierten Tools kombinieren, um sicherzustellen, dass Modellantworten, die auf externen Daten oder Berechnungen basieren, weiterhin einem strengen Schema entsprechen.
Codebeispiele finden Sie unter Strukturierte Ausgaben mit Tools.