Kontext-Caching

In einem typischen KI-Workflow werden dieselben Eingabetokens immer wieder an ein Modell übergeben. Die Gemini API bietet implizites Caching, um Leistung und Kosten zu optimieren.

Implizites Caching

Implizites Caching ist standardmäßig für alle Gemini 2.5-Modelle und neuere Modelle aktiviert. Es wird sowohl für zustandsorientierte (mit previous_interaction_id) als auch für zustandslose Konversationsmodi unterstützt. Wir geben Kosteneinsparungen automatisch weiter, wenn Ihre Anfrage auf Caches trifft. Sie müssen nichts tun, um diese Funktion zu aktivieren. Die Mindestanzahl an Eingabetokens für das Kontext-Caching ist in der folgenden Tabelle für jedes Modell aufgeführt:

So erhöhen Sie die Wahrscheinlichkeit eines impliziten Cache-Treffers:

• Platzieren Sie große und häufig verwendete Inhalte am Anfang Ihrer Eingabeaufforderung.
• Senden Sie Anfragen mit ähnlichem Präfix in kurzer Zeit.

Die Anzahl der Tokens, die Cache-Treffer waren, finden Sie im Feld usage.total_cached_tokens des Antwortobjekts (Python und JavaScript).