Bağlamı önbelleğe alma

Tipik bir yapay zeka iş akışında, aynı giriş jetonlarını bir modele tekrar tekrar iletebilirsiniz. Gemini API, performansı ve maliyetleri optimize etmek için örtülü önbelleğe alma özelliği sunar.

Örtülü önbelleğe alma

Dolaylı önbelleğe alma, tüm Gemini 2.5 ve daha yeni modellerde varsayılan olarak etkindir. Hem durum bilgisi olan (previous_interaction_id kullanarak) hem de durum bilgisi olmayan sohbet modları için desteklenir. İsteğiniz önbelleklere ulaşırsa maliyet tasarruflarını otomatik olarak aktarırız. Özelliği etkinleştirmek için herhangi bir yapılandırma yapmanız gerekmez. Aşağıdaki tabloda her model için minimum giriş jetonu sayısı listelenmiştir:

Model Minimum jeton sınırı
Gemini 4 Argon 4.096
Gemini 3.8 Flash 4.096
Gemini 3.6 Flash 4.096
Gemini 3.1 Pro Önizlemesi 4.096
Gemini 2.5 Flash 2.048
Gemini 2.5 Pro 2.048

Dolaylı önbellek isabeti olasılığını artırmak için:

  • Büyük ve yaygın içerikleri isteminizin başına koymayı deneyin.
  • Benzer ön eke sahip istekleri kısa bir süre içinde göndermeyi deneyin.

Önbellek isabeti olan jetonların sayısını yanıt nesnesinin usage.total_cached_tokens (Python ve JavaScript) alanında görebilirsiniz.