Bağlamı önbelleğe alma

Tipik bir yapay zeka iş akışında, aynı giriş jetonlarını bir modele tekrar tekrar iletebilirsiniz. Gemini API, performansı ve maliyetleri optimize etmek için örtülü önbelleğe alma özelliği sunar.

Örtülü önbelleğe alma

Örtülü önbelleğe alma, tüm Gemini 2.5 ve daha yeni modeller için varsayılan olarak etkindir. Hem durum bilgili (previous_interaction_id kullanılarak) hem de durum bilgisiz görüşme modlarında desteklenir. İsteğiniz önbelleklere isabet ederse maliyet tasarruflarını otomatik olarak aktarırız. Bu özelliği etkinleştirmek için herhangi bir işlem yapmanız gerekmez. Bağlam önbelleğe alma için minimum giriş jetonu sayısı, her model için aşağıdaki tabloda listelenmiştir:

Model Minimum jeton sınırı
Gemini 3.5 Flash 4096
Gemini 3.1 Pro Önizlemesi 4096
Gemini 2.5 Flash 2048
Gemini 2.5 Pro 2048

Örtülü önbellek isabeti olasılığını artırmak için:

  • Büyük ve yaygın içerikleri isteminizin başına eklemeyi deneyin.
  • Kısa süre içinde benzer öneklere sahip istekler göndermeye çalışmak

Yanıt nesnesinin usage.total_cached_tokens (Python ve JavaScript) alanında, önbellek isabeti olan jeton sayısını görebilirsiniz.