Bağlamı önbelleğe alma

Tipik bir AI iş akışında, aynı giriş jetonlarını bir modele tekrar tekrar aktarabilirsiniz. Gemini API bağlamı önbelleğe alma özelliğini kullanarak bazı içerikleri modele bir kez iletebilir, giriş jetonlarını önbelleğe alabilir ve daha sonra, sonraki istekler için önbelleğe alınan jetonlara başvurabilirsiniz. Belirli hacimlerde, önbelleğe alınmış jeton kullanmak, aynı jeton kümesini tekrar tekrar geçirmekten daha düşük bir maliyete sahiptir (ve daha düşük gecikme olabilir).

Bir jeton grubunu önbelleğe aldığınızda, jetonlar otomatik olarak silinmeden önce önbelleğin ne kadar süreyle mevcut olmasını istediğinizi seçebilirsiniz. Bu önbelleğe alma süresine geçerlilik süresi (TTL) denir. Önbelleğe alma maliyeti, giriş jetonu boyutuna ve jetonların ne kadar süre kalmasını istediğinize bağlıdır.

Bağlam önbelleğe alma hem Gemini 1.5 Pro hem de Gemini 1.5 Flash'ı destekler.

Bağlam önbelleğe alma ne zaman kullanılır?

Bağlam önbelleğe alma, özellikle daha kısa isteklerde önemli bir başlangıç bağlamının tekrar tekrar referans gösterildiği senaryolar için uygundur. Bağlam önbelleğe alma özelliğini aşağıdaki gibi kullanım alanları için kullanmayı düşünün:

  • Kapsamlı sistem talimatları içeren chatbot'lar
  • Uzun video dosyalarının yinelenen analizi
  • Büyük doküman kümelerinde yinelenen sorgular
  • Sık kod deposu analizi veya hata düzeltme

Önbelleğe alma maliyetleri nasıl azaltır?

Bağlam önbelleğe alma, genel operasyon maliyetlerini azaltmak için tasarlanmış ücretli bir özelliktir. Faturalandırma aşağıdaki faktörlere göre yapılır:

  1. Önbellek jetonu sayısı: Önbelleğe alınan ve sonraki istemlere dahil edildiğinde indirimli fiyattan faturalandırılan giriş jetonlarının sayısı.
  2. Depolama süresi: Önbelleğe alınan jetonların depolandığı süre (TTL) önbellekteki jeton sayısının TTL süresine göre faturalandırılır. TTL'de minimum veya maksimum sınır yoktur.
  3. Diğer faktörler: Önbelleğe alınmamış giriş jetonları ve çıkış jetonları gibi başka ücretler geçerlidir.

Güncel fiyatlandırma bilgileri için Gemini API fiyatlandırma sayfasına göz atın. Jetonların nasıl sayılacağını öğrenmek için Jeton rehberine bakın.

Bağlam önbelleğe alma nasıl kullanılır?

Bu bölümde, quickstart gösterildiği gibi, Gemini SDK'sı yüklediğiniz ve bir API anahtarı yapılandırdığınız varsayılmaktadır.

Göz önünde bulundurulması gereken diğer noktalar

Bağlam önbelleğe alma özelliğini kullanırken aşağıdaki noktaları göz önünde bulundurun:

  • Bağlam önbelleğe alma için minimum giriş jetonu sayısı 32.768'dir ve maksimum sayı, belirli bir modelin maksimum sayıyla aynıdır. (Jeton sayma hakkında daha fazla bilgi için Jeton rehberine bakın).
  • Örnek kodda gösterildiği gibi, önbelleğiniz için geçerlilik süresini (TTL) ayarlayabilirsiniz. Politika ayarlanmazsa TTL varsayılan olarak 1 saat olur.
  • Model, önbelleğe alınan jetonlar ile normal giriş jetonları arasında bir ayrım yapmaz. Önbelleğe alınan içerik, istemin önekidir.
  • Önbelleğe alma hizmeti, içeriği önbellekten manuel olarak kaldırmak için bir silme işlemi sağlar. Ayrıntılar için tercih ettiğiniz SDK'nın dokümanlarına bakın.
  • Ücretli katman için bağlam önbelleğe almayla ilgili özel ücret veya kullanım sınırı yoktur. GenerateContent için standart hız sınırları geçerlidir ve jeton sınırları, önbelleğe alınan jetonları içerir. Ücretsiz katmanda Gemini 1.5 Flash için 1 milyon jeton depolama alanı sınırı vardır. Gemini 1.5 Pro'da önbelleğe alma kullanılamaz.
  • Önbelleğe alınan içeriği almak veya görüntülemek mümkün değildir ancak meta verileri (name, display_name, model; oluşturma, güncelleme ve geçerlilik süreleri) alabilirsiniz.
  • Yeni bir ttl veya expire_time ayarlamak mümkün. Önbelleğe alınan içerikle ilgili başka bir şeyin değiştirilmesi desteklenmez.
  • Önbelleğe alınan jetonların sayısı, önbellek hizmetinin oluşturma, alma ve listeleme işlemlerindeki usage_metadata özelliğinde ve önbellek kullanılırken GenerateContent ürününde döndürülür.