Bağlamı önbelleğe alma

Tipik bir AI iş akışında aynı giriş jetonlarını tekrar tekrar bahsedeceğim. Gemini API bağlamı önbelleğe alma özelliğini kullanarak bazı içerikleri giriş jetonlarını önbelleğe almak, ardından önbellekteki jetonlara bakmak kontrol edebilirsiniz. Belirli hacimlerde, önbelleğe alınan jetonları kullanmak daha düşük maliyettir sürekli olarak geçmekten daha iyidir.

Bir jeton grubunu önbelleğe aldığınızda, önbelleğin ne kadar süre boyunca ve jetonlar otomatik olarak silinmeden önce mevcut olanları kontrol edin. Bu önbelleğe alma süresi geçerlilik süresi (TTL) olarak adlandırılır. Politika ayarlanmazsa TTL varsayılan olarak 1 saat olur. İlgili içeriği oluşturmak için kullanılan önbelleğe alma maliyeti, giriş jetonunun boyutuna ve kalıcı olması gerekir.

Bağlam önbelleğe alma hem Gemini 1.5 Pro hem de Gemini 1.5 Flash'ı destekler.

Bağlam önbelleğe alma ne zaman kullanılır?

Bağlam önbelleğe alma, özellikle önemli bir verinin elde edildiği senaryolar için uygundur. Daha kısa isteklerde tekrar tekrar ilk bağlama referans verilir. Şu özelliklerden faydalanabilirsiniz: kullanım alanları için bağlam önbelleğe alma aşağıdaki gibi:

  • Kapsamlı sistem talimatları içeren chatbot'lar
  • Uzun video dosyalarının yinelenen analizi
  • Büyük doküman kümelerinde yinelenen sorgular
  • Sık kod deposu analizi veya hata düzeltme

Önbelleğe alma maliyetleri nasıl azaltır?

Bağlam önbelleğe alma, genel operasyon maliyetlerini azaltmak için tasarlanmış ücretli bir özelliktir. Faturalandırma aşağıdaki faktörlere göre yapılır:

  1. Önbellek jetonu sayısı: Önbelleğe alınan ve faturalandırılan giriş jetonlarının sayısı istemlere dahil edildiğinde daha düşük bir orana sahip olabiliyor.
  2. Depolama süresi: Önbelleğe alınan jetonların depolandığı süre (TTL), , önbelleğe alınan jeton sayısının TTL süresine göre faturalandırılır. Minimum değer yoktur TTL'deki maksimum sınırları belirleyin.
  3. Diğer faktörler: Önbelleğe alınmamış giriş jetonları gibi başka ücretler geçerlidir. ve çıkış jetonları da oluşturabilirsiniz.

Güncel fiyatlandırma bilgileri için Gemini API fiyatlandırmasına bakın öğrenin. Jetonların nasıl sayılacağını öğrenmek için Jeton rehberini inceleyin.

Bağlam önbelleğe alma nasıl kullanılır?

Bu bölümde, Gemini SDK'sı yüklediğiniz ve API yapılandırdığınız varsayılmaktadır tuşuna basın.

Göz önünde bulundurulacak diğer noktalar

Bağlam önbelleğe alma özelliğini kullanırken aşağıdaki noktaları göz önünde bulundurun:

  • Bağlam önbelleğe alma için minimum giriş jetonu sayısı 32.768'dir ve maksimum değeri, belirli bir modelin maksimum değeriyle aynıdır. (Daha fazla bilgi için daha fazla bilgi için Jeton rehberine bakın.
  • Model, önbelleğe alınan jetonlar ile normal jetonlar arasında bir ayrım yapmaz. giriş jetonları. Önbelleğe alınan içerik, istemin önekidir.
  • Bağlam önbelleğe alma işleminde özel bir hız veya kullanım sınırı yoktur; standart GenerateContent hız sınırları geçerlidir ve jeton sınırları, önbelleğe alınanları içerir jeton.
  • Önbelleğe alınan jetonların sayısı usage_metadata öğesindeki oluşturma, alma ve listeleme işlemlerinin yanı sıra Önbellek kullanılırken GenerateContent.