Birçok Gemini modeli, 1 milyon veya daha fazla parçadan oluşan büyük bağlam pencerelerine sahiptir. Geçmişte büyük dil modelleri (LLM'ler), modele tek seferde aktarılabilen metin (veya jeton) miktarı açısından önemli ölçüde sınırlıydı. Gemini'ın uzun bağlam penceresi, birçok yeni kullanım alanının ve geliştirici paradigmasının önünü açıyor.
Metin oluşturma veya çok formatlı girişler gibi durumlar için kullandığınız kod, uzun bağlamla birlikte herhangi bir değişiklik yapılmadan çalışır.
Bu belgede, 1 milyon ve daha fazla parçalık bağlam penceresine sahip modelleri kullanarak neler yapabileceğiniz hakkında genel bilgiler verilmektedir. Bu sayfada, bağlam penceresi kısaca açıklanmakta ve geliştiricilerin uzun bağlamı nasıl değerlendirmesi gerektiği, uzun bağlamın gerçek hayattaki çeşitli kullanım alanları ve uzun bağlam kullanımını optimize etme yöntemleri ele alınmaktadır.
Belirli modellerin bağlam penceresi boyutları için Modeller sayfasına bakın.
Bağlam penceresi nedir?
Gemini modellerini kullanmanın temel yolu, modele bilgi (bağlam) aktarmaktır. Model daha sonra bir yanıt oluşturur. Bağlam penceresi, kısa süreli belleğe benzetilebilir. Bir kişinin kısa süreli belleğinde saklanabilecek bilgi miktarı sınırlıdır. Aynı durum üretken modeller için de geçerlidir.
Gemini 4'te (gemini-4-argon) 1 milyon parçalık bağlam penceresi giriş, düşünme ve çıkış jetonları arasında paylaşılır. Model, uzun kod çözme kullanarak 1 milyon çıkış jetonuna kadar oluşturabilir. Giriş jetonlarınız ile max_output_tokens toplamı 1.048.576 jetonu aşarsa API, çıkış sınırını otomatik olarak bağlam penceresinde kalan alanla (1,048,576 eksi giriş jetonlarınız) sınırlandırır. Önceki Gemini 3 ve 2.5 modelleri, ayrı 1 milyon giriş ve 64 bin çıkış bütçesi kullanır.
Modellerin arka planda nasıl çalıştığı hakkında daha fazla bilgiyi üretken modeller kılavuzumuzda bulabilirsiniz.
Uzun bağlamı kullanmaya başlama
Üretken modellerin önceki sürümleri,tek seferde yalnızca 8.000 parça işleyebiliyordu. Daha yeni modeller,32.000,hatta 128.000 jeton kabul ederek bu sınırı daha da ileriye taşıdı. Gemini, 1 milyon jeton kabul edebilen ilk modeldir.
1 milyon parça, pratikte şunlara karşılık gelir:
- 50.000 satır kod (satır başına standart 80 karakter)
- Son 5 yılda gönderdiğiniz tüm kısa mesajlar
- Ortalama uzunlukta 8 İngilizce roman
- Ortalama uzunlukta 200'den fazla podcast bölümünün transkripti
Diğer birçok modelde yaygın olan daha sınırlı bağlam pencereleri genellikle eski mesajları rastgele bırakma, içeriği özetleme, vektör veritabanlarıyla RAG kullanma veya istemleri filtreleme gibi stratejiler gerektirir.
Bu teknikler belirli senaryolarda hâlâ değerli olsa da Gemini'ın geniş bağlam penceresi, daha doğrudan bir yaklaşım olan tüm bilgileri önceden sağlama yöntemini kullanmanıza olanak tanır. Gemini modelleri, büyük bağlam yetenekleriyle özel olarak geliştirildiğinden bağlam içi öğrenme konusunda güçlü bir performans gösterir. Örneğin, Gemini yalnızca bağlam içi eğitim materyalleri (500 sayfalık bir referans dil bilgisi, bir sözlük ve yaklaşık 400 paralel cümle) kullanarak İngilizceden Kalamang diline (200'den az kişinin konuştuğu bir Papua dili) aynı materyalleri kullanan bir insan öğrenciye benzer kalitede çeviri yapmayı öğrendi. Bu, Gemini'ın uzun bağlam özelliği sayesinde mümkün olan paradigma değişimini gösterir. Bu özellik, bağlam içi sağlam öğrenme yoluyla yeni olanaklar sunar.
Uzun bağlam kullanım alanları
Çoğu üretken modelin standart kullanım alanı hâlâ metin girişi olsa da Gemini model ailesi, çok formatlı kullanım alanlarında yeni bir paradigma sunuyor. Bu modeller metin, video, ses ve görüntüleri doğal olarak anlayabilir. Bu modeller, kolaylık sağlamak için çok formatlı dosya türlerini kabul eden Gemini API ile birlikte sunulur.
Uzun metin
Metin, LLM'lerin arkasındaki ivmenin büyük bir kısmını destekleyen zeka katmanı olduğunu kanıtladı. Daha önce de belirtildiği gibi, LLM'lerin pratik sınırlamalarının çoğu, belirli görevleri yerine getirmek için yeterince büyük bir bağlam penceresine sahip olmamasından kaynaklanıyordu. Bu durum, veriyle artırılmış üretim (RAG) ve modele dinamik olarak alakalı bağlamsal bilgiler sağlayan diğer tekniklerin hızla benimsenmesine yol açtı. Bağlam pencereleri büyüdükçe yeni kullanım alanları sunan yeni teknikler ortaya çıkıyor.
Metin tabanlı uzun bağlamın yeni ortaya çıkan ve standart kullanım alanlarından bazıları şunlardır:
- Büyük metin derlemelerini özetleme
- Daha küçük bağlam modelleriyle önceki özetleme seçenekleri, modele yeni jetonlar aktarılırken önceki bölümlerin durumunu korumak için kayan pencere veya başka bir teknik gerektiriyordu.
- Soru ve cevap
- Geçmişte bu, yalnızca RAG ile mümkündü. Çünkü bağlam miktarı sınırlıydı ve modellerin gerçekleri hatırlama oranı düşüktü.
- Ajan tabanlı iş akışları
- Metin, temsilcilerin ne yaptıklarını ve ne yapmaları gerektiğini takip etmelerinin temelini oluşturur. Dünya ve temsilcinin hedefi hakkında yeterli bilgiye sahip olmamak, temsilcilerin güvenilirliğini sınırlar.
Çok örnekli bağlam içi öğrenme, uzun bağlam modellerinin sunduğu en benzersiz özelliklerden biridir. Araştırmalar, modele bir görevin bir veya birkaç örneğinin sunulduğu yaygın "tek örnekli" veya "çok örnekli" örnek paradigmasını alıp bunu yüzlerce, binlerce, hatta yüz binlerce örneğe ölçeklendirmenin yeni model yeteneklerine yol açabileceğini göstermiştir. Bu çok görevli yaklaşımın, belirli bir görev için ince ayar yapılmış modellerle benzer performans gösterdiği de kanıtlanmıştır. Gemini modelinin performansının henüz üretim aşamasına geçmek için yeterli olmadığı kullanım alanlarında çoklu örnek yaklaşımını deneyebilirsiniz. Uzun bağlam optimizasyonu bölümünde daha ayrıntılı olarak ele alacağımız gibi, bağlam önbelleğe alma özelliği bu tür yüksek giriş jetonu iş yüklerini çok daha ekonomik hale getirir ve hatta bazı durumlarda gecikmeyi azaltır.
Uzun video
Video içeriğinin faydası, uzun süredir ortamın erişilebilir olmaması nedeniyle kısıtlanmaktadır. İçeriğe göz atmak zordu, transkriptler genellikle bir videonun nüansını yakalayamıyordu ve çoğu araç resim, metin ve sesi birlikte işlemiyordu. Gemini'ın uzun bağlamlı metin özellikleri, çok formatlı girişlerle ilgili akıl yürütme ve soruları yanıtlama konusunda tutarlı bir performans sunar.
Video uzun bağlamı için yeni ortaya çıkan ve standart kullanım alanlarından bazıları şunlardır:
- Video soru ve cevap
- Google'ın Project Astra projesinde gösterilen video hafızası
- Video altyazısı oluşturma
- Mevcut meta verileri yeni çok modlu anlama özellikleriyle zenginleştirerek video öneri sistemlerini iyileştirme
- Video özelleştirme: Bir veri bütününü ve ilişkili video meta verilerini inceleyip videoların izleyiciyle alakalı olmayan kısımlarını kaldırarak
- Video içeriği moderasyonu
- Gerçek zamanlı video işleme
Videolarla çalışırken videoların jetonlara nasıl işlendiğini göz önünde bulundurmak önemlidir. Bu durum, faturalandırmayı ve kullanım sınırlarını etkiler. Video dosyalarıyla istem oluşturma hakkında daha fazla bilgiyi İstem oluşturma kılavuzunda bulabilirsiniz.
Uzun ses içerikleri
Gemini modelleri, sesleri anlayabilen ilk yerel çok formatlı büyük dil modelleriydi. Geçmişte, ses işlemek için genellikle birden fazla alana özgü model (ör. sesle yazma modeli ve metinden metin oluşturma modeli) birlikte kullanılırdı. Bu durum, birden fazla gidiş-dönüş isteği gerçekleştirilmesinden kaynaklanan ek gecikmeye ve genellikle birden fazla model kurulumunun bağlantısı kesilmiş mimarilerine atfedilen performans düşüşüne yol açtı.
Ses bağlamı için bazı yeni ve standart kullanım alanları şunlardır:
- Anlık metne dönüştürme ve çeviri
- Podcast / video soru ve cevap
- Toplantıyı metne dönüştürme ve özetleme
- Sesli asistanlar
Ses dosyalarıyla istem oluşturma hakkında daha fazla bilgiyi İstem rehberinde bulabilirsiniz.
Uzun bağlam optimizasyonları
Uzun bağlam ve Gemini modelleriyle çalışırken birincil optimizasyon, bağlam önbelleğe alma özelliğini kullanmaktır. Tek bir istekte çok sayıda jetonun işlenmesinin imkansız olmasının yanı sıra, diğer bir kısıtlama da maliyetti. Kullanıcının 10 PDF, bir video ve bazı iş belgeleri yüklediği bir "verilerinizle sohbet edin" uygulamanız varsa bu istekleri işlemek için geçmişte daha karmaşık bir almayla artırılmış üretim (RAG) aracı/çerçevesiyle çalışmanız ve bağlam penceresine taşınan jetonlar için önemli bir miktar ödemeniz gerekirdi. Artık kullanıcının yüklediği dosyaları önbelleğe alabilir ve saatlik olarak depolama için ödeme yapabilirsiniz. Örneğin, Gemini Flash ile istek başına giriş / çıkış maliyeti, standart giriş / çıkış maliyetinden yaklaşık 4 kat daha azdır. Bu nedenle, kullanıcı verileriyle yeterince sohbet ederse bu durum, geliştirici olarak sizin için büyük bir maliyet tasarrufu sağlar.
Uzun bağlam sınırlamaları
Bu kılavuzun çeşitli bölümlerinde, Gemini modellerinin samanlıkta iğne arama alma değerlendirmelerinde nasıl yüksek performans gösterdiğinden bahsettik. Bu testler, aradığınız tek bir iğnenin olduğu en temel kurulumu dikkate alır. Aradığınız birden fazla "iğne" veya belirli bilgi parçası olduğunda model aynı doğrulukla çalışmaz. Performans, bağlama göre büyük ölçüde değişiklik gösterebilir. Doğru bilgileri alma ile maliyet arasında doğal bir denge olduğu için bu hususu göz önünde bulundurmak önemlidir. Tek bir sorguda yaklaşık% 99 doğruluk elde edebilirsiniz ancak bu sorguyu her gönderdiğinizde giriş jetonu maliyetini ödemeniz gerekir. Yani 100 bilgi parçasının alınması için% 99 performans gerekiyorsa muhtemelen 100 istek göndermeniz gerekir. Bu, bağlam önbelleğe almanın, performansı yüksek tutarken Gemini modellerini kullanmayla ilişkili maliyeti önemli ölçüde azaltabileceği durumlara iyi bir örnektir.
SSS
Sorgumu bağlam penceresinde nereye yerleştirmeliyim?
Çoğu durumda, özellikle de toplam bağlam uzunsa sorgunuzu / sorunuzu istemin sonuna (diğer tüm bağlamlardan sonra) koyarsanız modelin performansı daha iyi olur.
Bir sorguya daha fazla jeton eklediğimde model performansı düşer mi?
Genellikle, jetonların modele iletilmesi gerekmiyorsa bunları iletmekten kaçınmak en iyisidir. Ancak, bazı bilgileri içeren büyük bir jeton yığınınız varsa ve bu bilgilerle ilgili sorular sormak istiyorsanız model, bu bilgileri ayıklama konusunda oldukça başarılıdır (birçok durumda% 99'a varan doğruluk).
Uzun bağlamlı sorgularda maliyetimi nasıl düşürebilirim?
Çok kez yeniden kullanmak istediğiniz benzer bir jeton / bağlam kümeniz varsa bağlam önbelleğe alma, bu bilgilerle ilgili soru sormayla ilişkili maliyetleri azaltmanıza yardımcı olabilir.
Bağlam uzunluğu, model gecikmesini etkiler mi?
Boyuttan bağımsız olarak her istekte belirli bir miktar gecikme olur ancak genellikle daha uzun sorgularda gecikme (ilk jetona kadar geçen süre) daha yüksek olur.