Birçok Gemini modeli, 1 milyon veya daha fazla parçadan oluşan büyük bağlam pencerelerine sahiptir. Geçmişte büyük dil modelleri (LLM'ler), modele tek seferde aktarılabilen metin (veya jeton) miktarı açısından önemli ölçüde sınırlıydı. Gemini'ın uzun bağlam penceresi, birçok yeni kullanım alanının ve geliştirici paradigmasının önünü açıyor.
Metin oluşturma veya çok formatlı girişler gibi durumlar için kullandığınız kod, uzun bağlamda herhangi bir değişiklik yapılmadan çalışır.
Bu belgede, 1 milyon ve daha fazla parçalık bağlam pencerelerine sahip modelleri kullanarak neler yapabileceğinize dair genel bir bakış sunulmaktadır. Bu sayfada, bağlam penceresi kısaca açıklanmakta ve geliştiricilerin uzun bağlamı nasıl değerlendirmesi gerektiği, uzun bağlamın gerçek hayattaki çeşitli kullanım alanları ve uzun bağlam kullanımını optimize etme yöntemleri ele alınmaktadır.
Belirli modellerin bağlam penceresi boyutları için Modeller sayfasına bakın.
Bağlam penceresi nedir?
Gemini modellerini kullanmanın temel yolu, modele bilgi (bağlam) iletmektir. Model daha sonra bir yanıt üretir. Bağlam aralığı, kısa süreli belleğe benzetilebilir. Bir kişinin kısa süreli belleğinde saklanabilecek bilgi miktarı sınırlıdır. Aynı durum üretken modeller için de geçerlidir.
Gemini 4'te (gemini-4-argon), 1 milyon parçalık bağlam penceresi giriş, düşünme ve çıkış parçaları arasında paylaşılır. Model, uzun kod çözme özelliğini kullanarak 1 milyon çıkış parçası üretebilir. Giriş jetonlarınız ile max_output_tokens toplamı 1.048.576 jetonu aşarsa API, çıkış sınırını otomatik olarak bağlam penceresinde kalan alanla (1,048,576 eksi giriş jetonlarınız) sınırlandırır. Önceki Gemini 3 ve 2.5 modelleri, ayrı 1 milyon giriş ve 64 bin çıkış bütçesi kullanır.
Modellerin nasıl çalıştığı hakkında daha fazla bilgiyi üretken modeller rehberimizde bulabilirsiniz.
Uzun bağlamı kullanmaya başlama
Üretken modellerin önceki sürümleri tek seferde yalnızca 8.000 parça işleyebiliyordu. Daha yeni modeller,32.000,hatta 128.000 jeton kabul ederek bu sınırı daha da ileriye taşıdı. Gemini, 1 milyon jeton kabul edebilen ilk modeldir.
1 milyon parça, pratikte şunlara karşılık gelir:
- 50.000 satır kod (satır başına standart 80 karakter)
- Son 5 yılda gönderdiğiniz tüm kısa mesajlar
- 8 ortalama uzunlukta İngilizce roman
- Ortalama uzunlukta 200'den fazla podcast bölümünün transkriptleri
Diğer birçok modelde yaygın olan daha sınırlı bağlam pencereleri genellikle eski mesajları rastgele bırakma, içeriği özetleme, vektör veritabanlarıyla RAG kullanma veya istemleri filtreleme gibi stratejiler gerektirir.
Bu teknikler belirli senaryolarda değerli olmaya devam etse de Gemini'ın geniş bağlam penceresi, daha doğrudan bir yaklaşımı mümkün kılar: tüm ilgili bilgileri en baştan sağlamak. Gemini modelleri, devasa bağlam özellikleri için özel olarak tasarlandığından güçlü bir bağlam içi öğrenme performansı gösterir. Örneğin, yalnızca bağlam içi eğitici materyaller (500 sayfalık bir referans dil bilgisi, bir sözlük ve yaklaşık 400 paralel cümle) kullanılarak Gemini, aynı materyalleri kullanan bir insan öğrenenle benzer kalitede, 200'den az konuşanı olan bir Papua dili olan Kalamang diline çeviri yapmayı öğrendi. Bu örnek, Gemini'ın uzun bağlam özelliğiyle mümkün olan paradigma değişimini gösteriyor ve bağlam içi öğrenme sayesinde yeni olanaklar sunuyor.
Uzun bağlam kullanım alanları
Çoğu üretken modelin standart kullanım alanı hâlâ metin girişi olsa da Gemini model ailesi, çok formatlı kullanım alanları için yeni bir paradigma sunar. Bu modeller metin, video, ses ve görüntüleri doğal olarak anlayabilir. Bu modeller, kolaylık sağlamak için çok formatlı dosya türlerini kabul eden Gemini API ile birlikte sunulur.
Uzun metin
Metin, LLM'lerle ilgili birçok gelişmenin temelini oluşturan zeka katmanı olduğunu kanıtlamıştır. Daha önce de belirtildiği gibi, LLM'lerin pratik sınırlamalarının çoğu, belirli görevleri yerine getirmek için yeterince büyük bir bağlam penceresine sahip olmamasından kaynaklanıyordu. Bu durum, veriyle artırılmış üretim (RAG) ve modele dinamik olarak alakalı bağlamsal bilgiler sağlayan diğer tekniklerin hızla benimsenmesine yol açtı. Bağlam pencereleri büyüdükçe yeni kullanım alanları sunan yeni teknikler ortaya çıkıyor.
Metne dayalı uzun bağlam için bazı yeni ve standart kullanım alanları şunlardır:
- Büyük metin derlemelerini özetleme
- Daha küçük bağlam modelleriyle önceki özetleme seçenekleri, yeni jetonlar modele aktarılırken önceki bölümlerin durumunu korumak için kayan bir pencere veya başka bir teknik gerektiriyordu.
- Soru ve cevap
- Geçmişte, bağlam miktarının sınırlı olması ve modellerin gerçekleri hatırlama oranının düşük olması nedeniyle bu yalnızca RAG ile mümkündü.
- Ajan tabanlı iş akışları
- Metin, temsilcilerin ne yaptıklarını ve ne yapmaları gerektiğini takip etmelerinin temelini oluşturur. Dünya ve temsilcinin hedefi hakkında yeterli bilgiye sahip olmamak, temsilcilerin güvenilirliğini sınırlar.
Çok örnekli bağlam içi öğrenme, uzun bağlam modellerinin sunduğu en benzersiz özelliklerden biridir. Araştırmalar, modele bir görevin bir veya birkaç örneğinin sunulduğu yaygın "tek örnekli" veya "çok örnekli" örnek paradigmasını alıp bunu yüzlerce, binlerce, hatta yüz binlerce örneğe ölçeklendirmenin yeni model yeteneklerine yol açabileceğini göstermiştir. Bu çoklu yaklaşımın, belirli bir görev için hassas şekilde ayarlanmış modellere benzer performans gösterdiği de görülmüştür. Gemini modelinin performansının henüz üretime geçiş için yeterli olmadığı kullanım alanlarında çok görevli yaklaşımı deneyebilirsiniz. Uzun bağlam optimizasyonu bölümünde daha ayrıntılı olarak ele alacağımız gibi, bağlam önbelleğe alma özelliği bu tür yüksek giriş jetonu iş yüklerini çok daha ekonomik hale getirir ve hatta bazı durumlarda gecikmeyi azaltır.
Uzun video
Video içeriğinin faydası, uzun süredir erişilebilirlik eksikliği nedeniyle kısıtlanıyordu. İçeriğe göz atmak zordu, transkriptler genellikle bir videonun nüansını yakalayamıyordu ve çoğu araç resim, metin ve sesi birlikte işlemiyordu. Gemini ile uzun bağlamlı metin özellikleri, çok formatlı girişlerle ilgili soruları akıl yürüterek yanıtlamaya ve bu işlemleri tutarlı bir performansla yapmaya olanak tanır.
Video uzun bağlamı için yeni ortaya çıkan ve standart kullanım alanlarından bazıları şunlardır:
- Video soru ve cevapları
- Google'ın Project Astra projesinde gösterilen video hafızası
- Video altyazısı oluşturma
- Mevcut meta verileri yeni çok modlu anlama özellikleriyle zenginleştirerek video öneri sistemlerini iyileştirme
- Video özelleştirme: Bir veri bütününü ve ilişkili video meta verilerini inceleyip videoların izleyiciyle alakalı olmayan kısımlarını kaldırarak
- Video içeriği moderasyonu
- Gerçek zamanlı video işleme
Videolarla çalışırken videoların nasıl işlenerek jetonlara dönüştürüldüğünü göz önünde bulundurmak önemlidir. Bu durum, faturalandırmayı ve kullanım sınırlarını etkiler. Video dosyalarıyla istem oluşturma hakkında daha fazla bilgiyi İstem oluşturma kılavuzunda bulabilirsiniz.
Uzun ses içerikleri
Gemini modelleri, sesleri anlayabilen ilk yerel çok formatlı büyük dil modelleriydi. Geçmişte, ses işlemek için genellikle birden fazla alana özgü model (ör. sesle yazma modeli ve metinden metin oluşturma modeli) birlikte kullanılırdı. Bu durum, birden fazla gidiş-dönüş isteği gerçekleştirmenin neden olduğu ek gecikmeye ve genellikle birden fazla model kurulumunun bağlantısız mimarilerinden kaynaklanan performans düşüşüne yol açıyordu.
Ses bağlamının yeni ortaya çıkan ve standart kullanım alanlarından bazıları şunlardır:
- Anlık metne dönüştürme ve çeviri
- Podcast / video soru ve cevap
- Toplantıyı metne dönüştürme ve özetleme
- Sesli asistanlar
Ses dosyalarıyla istem oluşturma hakkında daha fazla bilgiyi İstem rehberinde bulabilirsiniz.
Uzun bağlam optimizasyonları
Uzun bağlam ve Gemini modelleriyle çalışırken birincil optimizasyon, bağlam önbelleğe alma özelliğini kullanmaktır. Tek bir istekte çok sayıda jetonun işlenmesinin imkansız olmasının yanı sıra, diğer bir kısıtlama da maliyetti. Kullanıcının 10 PDF, bir video ve bazı iş belgeleri yüklediği bir "verilerinizle sohbet edin" uygulamanız varsa bu istekleri işlemek için geçmişte daha karmaşık bir almayla artırılmış üretim (RAG) aracı/çerçevesiyle çalışmanız ve bağlam penceresine taşınan jetonlar için önemli bir miktar ödemeniz gerekirdi. Artık kullanıcının yüklediği dosyaları önbelleğe alabilir ve bunları saatlik olarak depolamak için ödeme yapabilirsiniz. Örneğin, Gemini Flash ile istek başına giriş / çıkış maliyeti, standart giriş / çıkış maliyetinden yaklaşık 4 kat daha düşüktür. Bu nedenle, kullanıcı verileriyle yeterince sohbet ederse geliştirici olarak sizin için büyük bir maliyet tasarrufu sağlanır.
Uzun bağlam sınırlamaları
Bu kılavuzun çeşitli bölümlerinde, Gemini modellerinin samanlıkta iğne arama alma değerlendirmelerinde nasıl yüksek performans gösterdiğinden bahsettik. Bu testlerde, aradığınız tek bir iğnenin bulunduğu en temel kurulum dikkate alınır. Birden fazla "iğne" veya aradığınız belirli bilgiler olması durumunda model aynı doğrulukla çalışmaz. Performans, bağlama göre büyük ölçüde değişiklik gösterebilir. Doğru bilgileri alma ile maliyet arasında doğal bir denge olduğu için bu hususu göz önünde bulundurmak önemlidir. Tek bir sorguda yaklaşık% 99 doğruluk elde edebilirsiniz ancak bu sorguyu her gönderdiğinizde giriş jetonu maliyetini ödemeniz gerekir. Yani 100 bilgi parçasının alınması için% 99 performans gerekiyorsa muhtemelen 100 istek göndermeniz gerekir. Bu, bağlam önbelleğe almanın, performansı yüksek tutarken Gemini modellerini kullanmayla ilişkili maliyeti önemli ölçüde azaltabileceği durumlara iyi bir örnektir.
SSS
Sorgumu bağlam penceresinin neresine yerleştirmeliyim?
Çoğu durumda, özellikle de toplam bağlam uzunsa sorgunuzu / sorunuzu istemin sonuna (diğer tüm bağlamlardan sonra) koyarsanız modelin performansı daha iyi olur.
Bir sorguya daha fazla jeton eklediğimde model performansı düşer mi?
Genellikle, jetonların modele iletilmesi gerekmiyorsa bunları iletmekten kaçınmak en iyisidir. Ancak bazı bilgiler içeren büyük bir jeton parçanız varsa ve bu bilgiler hakkında soru sormak istiyorsanız model, bu bilgileri ayıklama konusunda son derece yeteneklidir (çoğu durumda% 99'a varan doğruluk oranı).
Uzun bağlamlı sorgularla maliyetimi nasıl düşürebilirim?
Tekrar tekrar kullanmak istediğiniz benzer bir jeton / bağlam grubunuz varsa bağlam önbelleğe alma, bu bilgilerle ilgili soru sormanın maliyetini azaltmaya yardımcı olabilir.
Bağlam uzunluğu, model gecikmesini etkiler mi?
Boyutundan bağımsız olarak, herhangi bir istekte belirli bir gecikme süresi vardır ancak genellikle daha uzun sorgularda gecikme süresi (ilk jetona kadar geçen süre) daha yüksek olur.