Uzun kod çözme

Uzun kod çözme özelliği, Gemini 4 Argon'un derin akıl yürütme görevleri için tek istek çıkış sınırını aşarak birleştirilmiş 1 milyon parçalık bağlam penceresine (giriş, düşünme ve çıkış arasında paylaşılan 1.048.576 parça) kadar çıkış üretmesine olanak tanır.

Yalnızca model kimliğini değiştirmek, uzun kod çözmeyi etkinleştirmez. Ek kurulum yapılmadığında çıkış, akış çağrıları için 64.000 jeton, akış dışı çağrılar için ise 32.000 jetonla sınırlıdır. Uzun kod çözmeyi etkinleştirmenin en hızlı yolu,Google GenAI SDK'sını yükseltmek ve max_output_tokens değerini 65.536'dan büyük olarak ayarlamaktır. Bu kılavuzda, uzun kod çözme özelliğinin işleyiş şekli, ne zaman kullanılacağı ve generateContent ile nasıl etkinleştirileceği açıklanmaktadır.

Uzun kod çözme işlevinin işleyiş şekli

Tek bir akış veya SDK isteği en fazla 64 bin jeton, akış içermeyen bir REST isteği ise en fazla 32 bin jeton oluşturur. Bir yanıt için daha fazla jeton gerektiğinde model, yanıtı birden fazla istek ve yanıt adımı üzerinden oluşturur. Her adım, önceki adımın durduğu yerden devam eder.

• Birleştirilmiş giriş ve çıkış jeton sınırı: Giriş, düşünme, işlev çağrıları ve nihai yanıt, 1 milyon jetonluk tek bir pencereyi paylaşır. Çıkışta en fazla 1.048.576 eksi giriş jetonlarınız kullanılabilir.
• Her adımda bir sınır: Bir adımda en fazla 65.536 çıkış jetonu döndürülür. Akış olmayan REST istekleri en fazla 32.768 döndürür.
• Devam sinyali: Model sınıra ulaşırsa ve kalan jetonları varsa yanıt finish_reason: CONTINUATION ve continuation_token ile biter.
• Sonraki durak adresi: İstemci, aynı isteği jetonla birlikte tekrar gönderir. Model, durduğu yerden devam eder.
• Tüm adımlar için tek bir toplam: max_output_tokens, tüm adımlar için toplam düşünme ve çıkış jetonlarını birlikte ayarlar.
• Durdurma sinyali: Model, max_output_tokens öğelerinin tümünü kullandığında yanıt finish_reason: MAX_TOKENS ile sona erer.

Zorlu sorunlarda bir adım, tüm jetonlarını dahili düşünmeye harcayabilir ve continuation_token ile boş metin döndürebilir. Bu normal bir durumdur ve nihai yanıt sonraki adımlarda gelir.

Varsayılan çıkış sınırları

Uzun kod çözme olmadan tek bir istek, istek başına şu sınırlarda durur:

• Google GenAI SDK (generate_content) üzerinden yapılan akış istekleri ve akış dışı istekler: Varsayılan olarak 64.000 çıkış jetonu kullanılır.
• Doğrudan akış dışı REST çağrıları (generateContent): Varsayılan olarak 32.000 çıkış jetonu kullanılır. continuation_token olmadan akış dışı bir REST çağrısında max_output_tokens değerini 32.768'den büyük bir değere ayarlamak 400 hatası döndürür.

Uzun kod çözme ne zaman kullanılır?

Çoğu istek, tek istek sınırında (akış ve SDK çağrıları için 64.000 jeton veya akış dışı REST çağrıları için 32.000 jeton) tamamlanır. Bir yanıtın, tek bir isteğin izin verdiğinden daha fazla birleşik düşünme ve çıkış jetonu gerektirdiği durumlarda uzun kod çözme özelliğini kullanın. max_output_tokens değerini artırmak, standart yanıtları uzatmak yerine modelin zor problemler üzerinde akıl yürütme kapasitesini artırır.

Yüksek bir max_output_tokens değeri ayarlamak, modele zor problemler üzerinde daha uzun süre düşünme imkanı verir ancak model ne kadar yazacağına kendisi karar verir. Modelin ne kadar akıl yürütme çabası kullanacağını kontrol etmek için thinking_level değerini ayarlayın.

Uzun kod çözmeyi etkinleştirme

Google GenAI SDK'sı ile uzun kod çözme işlemini otomatik olarak çalıştırabilir (1. seçenek, çoğu uygulama için önerilir) veya kendi devam ettirme döngünüzü yazabilirsiniz (2. seçenek). Her iki seçenek de 1 milyon parçalık bağlam penceresinin tamamını destekler.

Şifrelenmiş continuation_token, modelin durumunu istekler arasında taşır. Bu nedenle sunucuda hiçbir şey depolanmaz.

1. seçenek: Google GenAI SDK'yı kullanma (önerilir)

En yeni Google GenAI SDK'sında automatic_continuation, hem akışlı hem de akışsız çağrılar için varsayılan olarak etkinleştirildiğinden bunu ayarlamanız gerekmez. max_output_tokens değerini istek başına üst sınırın üzerinde ayarladığınızda SDK, devam atlamalarını otomatik olarak çalıştırır ve birleştirilmiş bir yanıt döndürür.

1. SDK'yı yükseltin.

   Python

   pip install -U "google-genai>=2.30.1"
   

   JavaScript

   npm install "@google/genai@>=2.29.1"
   

2. max_output_tokens değerini 65.536'dan büyük bir değere ayarlayın.

   Python

   from google import genai
   from google.genai import types
   
   client = genai.Client()  # Reads GEMINI_API_KEY
   
   response = client.models.generate_content(
       model="gemini-4-argon",
       contents="Write a complete, rigorous proof of the prime number theorem.",
       config=types.GenerateContentConfig(
           max_output_tokens=262_144,  # Total thinking and output for all hops
           thinking_config=types.ThinkingConfig(thinking_level="high"),
           automatic_continuation=True,  # Default. Shown for clarity.
       ),
   )
   
   print(response.text)
   print("Finish reason:", response.candidates[0].finish_reason)
   print("Prompt size:", response.usage_metadata.initial_prompt_token_count)
   print("Billed tokens:", response.usage_metadata.total_token_count)
   

   JavaScript

   import { GoogleGenAI, ThinkingLevel } from "@google/genai";
   
   const ai = new GoogleGenAI({}); // Reads GEMINI_API_KEY
   
   const response = await ai.models.generateContent({
     model: "gemini-4-argon",
     contents: "Write a complete, rigorous proof of the prime number theorem.",
     config: {
       maxOutputTokens: 262144, // Total thinking and output for all hops
       thinkingConfig: { thinkingLevel: ThinkingLevel.HIGH },
       automaticContinuation: true, // Default. Shown for clarity.
     },
   });
   
   console.log(response.text);
   console.log("Finish reason:", response.candidates?.[0]?.finishReason);
   console.log("Prompt size:", response.usageMetadata?.initialPromptTokenCount);
   console.log("Billed tokens:", response.usageMetadata?.totalTokenCount);
   

Şu noktaları aklınızda bulundurun:

• Akış: generate_content_stream (Python) ve generateContentStream (JavaScript) de sizin için devam eder. Bir akış, kontrol noktasından sonra kesilirse SDK bu kontrol noktasından devam eder.
• Zaman aşımları: Zaman aşımları ve yeniden denemeler, tam çalıştırma için değil, her bir atlama için geçerlidir.
• Manuel kontrol: Döngüyü kendiniz çalıştırmak için automatic_continuation=False (Python) veya automaticContinuation: false (JavaScript) değerini ayarlayın. Ardından 2. seçenekteki adımları uygulayın.
• Kullanım: Kullanım alanları, tüm atlamaların toplamını gösterir. İsteminizin boyutunu öğrenmek için initial_prompt_token_count sayfasını okuyun. Parça sayma bölümünü inceleyin.

2. seçenek: Kendi döngünüzü yazın

REST'i doğrudan çağırıyorsanız, en yeni SDK'yı içermeyen bir dil kullanıyorsanız veya tam denetime ihtiyacınız varsa kendi döngünüzü yazın. Python ve JavaScript/TypeScript dillerindeki Google GenAI SDK uygulamalarımızı da referans olarak kullanabilirsiniz.

Aşağıdaki kurallara uyun:

1. Her atlamada aynı isteği gönderin. Orijinal contents, system_instruction, tools ve generation_config belgelerini gönderin. max_output_tokens değerini aynı tutun.
2. contents öğesine kısmi çıkış eklemeyin. continuation_token, düşünce süreci de dahil olmak üzere modelin durumunu taşır.
3. Yalnızca en son jetonu gönderin. Her jeton, önceki tüm ilerlemeleri içerir.
4. finish_reason, CONTINUATION olduğunda devam et. Başka bir bitiş nedeni için durdurma.
5. Son sekmeden sonraki bölümleri birleştirin. Tüm adımlardaki parçaları birleştirerek görüşme geçmişi için tek bir model dönüşü oluşturun.

from google import genai
from google.genai import types

client = genai.Client()  # Reads GEMINI_API_KEY
PROMPT = "Write a complete, rigorous proof of the prime number theorem."
parts = []
token = None

while True:
    response = client.models.generate_content(
        model="gemini-4-argon",
        contents=PROMPT,  # The original contents on every request
        config=types.GenerateContentConfig(
            max_output_tokens=262_144,  # The same total on every request
            thinking_config=types.ThinkingConfig(thinking_level="high"),
            automatic_continuation=False,  # You run the loop
            continuation_token=token,
        ),
    )
    candidate = response.candidates[0]
    if candidate.content and candidate.content.parts:
        parts.extend(candidate.content.parts)
    token = candidate.continuation_token
    if candidate.finish_reason != types.FinishReason.CONTINUATION or not token:
        break

print("".join(p.text for p in parts if p.text and not p.thought))
print("Finish reason:", candidate.finish_reason)

import { GoogleGenAI, ThinkingLevel } from "@google/genai";

const ai = new GoogleGenAI({}); // Reads GEMINI_API_KEY
const PROMPT = "Write a complete, rigorous proof of the prime number theorem.";
const parts = [];
let token = undefined;
let candidate = undefined;

while (true) {
  const response = await ai.models.generateContent({
    model: "gemini-4-argon",
    contents: PROMPT, // The original contents on every request
    config: {
      maxOutputTokens: 262144, // The same total on every request
      thinkingConfig: { thinkingLevel: ThinkingLevel.HIGH },
      automaticContinuation: false, // You run the loop
      continuationToken: token,
    },
  });
  candidate = response.candidates?.[0];
  if (candidate?.content?.parts) {
    parts.push(...candidate.content.parts);
  }
  token = candidate?.continuationToken;
  if (candidate?.finishReason !== "CONTINUATION" || !token) {
    break;
  }
}

console.log(parts.filter((p) => p.text && !p.thought).map((p) => p.text).join(""));
console.log("Finish reason:", candidate?.finishReason);

# Hop 1: send the request with max_output_tokens.
curl -s "https://generativelanguage.googleapis.com/v1beta/models/gemini-4-argon:generateContent" \
  -H "x-goog-api-key: $GEMINI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "contents": [{"role": "user", "parts": [{"text": "Write a complete, rigorous proof of the prime number theorem."}]}],
    "generationConfig": {
      "maxOutputTokens": 262144,
      "thinkingConfig": {"thinkingLevel": "high"}
    }
  }'

# Hop 2: if finishReason is CONTINUATION, send the same request plus the token.
curl -s "https://generativelanguage.googleapis.com/v1beta/models/gemini-4-argon:generateContent" \
  -H "x-goog-api-key: $GEMINI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "contents": [{"role": "user", "parts": [{"text": "Write a complete, rigorous proof of the prime number theorem."}]}],
    "generationConfig": {
      "maxOutputTokens": 262144,
      "thinkingConfig": {"thinkingLevel": "high"}
    },
    "continuationToken": "TOKEN_FROM_HOP_1"
  }'

Tamamen düşünmeye ayrılan bir adım, finishReason: "CONTINUATION" ile boş text döndürür. Bunu normal ilerleme olarak değerlendirin ve sonraki durak adresini isteyin:

{
  "candidates": [{
    "content": {"role": "model", "parts": [{"text": ""}]},
    "finishReason": "CONTINUATION",
    "continuationToken": "CiQ4ZmQ3..."
  }],
  "usageMetadata": {
    "promptTokenCount": 142,
    "candidatesTokenCount": 0,
    "thoughtsTokenCount": 32768,
    "totalTokenCount": 32910
  }
}

Yayın döngüleri için bir kural daha gerekiyor. İlk 32.768 jetondan sonra, akış her 5.000 jetonda bir kontrol noktası jetonu gönderir. Yeni parçaları bekleyenler listesinde tutun. Bir parçada continuation_token varsa bekleyen parçaları kesin çıkışınıza taşıyın ve jetonu kaydedin. Akış kesilirse bekleyen parçaları silin ve son jetondan devam edin. Akış ilk kontrol noktasından önce kesilirse orijinal isteği tekrar gönderin.

max_output_tokens ayarla

max_output_tokens, tüm adımlarda düşünme ve çıkış için birleşik sınırı belirler. Bu değeri düşürmek, modelin daha kısa ve öz düşünmesini sağlamaz. Bunun yerine, yanıtı daha erken keser.

Daha az jeton kullanmak için thinking_level değerini düşürün. En zorlu akıl yürütme görevleri için high kullanın. Çoğu kodlama ve temsilci çalışması için medium (varsayılan) kullanın. Daha az karmaşık görevler için low kullanın.

Uzun süren istekleri işleme

Gemini 4 Argon, zor problemler üzerinde Gemini 3.x modellerinden daha uzun süre düşündüğü için istemci zaman aşımı sürelerini artırmanız gerekir. Böylece uzun isteklerin bağlantısı erken kesilmez.

• Yayın içermeyen aramalar: Sunucu, 10 dakika sonra bağlantıyı kapatır.
• Yayın görüşmeleri: Sunucu, 20 dakika sonra yayını kapatır.
• İstemci zaman aşımları: HTTP okuma zaman aşımınızı 20 dakika olarak ayarlayın. 3 veya 5 dakikalık zaman aşımı, isteği erken durdurur.

Python'da istemcideki zaman aşımını milisaniye cinsinden ayarlayın:

client = genai.Client(http_options=types.HttpOptions(timeout=1_200_000))  # 20 minutes

İstemcinizin yokladığı işler için Interactions API, sunucuda uzun bir kod çözme işlemi gerçekleştirir. Arka planda yürütme bölümüne bakın.

Model tüm çıkış jetonlarını kullandığında devam etme

MAX_TOKENS ile biten bir yanıt, continuation_token içerir. İki seçeneğiniz vardır:

• Devam etme: Jeton ve daha yüksek bir max_output_tokens ile aynı isteği gönderin. Değer, şimdiye kadar kullanılan jeton sayısından fazla olmalıdır. Aksi takdirde API, 400 hatası döndürür.
• Yeniden başlatma: Orijinal isteği daha yüksek bir max_output_tokens ile ve jeton olmadan gönderin. Her iki çalıştırma için de ödeme yaparsınız.

Parça sayma

Otomatik devam ettirme özelliği etkinleştirildiğinde usage_metadata, tüm yönlendirmelerdeki toplamları bildirir. SDK, her sayı alanını toplar: prompt_token_count, cached_content_token_count, candidates_token_count, thoughts_token_count ve total_token_count.

prompt_token_count, her adımın giriş jetonlarını toplar. Her adımda isteminiz ve şimdiye kadar oluşturulan her şey giriş olarak modele geri gönderilir. Bu nedenle, aynı jetonlar sonraki her adımda tekrar sayılır. Örneğin, Google GenAI SDK ile 200.000 jetonluk düşünme ve çıkış üreten 1.000 jetonluk bir istem dört atlama gerektirir:

prompt_token_count yaklaşık 397.000 jeton (tekrarlanan atlama girişleri, örtük önbelleğe alma ile otomatik olarak% 95 indirimli) ve total_token_count yaklaşık 597.000 jeton bildirir. Ancak gerçek bağlam boyutu yalnızca yaklaşık 201.000 jetondur: 1.000 jetonluk istem ve 200.000 jetonluk düşünme ve çıktı. Akış tabanlı olmayan bir REST döngüsü 32 bin atlama kullanır. Bu nedenle, aynı çıkış için yedi atlama gerekir ve 695.128 giriş jetonu raporlanır.

prompt_token_count ve total_token_count, bağlamınızın boyutu değil, her bir atlamanın toplamıdır. Sohbet geçmişinizi ne zaman özetleyeceğinize veya kırpacağınıza (bağlam sıkıştırma) karar vermek ya da bağlam sınırı uygulamak için bu parametreleri kullanmayın. Bağlam boyutunu tahmin etmek için tablodaki istem boyutunuzu candidates_token_count ve thoughts_token_count değerlerine ekleyin.

Uzun kod çözme işlemini çalıştırmadan önce aracı çerçevenizi, değerlendirme aracınızı veya proxy'nizi güncelleyin:

• Aracılar ve değerlendirme araçları: Kodunuz bağlamı sıkıştırıyorsa veya bir çalıştırmayı jeton sınırında durduruyorsa özetlenmiş prompt_token_count yerine initial_prompt_token_count (veya REST'teki ilk atlamanın prompt_token_count) kullanın. Tek bir atlamada tamamlanan yanıtlar her iki alanda da aynı değeri bildirir. Bu nedenle, kısa testler sorunu göstermez.
• REST'i çağıran proxy'ler ve ağ geçitleri: Her REST yanıtı yalnızca kendi sekmesini raporlar. Maliyet için her bir atlamadaki alanları toplayın ve ilk atlamanın promptTokenCount değerini istem boyutu olarak kullanın. Aksi takdirde, kullanıcılarınız aynı istek için SDK kullanıcılarının gördüğünden farklı sayılar görür.
• Günlükler ve serileştirilmiş yanıtlar: SDK, istemcide initial_prompt_token_count değerini hesaplar. REST yanıtında veya SDK'nın JSON çıkışında (ör. model_dump()) yer almaz. Daha sonra ihtiyacınız olursa ayrı bir değer olarak kaydedin.

Kendi döngünüzde yayın yapıyorsanız usage_metadata her yayında kümülatiftir. Her akışın yalnızca son değerini saklayın, ardından değerleri atlamalar arasında ekleyin.

Faturalandırma hakkında

Yalnızca düşünme içerenler de dahil olmak üzere her adımda her jeton için ödeme yaparsınız.

• Önbellek indirimi: Örtülü önbelleğe alma, her adımda tekrarlanan girişi %95 oranında azaltır. Tanıtım döneminde önbelleğe alınan giriş için 2 ABD doları yerine 1 milyon jeton başına 0,10 ABD doları ödenir.
• Önbelleğin geçerlilik süresi: Önbelleğin geçerlilik süresi, kullanılmadığı takdirde 15-20 dakika sonra dolar. Hop'lar arasında uzun bir duraklama olursa giriş ücretinin tamamı tekrar alınır.
• Başarısız olan akış dışı atlamalar: Yalnızca yanıt tamamlandığında ödeme yaparsınız. Başarısız veya iptal edilen isteklerin ücreti 0 ABD dolarıdır.
• Düşen akışlar: 32.000 jetondan önce düşen bir akışın maliyeti 0 ABD dolarıdır. Ardından, devam edebileceğiniz için son kontrol noktası jetonuna kadar ödeme yaparsınız.

Sorun giderme

Sınırlamalar

• OpenAI uyumluluğu uç noktası: Uzun kod çözme kullanılamaz. Çıktı, istek başına sınıra ulaşıldığında durdurulur.
• Eski SDK'lar: Notta belirtilen minimum sürümlerin altındaki sürümler otomatik olarak devam etmez.
• Uzunluk: Model, jeton uzunluğu veya kelime sayısı hedeflerine uymuyor.

Yapılacaklar listesi

• Google GenAI SDK'sını minimum sürüme yükseltin.
• max_output_tokens değerini 65.536'dan büyük bir değere ayarlayın.
• thinking_budget yerine thinking_level (low, medium veya high) kullanın.
• HTTP okuma zaman aşımlarını 20 dakika olarak ayarlayın.
• Bağlam boyutu ve sıkıştırma için initial_prompt_token_count kullanın.
• Kapsamlı bir değerlendirmeden önce test olarak bir istem çalıştırın.

Sonraki adımlar

• Gemini 4 Argon'daki yenilikler
• Düşünme
• Jeton sayma