Öncelik çıkarımı

Gemini Priority API, daha düşük gecikme süresi ve en yüksek güvenilirliğin gerektiği, işletme açısından kritik iş yükleri için tasarlanmış premium bir çıkarım katmanıdır. Bu katman, premium fiyat noktasında sunulur. Öncelik katmanı trafiğine, standart API ve esnek katman trafiğine göre öncelik verilir.

Öncelikli çıkarım, GenerateContent API ve Interactions API uç noktalarında 2. ve 3. katman kullanıcıları tarafından kullanılabilir.

Önceliği kullanma

Öncelik katmanını kullanmak için istek gövdesindeki service_tier alanını priority olarak ayarlayın. Alan atlanırsa varsayılan katman standarttır.

from google import genai

client = genai.Client()

try:
    response = client.models.generate_content(
        model="gemini-3.8-flash",
        contents="Triage this critical customer support ticket immediately.",
        config={"service_tier": "priority"},
    )

    # Validate for graceful downgrade
    if response.sdk_http_response.headers.get("x-gemini-service-tier") == "standard":
        print("Warning: Priority limit exceeded, processed at Standard tier.")

    print(response.text)

except Exception as e:
    # Standard error handling (e.g., DEADLINE_EXCEEDED)
    print(f"Error during API call: {e}")

import {GoogleGenAI} from '@google/genai';

const ai = new GoogleGenAI({});

async function main() {
  try {
      const result = await ai.models.generateContent({
          model: "gemini-3.8-flash",
          contents: "Triage this critical customer support ticket immediately.",
          config: {serviceTier: "priority"},
      });

      // Validate for graceful downgrade
      if (result.sdkHttpResponse.headers.get("x-gemini-service-tier") === "standard") {
          console.log("Warning: Priority limit exceeded, processed at Standard tier.");
      }

      console.log(result.text);

  } catch (e) {
      console.log(`Error during API call: ${e}`);
  }
}

await main();

package main

import (
    "context"
    "fmt"
    "log"
    "google.golang.org/genai"
)

func main() {
    ctx := context.Background()
    client, err := genai.NewClient(ctx, nil)
    if err != nil {
        log.Fatal(err)
    }
    defer client.Close()

    resp, err := client.Models.GenerateContent(
        ctx,
        "gemini-3.8-flash",
        genai.Text("Triage this critical customer support ticket immediately."),
        &genai.GenerateContentConfig{
            ServiceTier: "priority",
        },
    )
    if err != nil {
        log.Fatalf("Error during API call: %v", err)
    }

    // Validate for graceful downgrade
    if resp.SDKHTTPResponse.Header.Get("x-gemini-service-tier") == "standard" {
        fmt.Println("Warning: Priority limit exceeded, processed at Standard tier.")
    }

    fmt.Println(resp.Text())
}

curl -X POST "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.8-flash:generateContent?key=$GEMINI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
  "contents": [{
    "parts":[{"text": "Analyze user sentiment in real time"}]
  }],
  "service_tier": "priority"
}'

Öncelik çıkarımının işleyiş şekli

Öncelikli çıkarım, istekleri yüksek öneme sahip işlem sıralarına yönlendirerek kullanıcılara yönelik uygulamalar için öngörülebilir ve hızlı performans sunar. Birincil mekanizması, dinamik sınırları aşan trafik için standart işlemeye sorunsuz bir sunucu tarafı geçişi sağlayarak isteğin başarısız olması yerine uygulama kararlılığını sağlar.

Temel avantajlar

• Düşük gecikme süresi: Kullanıcılara yönelik etkileşimli yapay zeka araçları için saniyeler içinde yanıt verecek şekilde tasarlanmıştır.
• Yüksek güvenilirlik: Trafik en yüksek kritiklik düzeyinde ele alınır ve kesinlikle kesintiye uğratılamaz.
• Kontrollü azalma: Dinamik sınırları aşan trafik artışları, başarısız olmak yerine işlenmek üzere otomatik olarak Standart katmana düşürülür ve hizmet kesintileri önlenir.
• Düşük sürtünme: Standart ve Flex katmanlarıyla aynı eşzamanlı generateContent yöntemini kullanır.

Kullanım alanları

Öncelikli işleme, performans ve güvenilirliğin çok önemli olduğu işletme açısından kritik iş akışları için idealdir.

• Etkileşimli yapay zeka uygulamaları: Kullanıcıların ücret ödediği ve hızlı, tutarlı yanıtlar beklediği müşteri hizmetleri sohbet botları ve yardımcı pilotlar.
• Gerçek zamanlı karar motorları: Canlı destek kaydı önceliklendirme veya sahtekarlık tespiti gibi son derece güvenilir ve düşük gecikmeli sonuçlar gerektiren sistemler.
• Premium müşteri özellikleri: Ödeme yapan müşteriler için daha yüksek hizmet düzeyi hedefleri (SLO'lar) garanti etmesi gereken geliştiriciler.

Hız sınırları

Öncelikli tüketim, genel etkileşimli trafik sıklık sınırlamalarına dahil edilse de kendi sıklık sınırlamalarına sahiptir. Öncelikli çıkarım için varsayılan sıklık sınırları, Model / Katman için standart sıklık sınırının 0,3 katıdır.

Güvenli sürüm düşürme mantığı

Yoğunluk nedeniyle öncelikli istek sınırları aşılırsa taşan istekler 503 veya 429 hatasıyla başarısız olmak yerine otomatik ve sorunsuz bir şekilde standart işleme düşürülür. Sürümü düşürülen istekler, öncelikli premium ücret üzerinden değil, standart ücret üzerinden faturalandırılır.

Müşterinin sorumluluğunda

• Yanıt izleme: Geliştiriciler, isteklerin sık sık standard sürümüne düşürülüp düşürülmediğini tespit etmek için API yanıtındaki x-gemini-service-tier başlığını izlemelidir.
• Yeniden denemeler: İstemciler, DEADLINE_EXCEEDED gibi standart hatalar için yeniden deneme mantığı/eksponansiyel geri yükleme uygulamalıdır.

Fiyatlandırma

Öncelikli çıkarım, standart API'den% 75-100 daha yüksek bir fiyata sahiptir ve jeton başına faturalandırılır.

Desteklenen modeller

Aşağıdaki modeller öncelikli çıkarımı destekler:

Sırada ne var?

Gemini'ın diğer çıkarım ve optimizasyon seçenekleri hakkında bilgi edinin:

• %50 maliyet tasarrufu için esnek çıkarım.
• 24 saat içinde eşzamansız işleme için Batch API.
• Giriş jetonu maliyetlerini azaltmak için bağlam önbelleğe alma.