Öncelik çıkarımı

Gemini Priority API, daha düşük gecikme süresi ve en yüksek güvenilirliğin gerektiği, işletme açısından kritik iş yükleri için tasarlanmış premium bir çıkarım katmanıdır. Bu katman, premium fiyat noktasında sunulur. Öncelik katmanı trafiğine, standart API ve esnek katman trafiğine göre öncelik verilir.

Öncelikli çıkarım, Interactions API uç noktalarında kullanılabilir.

Önceliği kullanma

Öncelikli katmanı kullanmak için isteğinizdeki service_tier alanını priority olarak ayarlayın. Alan atlanırsa varsayılan katman standarttır.

from google import genai

client = genai.Client()

interaction = client.interactions.create(
    model="gemini-3.8-flash",
    input="Triage this critical customer support ticket immediately.",
    service_tier='priority'
)
print(interaction.output_text)

import { GoogleGenAI } from '@google/genai';

const ai = new GoogleGenAI({});

async function main() {
    const interaction = await ai.interactions.create({
        model: "gemini-3.8-flash",
        input: "Triage this critical customer support ticket immediately.",
        service_tier: "priority"
    });
    console.log(interaction.output_text);
}

await main();

import com.google.genai.Client;
import com.google.genai.gaos.models.interactions.CreateModelInteraction;
import com.google.genai.gaos.models.interactions.Interaction;
import com.google.genai.gaos.models.interactions.InteractionsInput;
import com.google.genai.gaos.models.interactions.Model;
import com.google.genai.gaos.models.interactions.ServiceTier;
import com.google.genai.gaos.models.operations.CreateInteractionRequestBody;

Client client = new Client();

CreateModelInteraction params =
    CreateModelInteraction.builder()
        .model(Model.of("gemini-3.8-flash"))
        .input(InteractionsInput.of("Perform a priority inference task."))
        .serviceTier(ServiceTier.PRIORITY)
        .build();

Interaction interaction =
    client.interactions.create(CreateInteractionRequestBody.of(params)).interaction().get();

System.out.println(interaction.outputText().orElse(""));

package main

import (
    "context"
    "fmt"
    "log"

    "google.golang.org/genai"
    "google.golang.org/genai/interactions/models/interactions"
    "google.golang.org/genai/interactions/models/operations"
)

func main() {
    ctx := context.Background()
    client, err := genai.NewClient(ctx, nil)
    if err != nil {
        log.Fatal(err)
    }

    res, err := client.Interactions.Create(ctx, operations.CreateInteractionRequest{
        Body: operations.NewCreateInteractionRequestBody(interactions.CreateModelInteraction{
            Model:       interactions.Model("gemini-3.8-flash"),
            Input:       interactions.NewInteractionsInput("Perform a priority inference task."),
            ServiceTier: interactions.ServiceTierPriority.ToPointer(),
        }),
    })
    if err != nil {
        log.Fatal(err)
    }
    if res.Interaction.OutputText != nil {
        fmt.Println(*res.Interaction.OutputText)
    }
}

curl -X POST "https://generativelanguage.googleapis.com/v1beta/interactions" \
  -H "Content-Type: application/json" \
  -H "x-goog-api-key: $GEMINI_API_KEY" \
  -d '{
    "model": "gemini-3.8-flash",
    "input": "Triage this critical customer support ticket immediately.",
    "service_tier": "priority"
  }'

Öncelikli çıkarımın işleyiş şekli

Öncelikli çıkarım, istekleri yüksek önem dereceli bilgi işlem kuyruklarına yönlendirerek kullanıcıya yönelik uygulamalar için tahmin edilebilir ve hızlı performans sunar. Bu özelliğin temel mekanizması, dinamik sınırları aşan trafik için sunucu tarafında standart işleme sorunsuz bir şekilde geçiş yapmaktır. Bu sayede, istek başarısız olmak yerine uygulama kararlılığı sağlanır.

Temel avantajlar

• Düşük gecikme: Kullanıcıya yönelik etkileşimli yapay zeka araçlarında saniyelik yanıt süreleri için tasarlanmıştır.
• Yüksek güvenilirlik: Trafik en yüksek öncelik seviyesinde ele alınır ve kesinlikle bırakılmaz.
• Kontrollü azalma: Dinamik sınırları aşan trafik artışları, başarısız olmak yerine işlenmek üzere otomatik olarak Standart katmanına düşürülür. Böylece hizmet kesintileri önlenir.
• Kolaylık: Standart ve Flex katmanlarıyla aynı senkronize create yöntemini kullanır.

Kullanım alanları

Öncelikli işleme, performans ve güvenilirliğin en önemli olduğu, işletme açısından kritik iş akışları için idealdir.

• Etkileşimli yapay zeka uygulamaları: Kullanıcıların premium ödeme yaptığı ve hızlı, tutarlı yanıtlar beklediği müşteri hizmetleri chatbot'ları ve yardımcı pilotlar.
• Anlık karar motorları: Canlı bilet önceliklendirme veya sahtekarlık tespiti gibi yüksek güvenilirlik ve düşük gecikme süresi gerektiren sistemler.
• Premium müşteri özellikleri: Ücretli müşteriler için daha yüksek hizmet düzeyi hedefleri (SLO'lar) garanti etmesi gereken geliştiriciler.

Hız sınırları

Öncelikli tüketim, genel etkileşimli trafik hızı sınırlarına dahil edilse de kendi hız sınırlarına sahiptir. Öncelikli çıkarım için varsayılan hız sınırları Model / Katman için standart hız sınırının 0,3 katıdır.

Kontrollü sürüm düşürme mantığı

Yoğunluk nedeniyle öncelikli sınırları aşan istekler, 503 veya 429 hatasıyla başarısız olmak yerine otomatik olarak ve sorunsuz bir şekilde standart işleme düşürülür. Düşürülen istekler, öncelikli premium oran üzerinden değil, standart oran üzerinden faturalandırılır.

Müşterinin sorumluluğu

• Yanıt izleme: Geliştiriciler, isteklerin sıklıkla x-gemini-service-tier düşürülüp düşürülmediğini tespit etmek için API yanıtındaki standard başlığını izlemelidir.
• Yeniden denemeler: İstemciler, DEADLINE_EXCEEDED gibi standart hatalar için yeniden deneme mantığı/eksponansiyel geri yükleme uygulamalıdır.

Fiyatlandırma

Öncelikli çıkarım, standart API'den% 75-100 daha yüksek bir fiyatla sunulur ve jeton başına faturalandırılır.

Desteklenen modeller

Aşağıdaki modellerde öncelikli çıkarım desteklenir:

Sırada ne var?

• Maliyet azaltımı için esnek çıkarım.
• Jetonlar: Jetonları anlayın.