Öncelik çıkarımı

Gemini Priority API, daha düşük gecikme süresi ve en yüksek güvenilirliğin gerektiği, işletme açısından kritik iş yükleri için tasarlanmış premium bir çıkarım katmanıdır. Bu katman, premium fiyat noktasında sunulur. Öncelik katmanı trafiğine, standart API ve esnek katman trafiğine göre öncelik verilir.

Öncelikli çıkarım, Interactions API uç noktalarında kullanılabilir.

Önceliği kullanma

Öncelikli katmanı kullanmak için isteğinizdeki service_tier alanını priority olarak ayarlayın. Alan atlanırsa varsayılan katman standarttır.

from google import genai

client = genai.Client()

interaction = client.interactions.create(
    model="gemini-3.8-flash",
    input="Triage this critical customer support ticket immediately.",
    service_tier='priority'
)
print(interaction.output_text)

import { GoogleGenAI } from '@google/genai';

const ai = new GoogleGenAI({});

async function main() {
    const interaction = await ai.interactions.create({
        model: "gemini-3.8-flash",
        input: "Triage this critical customer support ticket immediately.",
        service_tier: "priority"
    });
    console.log(interaction.output_text);
}

await main();

import com.google.genai.Client;
import com.google.genai.gaos.models.interactions.CreateModelInteraction;
import com.google.genai.gaos.models.interactions.Interaction;
import com.google.genai.gaos.models.interactions.InteractionsInput;
import com.google.genai.gaos.models.interactions.Model;
import com.google.genai.gaos.models.interactions.ServiceTier;
import com.google.genai.gaos.models.operations.CreateInteractionRequestBody;

Client client = new Client();

CreateModelInteraction params =
    CreateModelInteraction.builder()
        .model(Model.of("gemini-3.8-flash"))
        .input(InteractionsInput.of("Perform a priority inference task."))
        .serviceTier(ServiceTier.PRIORITY)
        .build();

Interaction interaction =
    client.interactions.create(CreateInteractionRequestBody.of(params)).interaction().get();

System.out.println(interaction.outputText().orElse(""));

package main

import (
    "context"
    "fmt"
    "log"

    "google.golang.org/genai"
    "google.golang.org/genai/interactions/models/interactions"
    "google.golang.org/genai/interactions/models/operations"
)

func main() {
    ctx := context.Background()
    client, err := genai.NewClient(ctx, nil)
    if err != nil {
        log.Fatal(err)
    }

    res, err := client.Interactions.Create(ctx, operations.CreateInteractionRequest{
        Body: operations.NewCreateInteractionRequestBody(interactions.CreateModelInteraction{
            Model:       interactions.Model("gemini-3.8-flash"),
            Input:       interactions.NewInteractionsInput("Perform a priority inference task."),
            ServiceTier: interactions.ServiceTierPriority.ToPointer(),
        }),
    })
    if err != nil {
        log.Fatal(err)
    }
    if res.Interaction.OutputText != nil {
        fmt.Println(*res.Interaction.OutputText)
    }
}

curl -X POST "https://generativelanguage.googleapis.com/v1beta/interactions" \
  -H "Content-Type: application/json" \
  -H "x-goog-api-key: $GEMINI_API_KEY" \
  -d '{
    "model": "gemini-3.8-flash",
    "input": "Triage this critical customer support ticket immediately.",
    "service_tier": "priority"
  }'

Öncelikli çıkarımın işleyiş şekli

Öncelikli çıkarım, istekleri yüksek önem dereceli bilgi işlem kuyruklarına yönlendirerek kullanıcıya yönelik uygulamalar için öngörülebilir ve hızlı performans sunar. Bu özelliğin temel mekanizması, dinamik sınırları aşan trafik için sunucu tarafında standart işleme sorunsuz bir şekilde geçiş yapmaktır. Böylece istek başarısız olmak yerine uygulama kararlılığı sağlanır.

Temel avantajlar

• Düşük gecikme: Kullanıcıya yönelik etkileşimli yapay zeka araçlarında saniyelik yanıt süreleri için tasarlanmıştır.
• Yüksek güvenilirlik: Trafik en yüksek öncelik seviyesinde ele alınır ve kesinlikle bırakılmaz.
• Kontrollü azalma: Dinamik sınırları aşan trafik artışları, başarısız olmak yerine işlenmek üzere otomatik olarak Standart katmana düşürülür. Bu sayede hizmet kesintileri önlenir.
• Kolaylık: Standart ve Flex katmanlarıyla aynı senkronize create yöntemini kullanır.

Kullanım alanları

Öncelikli işleme, performans ve güvenilirliğin en önemli olduğu, işletme açısından kritik iş akışları için idealdir.

• Etkileşimli yapay zeka uygulamaları: Kullanıcıların premium ödeme yaptığı ve hızlı, tutarlı yanıtlar beklediği müşteri hizmetleri chatbot'ları ve yardımcı pilotlar.
• Anlık karar motorları: Canlı bilet önceliklendirme veya sahtekarlık tespiti gibi yüksek güvenilirlik ve düşük gecikme süresi gerektiren sistemler.
• Premium müşteri özellikleri: Ödeme yapan müşteriler için daha yüksek hizmet düzeyi hedefleri (SLO'lar) garanti etmesi gereken geliştiriciler.

Hız sınırları

Öncelikli tüketim, genel etkileşimli trafik sıklık sınırlamalarına dahil edilse de kendi sıklık sınırlamalarına sahiptir. Öncelikli çıkarım için varsayılan sıklık sınırlamaları Model / Katman için standart sıklık sınırlamasının 0,3 katıdır.

Güvenli sürüm düşürme mantığı

Yoğunluk nedeniyle öncelik sınırları aşılırsa taşma istekleri 503 veya 429 hatasıyla başarısız olmak yerine otomatik olarak ve sorunsuz bir şekilde standart işleme düşürülür. Düşürülen istekler, öncelikli premium ücretiyle değil, standart ücretle faturalandırılır.

Müşterinin sorumluluğu

• Yanıt izleme: Geliştiriciler, isteklerin sıklıkla x-gemini-service-tier düzeyine düşürülüp düşürülmediğini tespit etmek için API yanıtındaki standard başlığını izlemelidir.
• Yeniden denemeler: İstemciler, DEADLINE_EXCEEDED gibi standart hatalar için yeniden deneme mantığı/eksponansiyel geri yükleme uygulamalıdır.

Fiyatlandırma

Öncelikli çıkarım, standart API'den% 75-100 daha yüksek bir fiyata sahiptir ve jeton başına faturalandırılır.

Desteklenen modeller

Aşağıdaki modellerde öncelikli çıkarım desteklenir:

Sırada ne var?

• Maliyet azaltımı için esnek çıkarım.
• Jetonlar: Jetonları anlayın.