Wnioskowanie o priorytecie

Gemini Priority API to poziom wnioskowania premium przeznaczony dla krytycznych zbiorów zadań biznesowych, które wymagają mniejszego opóźnienia i najwyższej niezawodności w wyższym pułapie cenowym. Ruch na poziomie Priority ma wyższy priorytet niż ruch na poziomie Standard API i Flex.

Wnioskowanie priorytetowe jest dostępne dla użytkowników poziomu 2 i 3 w punktach końcowych interfejsu API GenerateContent i interfejsu API Interactions.

Jak korzystać z priorytetu

Aby używać warstwy Priority, ustaw pole service_tier w treści żądania na priority. Jeśli to pole zostanie pominięte, domyślnym poziomem jest standardowy.

from google import genai

client = genai.Client()

try:
    response = client.models.generate_content(
        model="gemini-3.8-flash",
        contents="Triage this critical customer support ticket immediately.",
        config={"service_tier": "priority"},
    )

    # Validate for graceful downgrade
    if response.sdk_http_response.headers.get("x-gemini-service-tier") == "standard":
        print("Warning: Priority limit exceeded, processed at Standard tier.")

    print(response.text)

except Exception as e:
    # Standard error handling (e.g., DEADLINE_EXCEEDED)
    print(f"Error during API call: {e}")

import {GoogleGenAI} from '@google/genai';

const ai = new GoogleGenAI({});

async function main() {
  try {
      const result = await ai.models.generateContent({
          model: "gemini-3.8-flash",
          contents: "Triage this critical customer support ticket immediately.",
          config: {serviceTier: "priority"},
      });

      // Validate for graceful downgrade
      if (result.sdkHttpResponse.headers.get("x-gemini-service-tier") === "standard") {
          console.log("Warning: Priority limit exceeded, processed at Standard tier.");
      }

      console.log(result.text);

  } catch (e) {
      console.log(`Error during API call: ${e}`);
  }
}

await main();

package main

import (
    "context"
    "fmt"
    "log"
    "google.golang.org/genai"
)

func main() {
    ctx := context.Background()
    client, err := genai.NewClient(ctx, nil)
    if err != nil {
        log.Fatal(err)
    }
    defer client.Close()

    resp, err := client.Models.GenerateContent(
        ctx,
        "gemini-3.8-flash",
        genai.Text("Triage this critical customer support ticket immediately."),
        &genai.GenerateContentConfig{
            ServiceTier: "priority",
        },
    )
    if err != nil {
        log.Fatalf("Error during API call: %v", err)
    }

    // Validate for graceful downgrade
    if resp.SDKHTTPResponse.Header.Get("x-gemini-service-tier") == "standard" {
        fmt.Println("Warning: Priority limit exceeded, processed at Standard tier.")
    }

    fmt.Println(resp.Text())
}

curl -X POST "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.8-flash:generateContent?key=$GEMINI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
  "contents": [{
    "parts":[{"text": "Analyze user sentiment in real time"}]
  }],
  "service_tier": "priority"
}'

Jak działa wnioskowanie priorytetowe

Trasy wnioskowania o wysokim priorytecie kierują żądania do kolejek obliczeniowych o wysokim znaczeniu, zapewniając przewidywalną i szybką wydajność w przypadku aplikacji dostępnych dla użytkowników. Jego głównym mechanizmem jest płynne przejście po stronie serwera do standardowego przetwarzania w przypadku ruchu, który przekracza limity dynamiczne. Zapewnia to stabilność aplikacji zamiast odrzucania żądania.

Główne zalety

• Niskie opóźnienie: zaprojektowany z myślą o czasie reakcji wynoszącym 2 sekundy w przypadku interaktywnych narzędzi AI przeznaczonych dla użytkowników.
• Wysoka niezawodność: ruch jest traktowany jako najważniejszy i nie może być odrzucany.
• Łagodna degradacja: skoki ruchu przekraczające dynamiczne limity są automatycznie obniżane do poziomu Standard w celu przetworzenia zamiast powodować błędy, co zapobiega przerwom w działaniu usługi.
• Niskie tarcie: używa tej samej synchronicznej metody generateContent co w przypadku poziomów Standard i Flex.

Przypadki użycia

Przetwarzanie priorytetowe jest idealne w przypadku procesów o krytycznym znaczeniu dla firmy, w których wydajność i niezawodność mają kluczowe znaczenie.

• Interaktywne aplikacje AI: czatboty i kopiloty obsługi klienta, w przypadku których użytkownicy płacą wyższą cenę i oczekują szybkich, spójnych odpowiedzi.
• Silniki decyzyjne działające w czasie rzeczywistym: systemy wymagające bardzo wiarygodnych wyników o niskim opóźnieniu, takie jak systemy triage biletów na żywo lub wykrywania oszustw.
• Funkcje dla klientów premium: dla programistów, którzy muszą zagwarantować wyższe docelowe poziomy usług (SLO) dla płacących klientów.

Ograniczenia liczby żądań

Zużycie priorytetowe ma własne limity szybkości, mimo że jest wliczane do ogólnych limitów szybkości ruchu interaktywnego. Domyślne ograniczanie liczby żądań dla wnioskowania priorytetowego to 0,3x standardowego ograniczania liczby żądań dla modelu lub poziomu.

Logika płynnego przejścia na niższą wersję

Jeśli limity priorytetowe zostaną przekroczone z powodu przeciążenia, nadmiarowe żądania zostaną automatycznie i bezproblemowo obniżone do przetwarzania standardowego zamiast zwracać błąd 503 lub 429. Obniżone żądania są rozliczane według stawki standardowej, a nie stawki premium Priority.

Odpowiedzialność klienta

• Monitorowanie odpowiedzi: deweloperzy powinni monitorować x-gemini-service-tiernagłówek w odpowiedzi interfejsu API, aby wykrywać, czy żądania są często obniżane do poziomustandard.
• Ponawianie: w przypadku standardowych błędów, takich jak DEADLINE_EXCEEDED, klienci muszą zaimplementować logikę ponawiania lub wzrastający czas do ponownej próby.

Ceny

Wnioskowanie priorytetowe jest o 75–100% droższe niż standardowy interfejs API i rozliczane za token.

Obsługiwane modele

Priorytetowe wnioskowanie jest obsługiwane w tych modelach:

Co dalej?

Dowiedz się więcej o innych opcjach wnioskowania i optymalizacji Gemini:

• Wnioskowanie Flex, które pozwala obniżyć koszty o 50%.
• Batch API do przetwarzania asynchronicznego w ciągu 24 godzin.
• Pamięć podręczna kontekstu w celu zmniejszenia kosztów tokenów wejściowych.