Wnioskowanie o priorytecie

Gemini Priority API to warstwa wnioskowania Premium przeznaczona do zbiorów zadań o kluczowym znaczeniu dla firmy, które wymagają krótszego czasu oczekiwania i najwyższej niezawodności w cenie premium. Ruch w warstwie Priority ma wyższy priorytet niż ruch w standardowym interfejsie API i warstwie Flex.

Wnioskowanie Priority jest dostępne dla użytkowników warstwy 2 i 3 w punktach końcowych GenerateContent API i Interactions API.

Jak korzystać z warstwy Priority

Aby korzystać z warstwy Priority, ustaw w treści żądania pole service_tier na priority. Jeśli to pole zostanie pominięte, domyślną warstwą będzie Standard.

from google import genai

client = genai.Client()

try:
    response = client.models.generate_content(
        model="gemini-3.6-flash",
        contents="Triage this critical customer support ticket immediately.",
        config={"service_tier": "priority"},
    )

    # Validate for graceful downgrade
    if response.sdk_http_response.headers.get("x-gemini-service-tier") == "standard":
        print("Warning: Priority limit exceeded, processed at Standard tier.")

    print(response.text)

except Exception as e:
    # Standard error handling (e.g., DEADLINE_EXCEEDED)
    print(f"Error during API call: {e}")

import {GoogleGenAI} from '@google/genai';

const ai = new GoogleGenAI({});

async function main() {
  try {
      const result = await ai.models.generateContent({
          model: "gemini-3.6-flash",
          contents: "Triage this critical customer support ticket immediately.",
          config: {serviceTier: "priority"},
      });

      // Validate for graceful downgrade
      if (result.sdkHttpResponse.headers.get("x-gemini-service-tier") === "standard") {
          console.log("Warning: Priority limit exceeded, processed at Standard tier.");
      }

      console.log(result.text);

  } catch (e) {
      console.log(`Error during API call: ${e}`);
  }
}

await main();

package main

import (
    "context"
    "fmt"
    "log"
    "google.golang.org/genai"
)

func main() {
    ctx := context.Background()
    client, err := genai.NewClient(ctx, nil)
    if err != nil {
        log.Fatal(err)
    }
    defer client.Close()

    resp, err := client.Models.GenerateContent(
        ctx,
        "gemini-3.6-flash",
        genai.Text("Triage this critical customer support ticket immediately."),
        &genai.GenerateContentConfig{
            ServiceTier: "priority",
        },
    )
    if err != nil {
        log.Fatalf("Error during API call: %v", err)
    }

    // Validate for graceful downgrade
    if resp.SDKHTTPResponse.Header.Get("x-gemini-service-tier") == "standard" {
        fmt.Println("Warning: Priority limit exceeded, processed at Standard tier.")
    }

    fmt.Println(resp.Text())
}

curl -X POST "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.6-flash:generateContent?key=$GEMINI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
  "contents": [{
    "parts":[{"text": "Analyze user sentiment in real time"}]
  }],
  "service_tier": "priority"
}'

Jak działa wnioskowanie Priority

Wnioskowanie Priority kieruje żądania do kolejek obliczeniowych o wysokim znaczeniu, zapewniając przewidywalną i szybką wydajność aplikacji dostępnych dla użytkowników. Jego głównym mechanizmem jest łagodna degradacja po stronie serwera do standardowego przetwarzania w przypadku ruchu, który przekracza limity dynamiczne. Dzięki temu aplikacja zachowuje stabilność, a żądanie nie jest odrzucane.

Główne korzyści

• Krótki czas oczekiwania: zaprojektowany z myślą o czasie odpowiedzi w sekundach w przypadku interaktywnych, narzędzi AI dostępnych dla użytkowników.
• Wysoka niezawodność: ruch jest traktowany z najwyższym priorytetem i jest ściśle nieobniżalny.
• Łagodna degradacja: w przypadku nagłego wzrostu ruchu przekraczającego limity dynamiczne następuje automatyczne obniżenie do warstwy Standard, co zapobiega przerwom w działaniu usługi.
• Niewielkie utrudnienia: używa tej samej synchronicznej generateContent metody co warstwy Standard i Flex.

Przypadki użycia

Przetwarzanie Priority jest idealne w przypadku zbiorów zadań o kluczowym znaczeniu dla firmy, w których najważniejsza jest wydajność i niezawodność.

• Interaktywne aplikacje AI: chatboty i asystenci obsługi klienta, w przypadku których użytkownicy płacą więcej i oczekują szybkich, spójnych odpowiedzi.
• Silniki podejmowania decyzji w czasie rzeczywistym: systemy wymagające bardzo niezawodnych wyników o niskim czasie oczekiwania , takich jak triage zgłoszeń na żywo czy wykrywanie oszustw.
• Funkcje premium dla klientów: deweloperzy, którzy muszą zagwarantować wyższe cele poziomu usług (SLO) dla płacących klientów.

Ograniczenia liczby żądań

Zużycie w warstwie Priority ma własne limity liczby żądań, mimo że jest wliczane do ogólnych limitów liczby żądań dotyczących ruchu interaktywnego. Domyślne limity liczby żądań w przypadku wnioskowania Priority to 0,3-krotność standardowego limitu liczby żądań dla modelu / warstwy.

Logika łagodnego obniżania warstwy

Jeśli limity warstwy Priority zostaną przekroczone z powodu przeciążenia, żądania przekraczające limit zostaną automatycznie i łagodnie obniżone do standardowego przetwarzania zamiast odrzucenia z błędem 503 lub 429. Żądania obniżone do warstwy Standard są rozliczane według stawki standardowej, a nie stawki premium Priority.

Odpowiedzialność klienta

• Monitorowanie odpowiedzi: deweloperzy powinni monitorować x-gemini-service-tier nagłówek w odpowiedzi interfejsu API, aby wykryć, czy żądania są często obniżane do warstwy standard.
• Ponawianie prób: klienci muszą zaimplementować logikę ponawiania prób/wzrastający czas do ponowienia w przypadku standardowych błędów, takich jak DEADLINE_EXCEEDED.

Ceny

Wnioskowanie Priority jest o 75–100% droższe niż standardowy interfejs API i rozliczane za token.

Obsługiwane modele

Wnioskowanie Priority jest obsługiwane przez te modele:

Co dalej?

Przeczytaj o innych opcjach wnioskowania i optymalizacji Gemini:

• Wnioskowanie Flex, które pozwala obniżyć koszty o 50%.
• Batch API do przetwarzania asynchronicznego w ciągu 24 godzin.
• Buforowanie kontekstu, które pozwala obniżyć koszty tokenów wejściowych.