Wnioskowanie o priorytecie

Interfejs Gemini Priority API to poziom wnioskowania premium przeznaczony dla krytycznych zbiorów zadań biznesowych, które wymagają mniejszego opóźnienia i najwyższej niezawodności w wyższym pułapie cenowym. Ruch w ramach warstwy Priority ma wyższy priorytet niż ruch w ramach standardowego interfejsu API i warstwy Flex.

Wnioskowanie priorytetowe jest dostępne we wszystkich punktach końcowych interfejsu Interactions API.

Jak korzystać z priorytetu

Aby używać poziomu priorytetu, ustaw w żądaniu pole service_tier na priority. Jeśli to pole zostanie pominięte, domyślnym poziomem będzie standardowy.

from google import genai

client = genai.Client()

try:
    interaction = client.interactions.create(
        model="gemini-3-flash-preview",
        input="Triage this critical customer support ticket immediately.",
        service_tier='priority'
    )

    # Validate for graceful downgrade
    # Note: Checking headers might vary by SDK implementation, this is illustrative
    # if interaction.sdk_http_response.headers.get("x-gemini-service-tier") == "standard":
    #     print("Warning: Priority limit exceeded, processed at Standard tier.")

    print(interaction.steps[-1].content[0].text)

except Exception as e:
    print(f"Error during API call: {e}")

import { GoogleGenAI } from '@google/genai';

const ai = new GoogleGenAI({});

async function main() {
  try {
      const interaction = await ai.interactions.create({
          model: "gemini-3-flash-preview",
          input: "Triage this critical customer support ticket immediately.",
          serviceTier: "priority"
      });

      // Validate for graceful downgrade
      // if (interaction.sdkHttpResponse.headers.get("x-gemini-service-tier") === "standard") {
      //     console.log("Warning: Priority limit exceeded, processed at Standard tier.");
      // }

      console.log(interaction.steps.at(-1).content[0].text);

  } catch (e) {
      console.log(`Error during API call: ${e}`);
  }
}

await main();

curl -X POST "https://generativelanguage.googleapis.com/v1beta/interactions" \
  -H "Content-Type: application/json" \
  -H "x-goog-api-key: $GEMINI_API_KEY" \
  -d '{
    "model": "gemini-3-flash-preview",
    "input": "Triage this critical customer support ticket immediately.",
    "service_tier": "priority"
  }'

Jak działa wnioskowanie priorytetowe

Routowanie wnioskowania priorytetowego kieruje żądania do kolejek obliczeniowych o wysokim znaczeniu, zapewniając przewidywalną i szybką wydajność w przypadku aplikacji dostępnych dla użytkowników. Jego głównym mechanizmem jest płynne przejście po stronie serwera do standardowego przetwarzania w przypadku ruchu, który przekracza dynamiczne limity, co zapewnia stabilność aplikacji zamiast odrzucania żądania.

Główne zalety

• Niskie opóźnienie: zaprojektowany z myślą o czasie reakcji wynoszącym kilka sekund w przypadku interaktywnych narzędzi AI przeznaczonych dla użytkowników.
• Wysoka niezawodność: ruch jest traktowany jako najważniejszy i nie może być odrzucany.
• Łagodna degradacja: skoki ruchu przekraczające dynamiczne limity są automatycznie obniżane do poziomu Standard w celu przetworzenia zamiast powodować błędy, co zapobiega przerwom w działaniu usługi.
• Niskie tarcie: korzysta z tej samej synchronicznej metody create co w przypadku poziomów standardowego i Flex.

Przypadki użycia

Przetwarzanie priorytetowe jest idealne w przypadku procesów o kluczowym znaczeniu dla firmy, w których wydajność i niezawodność mają największe znaczenie.

• Interaktywne aplikacje AI: czatboty i kopiloty obsługi klienta, w przypadku których użytkownicy płacą wyższą cenę i oczekują szybkich, spójnych odpowiedzi.
• Silniki decyzyjne działające w czasie rzeczywistym: systemy wymagające bardzo wiarygodnych wyników o niskim poziomie opóźnień, takie jak systemy triage zgłoszeń lub wykrywania oszustw.
• Funkcje dla klientów premium: deweloperzy, którzy muszą zagwarantować wyższe docelowe poziomy usług (SLO) dla klientów płacących.

Ograniczenia liczby żądań

Zużycie priorytetowe ma własne limity szybkości, mimo że jest wliczane do ogólnych limitów szybkości ruchu interaktywnego. Domyślne limity szybkości dla wnioskowania priorytetowego to 0,3x standardowego limitu szybkości dla modelu lub poziomu.

Logika przejścia na niższą wersję

Jeśli limity priorytetowe zostaną przekroczone z powodu przeciążenia, nadmiarowe żądania zostaną automatycznie i bezproblemowo obniżone do przetwarzania standardowego zamiast zwracać błąd 503 lub 429. Obniżone żądania są rozliczane według stawki standardowej, a nie według stawki premium Priority.

Odpowiedzialność klienta

• Monitorowanie odpowiedzi: deweloperzy powinni monitorować x-gemini-service-tiernagłówek w odpowiedzi interfejsu API, aby wykrywać, czy żądania są często obniżane do poziomustandard.
• Ponowne próby: klienci muszą wdrożyć logikę ponawiania prób lub wzrastający czas do ponowienia w przypadku standardowych błędów, takich jak DEADLINE_EXCEEDED.

Ceny

Wnioskowanie priorytetowe jest o 75–100% droższe niż standardowy interfejs API i jest rozliczane za token.

Obsługiwane modele

Priorytetowe wnioskowanie jest obsługiwane w tych modelach:

Co dalej?

• Elastyczne wnioskowanie w celu obniżenia kosztów.
• Tokeny: dowiedz się więcej o tokenach.