Inferencia de prioridad

La API de Gemini Priority es un nivel de inferencia premium diseñado para cargas de trabajo esenciales para la empresa que requieren una latencia más baja y la mayor confiabilidad a un precio premium. El tráfico del nivel Priority tiene prioridad sobre el tráfico de la API estándar y el nivel Flexible.

La inferencia Priority está disponible en todos los endpoints de API de Interactions.

Cómo usar Priority

Para usar el nivel Priority, configura el campo service_tier en tu solicitud como priority. El nivel predeterminado es estándar si se omite el campo.

from google import genai

client = genai.Client()

interaction = client.interactions.create(
    model="gemini-3.8-flash",
    input="Triage this critical customer support ticket immediately.",
    service_tier='priority'
)
print(interaction.output_text)

import { GoogleGenAI } from '@google/genai';

const ai = new GoogleGenAI({});

async function main() {
    const interaction = await ai.interactions.create({
        model: "gemini-3.8-flash",
        input: "Triage this critical customer support ticket immediately.",
        service_tier: "priority"
    });
    console.log(interaction.output_text);
}

await main();

import com.google.genai.Client;
import com.google.genai.gaos.models.interactions.CreateModelInteraction;
import com.google.genai.gaos.models.interactions.Interaction;
import com.google.genai.gaos.models.interactions.InteractionsInput;
import com.google.genai.gaos.models.interactions.Model;
import com.google.genai.gaos.models.interactions.ServiceTier;
import com.google.genai.gaos.models.operations.CreateInteractionRequestBody;

Client client = new Client();

CreateModelInteraction params =
    CreateModelInteraction.builder()
        .model(Model.of("gemini-3.8-flash"))
        .input(InteractionsInput.of("Perform a priority inference task."))
        .serviceTier(ServiceTier.PRIORITY)
        .build();

Interaction interaction =
    client.interactions.create(CreateInteractionRequestBody.of(params)).interaction().get();

System.out.println(interaction.outputText().orElse(""));

package main

import (
    "context"
    "fmt"
    "log"

    "google.golang.org/genai"
    "google.golang.org/genai/interactions/models/interactions"
    "google.golang.org/genai/interactions/models/operations"
)

func main() {
    ctx := context.Background()
    client, err := genai.NewClient(ctx, nil)
    if err != nil {
        log.Fatal(err)
    }

    res, err := client.Interactions.Create(ctx, operations.CreateInteractionRequest{
        Body: operations.NewCreateInteractionRequestBody(interactions.CreateModelInteraction{
            Model:       interactions.Model("gemini-3.8-flash"),
            Input:       interactions.NewInteractionsInput("Perform a priority inference task."),
            ServiceTier: interactions.ServiceTierPriority.ToPointer(),
        }),
    })
    if err != nil {
        log.Fatal(err)
    }
    if res.Interaction.OutputText != nil {
        fmt.Println(*res.Interaction.OutputText)
    }
}

curl -X POST "https://generativelanguage.googleapis.com/v1beta/interactions" \
  -H "Content-Type: application/json" \
  -H "x-goog-api-key: $GEMINI_API_KEY" \
  -d '{
    "model": "gemini-3.8-flash",
    "input": "Triage this critical customer support ticket immediately.",
    "service_tier": "priority"
  }'

Cómo funciona la inferencia Priority

La inferencia Priority enruta las solicitudes a colas de procesamiento de alta criticidad, lo que ofrece un rendimiento predecible y rápido para las aplicaciones para el usuario. Su mecanismo principal es una degradación elegante del servidor al procesamiento estándar para el tráfico que excede los límites dinámicos, lo que garantiza la estabilidad de la aplicación en lugar de fallar la solicitud.

Ventajas clave

• Latencia baja: Diseñado para tiempos de respuesta de segundos para herramientas de IA interactivas, orientadas al usuario.
• Alta confiabilidad: El tráfico se trata con la mayor criticidad y es estrictamente no descartable.
• Degradación elegante: Los aumentos repentinos de tráfico que exceden los límites dinámicos se degradan automáticamente al nivel Estándar para el procesamiento en lugar de fallar, lo que evita interrupciones del servicio.
• Baja fricción: Usa el mismo método síncrono create que los niveles Estándar y Flexible.

Casos de uso

El procesamiento Priority es ideal para flujos de trabajo esenciales para la empresa en los que el rendimiento y la confiabilidad son fundamentales.

• Aplicaciones de IA interactivas: Chatbots y copilotos de atención al cliente en los que los usuarios pagan un precio premium y esperan respuestas rápidas y coherentes.
• Motores de decisión en tiempo real: Sistemas que requieren resultados altamente confiables y de baja latencia como la clasificación de tickets en vivo o la detección de fraude.
• Funciones premium para clientes: Desarrolladores que necesitan garantizar objetivos de nivel de servicio (SLOs) más altos para los clientes que pagan.

Límites de frecuencia

El consumo de Priority tiene sus propios límites de frecuencia, aunque el consumo se cuenta para los límites de frecuencia generales del tráfico interactivo. Los límites de frecuencia predeterminados para la inferencia Priority son 0.3 veces el límite de frecuencia estándar para el modelo o el nivel.

Lógica de degradación elegante

Si se exceden los límites de Priority debido a la congestión, las solicitudes de desbordamiento se degradan automática y elegantemente al procesamiento Estándar en lugar de fallar con un error 503 o 429. Las solicitudes degradadas se facturan según la tarifa estándar, no la tarifa premium de Priority.

Responsabilidad del cliente

• Supervisión de respuestas: Los desarrolladores deben supervisar el x-gemini-service-tier encabezado en la respuesta de la API para detectar si las solicitudes se degradan con frecuencia a standard.
• Reintentos: Los clientes deben implementar la lógica de reintento o la retirada exponencial para los errores estándar, como DEADLINE_EXCEEDED.

Precios

La inferencia Priority tiene un precio entre un 75% y un 100% más que la API estándar y se factura por token.

Modelos compatibles

Los siguientes modelos admiten la inferencia Priority:

¿Qué sigue?

• Inferencia Flexible para reducir costos
• Tokens: Comprende los tokens