Inferensi prioritas

Gemini Priority API adalah tingkat inferensi premium yang dirancang untuk workload penting bisnis yang memerlukan latensi lebih rendah dan keandalan tertinggi dengan harga premium. Traffic tingkat prioritas diprioritaskan di atas traffic API standar dan tingkat Flex.

Inferensi prioritas tersedia di seluruh endpoint Interactions API.

Cara menggunakan Prioritas

Untuk menggunakan tingkat Prioritas, tetapkan kolom service_tier dalam permintaan Anda ke priority. Tingkat default adalah standar jika kolom dihilangkan.

from google import genai

client = genai.Client()

interaction = client.interactions.create(
    model="gemini-3.8-flash",
    input="Triage this critical customer support ticket immediately.",
    service_tier='priority'
)
print(interaction.output_text)

import { GoogleGenAI } from '@google/genai';

const ai = new GoogleGenAI({});

async function main() {
    const interaction = await ai.interactions.create({
        model: "gemini-3.8-flash",
        input: "Triage this critical customer support ticket immediately.",
        service_tier: "priority"
    });
    console.log(interaction.output_text);
}

await main();

import com.google.genai.Client;
import com.google.genai.gaos.models.interactions.CreateModelInteraction;
import com.google.genai.gaos.models.interactions.Interaction;
import com.google.genai.gaos.models.interactions.InteractionsInput;
import com.google.genai.gaos.models.interactions.Model;
import com.google.genai.gaos.models.interactions.ServiceTier;
import com.google.genai.gaos.models.operations.CreateInteractionRequestBody;

Client client = new Client();

CreateModelInteraction params =
    CreateModelInteraction.builder()
        .model(Model.of("gemini-3.8-flash"))
        .input(InteractionsInput.of("Perform a priority inference task."))
        .serviceTier(ServiceTier.PRIORITY)
        .build();

Interaction interaction =
    client.interactions.create(CreateInteractionRequestBody.of(params)).interaction().get();

System.out.println(interaction.outputText().orElse(""));

package main

import (
    "context"
    "fmt"
    "log"

    "google.golang.org/genai"
    "google.golang.org/genai/interactions/models/interactions"
    "google.golang.org/genai/interactions/models/operations"
)

func main() {
    ctx := context.Background()
    client, err := genai.NewClient(ctx, nil)
    if err != nil {
        log.Fatal(err)
    }

    res, err := client.Interactions.Create(ctx, operations.CreateInteractionRequest{
        Body: operations.NewCreateInteractionRequestBody(interactions.CreateModelInteraction{
            Model:       interactions.Model("gemini-3.8-flash"),
            Input:       interactions.NewInteractionsInput("Perform a priority inference task."),
            ServiceTier: interactions.ServiceTierPriority.ToPointer(),
        }),
    })
    if err != nil {
        log.Fatal(err)
    }
    if res.Interaction.OutputText != nil {
        fmt.Println(*res.Interaction.OutputText)
    }
}

curl -X POST "https://generativelanguage.googleapis.com/v1beta/interactions" \
  -H "Content-Type: application/json" \
  -H "x-goog-api-key: $GEMINI_API_KEY" \
  -d '{
    "model": "gemini-3.8-flash",
    "input": "Triage this critical customer support ticket immediately.",
    "service_tier": "priority"
  }'

Cara kerja inferensi Prioritas

Inferensi prioritas merutekan permintaan ke antrean komputasi dengan tingkat kekritisan tinggi, yang menawarkan performa cepat dan dapat diprediksi untuk aplikasi yang ditampilkan kepada pengguna. Mekanisme utamanya adalah penurunan tingkat sisi server yang lancar ke pemrosesan standar untuk traffic yang melebihi batas dinamis, sehingga memastikan stabilitas aplikasi, bukan membuat permintaan gagal.

Manfaat utama

• Latensi rendah: Dirancang untuk waktu respons kedua untuk alat AI interaktif, yang ditampilkan kepada pengguna.
• Keandalan tinggi: Traffic diperlakukan dengan tingkat kekritisan tertinggi dan tidak dapat dihilangkan.
• Degradasi halus: Lonjakan traffic yang melebihi batas dinamis secara otomatis diturunkan tingkatnya ke tingkat Standar untuk diproses, bukan gagal, sehingga mencegah gangguan layanan.
• Gesekan rendah: Menggunakan metode sinkron create yang sama dengan tingkat standar dan Flex.

Kasus penggunaan

Pemrosesan prioritas ideal untuk alur kerja penting bisnis yang mengutamakan performa dan keandalan.

• Aplikasi AI interaktif: Chatbot dan kopilot layanan pelanggan yang pengguna membayar premium dan mengharapkan respons yang cepat dan konsisten.
• Mesin pengambilan keputusan real-time: Sistem yang memerlukan hasil yang sangat andal dan berlatensi rendah, seperti triase tiket langsung atau deteksi penipuan.
• Fitur pelanggan premium: Developer yang perlu menjamin tujuan tingkat layanan yang lebih tinggi untuk pelanggan yang membayar.

Batas kapasitas

Konsumsi prioritas memiliki batas kapasitasnya sendiri meskipun konsumsi dihitung terhadap batas kapasitas traffic interaktif secara keseluruhan. Batas kapasitas default untuk inferensi Prioritas adalah 0,3x batas kapasitas standar untuk Model / Tingkat

Logika penurunan tingkat yang lancar

Jika batas Prioritas terlampaui karena kemacetan, permintaan overflow akan otomatis dan lancar diturunkan tingkatnya ke pemrosesan Standar, bukan gagal dengan error 503 atau 429. Permintaan yang diturunkan tingkatnya akan ditagih dengan tarif standar, bukan tarif premium Prioritas.

Tanggung jawab klien

• Pemantauan respons: Developer harus memantau x-gemini-service-tier header dalam respons API untuk mendeteksi apakah permintaan sering diturunkan tingkatnya ke standard.
• Percobaan ulang: Klien harus menerapkan logika percobaan ulang/backoff eksponensial untuk error standar, seperti DEADLINE_EXCEEDED.

Harga

Inferensi prioritas dihargai 75-100% lebih mahal daripada API standar dan ditagih per token.

Model yang didukung

Model berikut mendukung inferensi Prioritas:

Langkah berikutnya

• Inferensi Flex untuk pengurangan biaya.
• Token: Memahami token.