הסקת עדיפות

תיאור: איך לבצע אופטימיזציה של זמן האחזור באמצעות רמת ההסקה Priority ב-Interactions API

‫Gemini Priority API הוא מסלול פרימיום להסקת מסקנות שנועד לעומסי עבודה קריטיים לעסק שדורשים זמן אחזור נמוך ואמינות גבוהה ביותר, במחיר פרימיום. תעבורת נתונים ברמת עדיפות גבוהה מקבלת עדיפות על פני תעבורת נתונים של API רגיל ושל רמת Flex.

הסקת מסקנות לפי עדיפות זמינה בכל נקודות הקצה של Interactions API.

איך משתמשים בעדיפות

כדי להשתמש ברמת העדיפות Priority, צריך להגדיר את השדה service_tier בבקשה לערך priority. אם לא מציינים את המסלול בשדה, ברירת המחדל היא המסלול הרגיל.

Python

from google import genai

client = genai.Client()

interaction = client.interactions.create(
    model="gemini-3.8-flash",
    input="Triage this critical customer support ticket immediately.",
    service_tier='priority'
)
print(interaction.output_text)

JavaScript

import { GoogleGenAI } from '@google/genai';

const ai = new GoogleGenAI({});

async function main() {
    const interaction = await ai.interactions.create({
        model: "gemini-3.8-flash",
        input: "Triage this critical customer support ticket immediately.",
        service_tier: "priority"
    });
    console.log(interaction.output_text);
}

await main();

Java

import com.google.genai.Client;
import com.google.genai.gaos.models.interactions.CreateModelInteraction;
import com.google.genai.gaos.models.interactions.Interaction;
import com.google.genai.gaos.models.interactions.InteractionsInput;
import com.google.genai.gaos.models.interactions.Model;
import com.google.genai.gaos.models.interactions.ServiceTier;
import com.google.genai.gaos.models.operations.CreateInteractionRequestBody;

Client client = new Client();

CreateModelInteraction params =
    CreateModelInteraction.builder()
        .model(Model.of("gemini-3.8-flash"))
        .input(InteractionsInput.of("Perform a priority inference task."))
        .serviceTier(ServiceTier.PRIORITY)
        .build();

Interaction interaction =
    client.interactions.create(CreateInteractionRequestBody.of(params)).interaction().get();

System.out.println(interaction.outputText().orElse(""));

Go

package main

import (
    "context"
    "fmt"
    "log"

    "google.golang.org/genai"
    "google.golang.org/genai/interactions/models/interactions"
    "google.golang.org/genai/interactions/models/operations"
)

func main() {
    ctx := context.Background()
    client, err := genai.NewClient(ctx, nil)
    if err != nil {
        log.Fatal(err)
    }

    res, err := client.Interactions.Create(ctx, operations.CreateInteractionRequest{
        Body: operations.NewCreateInteractionRequestBody(interactions.CreateModelInteraction{
            Model:       interactions.Model("gemini-3.8-flash"),
            Input:       interactions.NewInteractionsInput("Perform a priority inference task."),
            ServiceTier: interactions.ServiceTierPriority.ToPointer(),
        }),
    })
    if err != nil {
        log.Fatal(err)
    }
    if res.Interaction.OutputText != nil {
        fmt.Println(*res.Interaction.OutputText)
    }
}

REST

curl -X POST "https://generativelanguage.googleapis.com/v1beta/interactions" \
  -H "Content-Type: application/json" \
  -H "x-goog-api-key: $GEMINI_API_KEY" \
  -d '{
    "model": "gemini-3.8-flash",
    "input": "Triage this critical customer support ticket immediately.",
    "service_tier": "priority"
  }'

איך פועל הסקת מסקנות לפי עדיפות

ההסקה לפי עדיפות מעבירה בקשות לתורים של מחשוב ברמת קריטיות גבוהה, ומציעה ביצועים מהירים וצפויים לאפליקציות גלויות למשתמשים. המנגנון העיקרי שלה הוא שדרוג לאחור בצד השרת לעיבוד רגיל של תנועה שחורגת מהמגבלות הדינמיות, כדי להבטיח את יציבות האפליקציה במקום לגרום לכשל בבקשה.

תכונה עדיפות רגיל שרירים של סלע Batch
תמחור ‫75% עד 100% יותר מבתוכנית Standard מחיר מלא הנחה של 50% הנחה של 50%
זמן טעינה שניות שניות לדקות דקות (יעד של 1-15 דקות) עד 24 שעות
אמינות גבוהה (לא נושרת) גבוהה / בינונית-גבוהה הכי טוב שאפשר (ניתן להשמטה) גבוהה (לתפוקה)
ממשק סינכרוני סינכרוני סינכרוני אסינכרוני

יתרונות עיקריים

  • זמן אחזור נמוך: מיועד לזמני תגובה של שנייה אחת עבור כלי AI אינטראקטיביים שפונים למשתמשים.
  • מהימנות גבוהה: התנועה מקבלת את רמת הקריטיות הגבוהה ביותר, והיא לא ניתנת להפחתה.
  • הורדה הדרגתית של רמת השירות: אם יש עליות פתאומיות בתנועה שחורגות מהמגבלות הדינמיות, רמת השירות משתנה אוטומטית לרמה רגילה לצורך עיבוד, במקום שהעיבוד ייכשל. כך נמנעות הפסקות בשירות.
  • חיכוך נמוך: משתמש באותה שיטה סינכרונית create כמו ברמות הרגילה והגמישה.

תרחישים לדוגמה

עיבוד בעדיפות גבוהה מתאים במיוחד לתהליכי עבודה שחיוניים לעסק, שבהם הביצועים והאמינות הם בעלי חשיבות עליונה.

  • אפליקציות אינטראקטיביות מבוססות-AI: צ'אטבוטים וטייסים וירטואליים לשירות לקוחות, שבהם המשתמשים משלמים מחיר פרימיום ומצפים לתשובות מהירות ועקביות.
  • מנועי קבלת החלטות בזמן אמת: מערכות שנדרשים בהן תוצאות מהימנות עם השהיה נמוכה, כמו תעדוף כרטיסים בשידור חי או זיהוי הונאות.
  • תכונות פרימיום ללקוחות: מפתחים שצריכים להבטיח יעדים גבוהים יותר למדידת רמת השירות (SLO) ללקוחות משלמים.

הגבלות קצב

לצריכה בעדיפות יש מגבלות קצב משלה, גם אם הצריכה נספרת במסגרת מגבלות הקצב הכוללות של תנועה אינטראקטיבית. מגבלות ברירת המחדל על קצב הבקשות להסקת מסקנות לגבי עדיפות הן 0.3x ממגבלת קצב הבקשות הרגילה לכל מודל או רמת שירות

לוגיקה של חזרה לסוג המינוי הקודם

אם יש עומס ומתבצעות יותר מדי בקשות בעדיפות גבוהה, המערכת מורידה את העדיפות של הבקשות העודפות באופן אוטומטי לעיבוד רגיל, במקום להחזיר שגיאה 503 או 429. בקשות ששודרגו לא יחויבו בתעריף הפרימיום של Priority, אלא בתעריף הרגיל.

באחריות הלקוח

  • מעקב אחר תגובות: מפתחים צריכים לעקוב אחרי x-gemini-service-tier הכותרת בתגובה מה-API כדי לזהות אם הבקשות עוברות לעיתים קרובות לשדרוג לאחור ל-standard.
  • ניסיונות חוזרים: הלקוחות צריכים להטמיע לוגיקה של ניסיונות חוזרים או השהיה מעריכית לפני ניסיון חוזר (exponential backoff) לשגיאות סטנדרטיות, כמו DEADLINE_EXCEEDED.

תמחור

המחיר של הסקת מסקנות בעדיפות גבוהה גבוה ב-75% עד 100% מהמחיר של ה-API הרגיל, והחיוב הוא לפי טוקן.

מודלים נתמכים

המודלים הבאים תומכים בהסקת מסקנות בעדיפות גבוהה:

מודל הסקת עדיפות
‫Gemini 3.8 Flash ✔️
‫Gemini 3.6 Flash ✔️
‫Gemini 3.5 Flash-Lite ✔️
‫Gemini 3.1 Flash-Lite ✔️
Gemini 3.1 Pro Preview ✔️
תצוגה מקדימה של Gemini 3 Flash ✔️
‫Gemini 2.5 Pro ✔️
‫Gemini 2.5 Flash ✔️
‫Gemini 2.5 Flash-Lite ✔️

המאמרים הבאים