優先度推論

説明: Interactions API の優先推論ティアを使用してレイテンシを最適化する方法について説明します。

Gemini Priority API は、低レイテンシと最高の信頼性を必要とするビジネス クリティカルなワークロード向けに設計されたプレミアム推論ティアで、プレミアム価格で提供されます。優先ティアのトラフィックは、標準 API と Flex ティアのトラフィックよりも優先されます。

優先推論は、Interactions API エンドポイント全体で利用できます。

優先度を使用する方法

優先ティアを使用するには、リクエストの service_tier フィールドを priority に設定します。このフィールドを省略した場合、デフォルトのティアは標準です。

Python

from google import genai

client = genai.Client()

interaction = client.interactions.create(
    model="gemini-3.8-flash",
    input="Triage this critical customer support ticket immediately.",
    service_tier='priority'
)
print(interaction.output_text)

JavaScript

import { GoogleGenAI } from '@google/genai';

const ai = new GoogleGenAI({});

async function main() {
    const interaction = await ai.interactions.create({
        model: "gemini-3.8-flash",
        input: "Triage this critical customer support ticket immediately.",
        service_tier: "priority"
    });
    console.log(interaction.output_text);
}

await main();

Java

import com.google.genai.Client;
import com.google.genai.gaos.models.interactions.CreateModelInteraction;
import com.google.genai.gaos.models.interactions.Interaction;
import com.google.genai.gaos.models.interactions.InteractionsInput;
import com.google.genai.gaos.models.interactions.Model;
import com.google.genai.gaos.models.interactions.ServiceTier;
import com.google.genai.gaos.models.operations.CreateInteractionRequestBody;

Client client = new Client();

CreateModelInteraction params =
    CreateModelInteraction.builder()
        .model(Model.of("gemini-3.8-flash"))
        .input(InteractionsInput.of("Perform a priority inference task."))
        .serviceTier(ServiceTier.PRIORITY)
        .build();

Interaction interaction =
    client.interactions.create(CreateInteractionRequestBody.of(params)).interaction().get();

System.out.println(interaction.outputText().orElse(""));

REST

curl -X POST "https://generativelanguage.googleapis.com/v1beta/interactions" \
  -H "Content-Type: application/json" \
  -H "x-goog-api-key: $GEMINI_API_KEY" \
  -d '{
    "model": "gemini-3.8-flash",
    "input": "Triage this critical customer support ticket immediately.",
    "service_tier": "priority"
  }'

優先推論の仕組み

優先推論は、リクエストを高クリティカルなコンピューティング キューにルーティングし、ユーザー向けアプリケーションに予測可能で高速なパフォーマンスを提供します。主なメカニズムは、動的上限を超えるトラフィックを標準処理にグレースフルにサーバーサイドでダウングレードすることです。これにより、リクエストが失敗するのではなく、アプリケーションの安定性が確保されます。

機能 優先度 標準 Flex バッチ
料金 標準より 75 ～ 100% 高い 通常料金 50% 割引 50% 割引
レイテンシ 秒 数秒～数分 分（目標 1 ～ 15 分） 最大 24 時間
信頼性 高（非シェッド可能） 高 / 中～高 ベスト エフォート（シェッド可能） 高（スループットの場合）
インターフェース 同期 同期 同期 非同期

主な特典

  • 低レイテンシ: インタラクティブな ユーザー向け AI ツールで 1 秒の応答時間を実現するように設計されています。
  • 高い信頼性: トラフィックは最もクリティカルなものとして扱われ、 シェッドは厳禁です。
  • グレースフル デグラデーション: 動的上限を超えるトラフィック スパイクは、失敗するのではなく、処理のために 自動的に標準ティアにダウングレードされるため、 サービス停止を防ぐことができます。
  • 低摩擦: 標準ティアと Flex ティアと同じ同期 create メソッドを使用します。

ユースケース

優先処理は、パフォーマンスと信頼性が最も重要なビジネス クリティカルなワークフローに最適です。

  • インタラクティブ AI アプリケーション: ユーザーがプレミアム料金を支払い、高速で一貫した応答を期待するカスタマー サービス チャットボットとコパイロット。
  • リアルタイムの意思決定エンジン: ライブ チケットのトリアージや不正検出など、信頼性の高い低レイテンシの 結果を必要とするシステム。
  • プレミアム カスタマー機能: 有料顧客に対してより高いサービス レベル目標（SLO）を保証する必要があるデベロッパー。

レート上限

優先度の消費量は、消費量が インタラクティブ トラフィックの全体的なレート上限にカウントされますが、独自のレート上限があります。優先推論のデフォルトのレート上限は、モデル / ティアの標準レート上限の 0.3 倍 です。

グレースフル ダウングレード ロジック

輻輳により優先度の上限を超えた場合、オーバーフロー リクエストは 503 または 429 エラーで失敗するのではなく、標準処理に自動的かつグレースフルに ダウングレードされます。ダウングレードされたリクエストは、優先プレミアム料金ではなく、標準料金で課金されます。

クライアントの責任

  • レスポンスのモニタリング: リクエストが頻繁にx-gemini-service-tier にダウングレードされているかどうかを検出するために、API レスポンスの ヘッダーをモニタリングする必要がありますstandard。
  • 再試行: クライアントは、 標準エラー（例: DEADLINE_EXCEEDED）に対して再試行ロジック/指数バックオフを実装する必要があります。

料金

優先推論の料金は、標準 API より 75 ～ 100% 高く、トークン単位で課金されます。

サポートされているモデル

次のモデルは優先推論をサポートしています。

モデル 優先推論
Gemini 3.8 Flash ✔️
Gemini 3.7 Flash ✔️
Gemini 3.6 Flash ✔️
Gemini 3.5 Flash-Lite ✔️
Gemini 3.5 Flash ✔️
Gemini 3.1 Flash-Lite ✔️
Gemini 3.1 Pro プレビュー ✔️
Gemini 3 Flash プレビュー ✔️
Gemini 2.5 Pro ✔️
Gemini 2.5 Flash ✔️
Gemini 2.5 Flash-Lite ✔️

次のステップ