Suy luận linh hoạt

Gemini Flex API là một cấp suy luận giúp giảm 50% chi phí so với mức giá tiêu chuẩn, đổi lại độ trễ thay đổi và khả năng cung cấp tốt nhất có thể. API này được thiết kế cho các khối lượng công việc có độ trễ cao, yêu cầu xử lý đồng bộ nhưng không cần hiệu suất theo thời gian thực của API tiêu chuẩn.

Cách sử dụng Flex

Để sử dụng cấp Flex, hãy chỉ định service_tier là flex trong yêu cầu của bạn. Theo mặc định, các yêu cầu sẽ sử dụng cấp tiêu chuẩn nếu bạn bỏ qua trường này.

from google import genai

client = genai.Client()

interaction = client.interactions.create(
    model="gemini-3.5-flash",
    input="Analyze this dataset for trends...",
    service_tier='flex'
)
print(interaction.output_text)

import { GoogleGenAI } from '@google/genai';

const client = new GoogleGenAI({});

async function main() {
    const interaction = await client.interactions.create({
        model: 'gemini-3.5-flash',
        input: 'Analyze this dataset for trends...',
        service_tier: 'flex'
    });
    console.log(interaction.output_text);
}
await main();

curl -X POST "https://generativelanguage.googleapis.com/v1beta/interactions" \
  -H "Content-Type: application/json" \
  -H "x-goog-api-key: $GEMINI_API_KEY" \
  -d '{
      "model": "gemini-3.5-flash",
      "input": "Analyze this dataset for trends...",
      "service_tier": "flex"
  }'

Cách hoạt động của suy luận Flex

Suy luận Gemini Flex giúp thu hẹp khoảng cách giữa API tiêu chuẩn và thời gian xử lý 24 giờ của Batch API. API này sử dụng công suất tính toán "có thể loại bỏ" ngoài giờ cao điểm để cung cấp giải pháp tiết kiệm chi phí cho các tác vụ trong nền và quy trình làm việc tuần tự.

Lợi ích chính

• Hiệu quả về chi phí: Tiết kiệm đáng kể cho các hoạt động đánh giá không sản xuất, tác nhân trong nền và làm phong phú dữ liệu.
• Dễ dàng sử dụng: Chỉ cần thêm một tham số vào các yêu cầu hiện có.
• Quy trình làm việc đồng bộ: Lý tưởng cho các chuỗi API tuần tự, trong đó yêu cầu tiếp theo phụ thuộc vào đầu ra của yêu cầu trước đó, giúp quy trình này linh hoạt hơn so với quy trình theo nhóm đối với quy trình làm việc của tác nhân.

Trường hợp sử dụng

• Đánh giá ngoại tuyến: Chạy các bài kiểm thử hồi quy hoặc bảng xếp hạng "LLM-as-a-judge".
• Tác nhân trong nền: Các tác vụ tuần tự như cập nhật CRM, xây dựng hồ sơ hoặc kiểm duyệt nội dung, trong đó có thể chấp nhận độ trễ vài phút.
• Nghiên cứu bị hạn chế về ngân sách: Các thí nghiệm học thuật yêu cầu số lượng mã thông báo lớn trong ngân sách hạn chế.

Giới hạn số lượng yêu cầu

Lưu lượng truy cập suy luận Flex được tính vào giới hạn số lượng yêu cầu chung; API này không cung cấp giới hạn số lượng yêu cầu mở rộng như Batch API.

Công suất có thể loại bỏ

Lưu lượng truy cập Flex được xử lý với mức độ ưu tiên thấp hơn. Nếu lưu lượng truy cập tiêu chuẩn tăng đột biến, các yêu cầu Flex có thể bị ưu tiên hoặc loại bỏ để đảm bảo công suất cho người dùng có mức độ ưu tiên cao. Nếu bạn đang tìm kiếm suy luận có mức độ ưu tiên cao, hãy xem phần Suy luận có mức độ ưu tiên

Mã lỗi

Khi công suất Flex không có sẵn hoặc hệ thống bị tắc nghẽn, API sẽ trả về mã lỗi tiêu chuẩn:

• 503 Không có dịch vụ: Hệ thống đang hoạt động hết công suất.
• 429 Quá nhiều yêu cầu: Giới hạn số lượng yêu cầu hoặc cạn kiệt tài nguyên.

Trách nhiệm của ứng dụng khách

• Không có phương án dự phòng phía máy chủ: Để tránh các khoản phí không mong muốn, hệ thống sẽ không tự động nâng cấp yêu cầu Flex lên cấp Tiêu chuẩn nếu công suất Flex đã đầy.
• Thử lại: Bạn phải triển khai logic thử lại phía ứng dụng khách của riêng mình với thuật toán đợi luỹ tuyến.
• Thời gian chờ: Vì các yêu cầu Flex có thể nằm trong hàng đợi, nên bạn nên tăng thời gian chờ phía ứng dụng khách lên 10 phút trở lên để tránh đóng kết nối sớm.

Điều chỉnh khoảng thời gian chờ

Bạn có thể định cấu hình thời gian chờ cho mỗi yêu cầu đối với REST API và thư viện ứng dụng khách. Luôn đảm bảo thời gian chờ phía ứng dụng khách bao gồm khoảng thời gian chờ dự kiến của máy chủ (ví dụ: 600 giây trở lên đối với hàng đợi chờ Flex). SDK dự kiến các giá trị thời gian chờ tính bằng mili giây.

Thời gian chờ cho mỗi yêu cầu

from google import genai

client = genai.Client(http_options={"timeout": 900000})

interaction = client.interactions.create(
    model="gemini-3.5-flash",
    input="why is the sky blue?",
    service_tier="flex",
)

import { GoogleGenAI } from '@google/genai';

const client = new GoogleGenAI({});

async function main() {
    const interaction = await client.interactions.create({
        model: "gemini-3.5-flash",
        input: "why is the sky blue?",
        service_tier: "flex",
    }, {timeout: 900000});
}

await main();

Triển khai hoạt động thử lại

Vì Flex có thể loại bỏ và gặp lỗi 503, nên sau đây là ví dụ về cách triển khai logic thử lại (không bắt buộc) để tiếp tục với các yêu cầu không thành công:

import time
from google import genai

client = genai.Client()

def call_with_retry(max_retries=3, base_delay=5):
    for attempt in range(max_retries):
        try:
            return client.interactions.create(
                model="gemini-3.5-flash",
                input="Analyze this batch statement.",
                service_tier="flex",
            )
        except Exception as e:
            if attempt < max_retries - 1:
                delay = base_delay * (2 ** attempt) # Exponential Backoff
                print(f"Flex busy, retrying in {delay}s...")
                time.sleep(delay)
            else:
                print("Flex exhausted, falling back to Standard...")
                return client.interactions.create(
                    model="gemini-3.5-flash",
                    input="Analyze this batch statement."
                )

interaction = call_with_retry()
print(interaction.output_text)

import { GoogleGenAI } from '@google/genai';

const ai = new GoogleGenAI({});

async function sleep(ms) {
  return new Promise(resolve => setTimeout(resolve, ms));
}

async function callWithRetry(maxRetries = 3, baseDelay = 5) {
  for (let attempt = 0; attempt < maxRetries; attempt++) {
    try {
      console.log(`Attempt ${attempt + 1}: Calling Flex tier...`);
      const interaction = await ai.interactions.create({
        model: "gemini-3.5-flash",
        input: "Analyze this batch statement.",
        service_tier: 'flex',
      });
      return interaction;
    } catch (e) {
      if (attempt < maxRetries - 1) {
        const delay = baseDelay * (2 ** attempt);
        console.log(`Flex busy, retrying in ${delay}s...`);
        await sleep(delay * 1000);
      } else {
        console.log("Flex exhausted, falling back to Standard...");
        return await ai.interactions.create({
          model: "gemini-3.5-flash",
          input: "Analyze this batch statement.",
        });
      }
    }
  }
}

async function main() {
    const interaction = await callWithRetry();
    console.log(interaction.output_text);
}

await main();

Định giá

Suy luận Flex được định giá bằng 50% API tiêu chuẩn và được tính phí theo mỗi mã thông báo.

Mô hình được hỗ trợ

Các mô hình sau đây hỗ trợ suy luận Flex:

Bước tiếp theo

• Suy luận có mức độ ưu tiên để có độ trễ cực thấp.
• Mã thông báo: Tìm hiểu về mã thông báo.