Gemini API cung cấp nhiều cơ chế tối ưu hoá để giúp bạn cân bằng tốc độ, chi phí và độ tin cậy dựa trên nhu cầu cụ thể về khối lượng công việc. Cho dù bạn đang xây dựng các bot đàm thoại theo thời gian thực hay chạy các quy trình xử lý dữ liệu ngoại tuyến nặng, việc chọn đúng mô hình có thể giảm đáng kể chi phí hoặc tăng hiệu suất.
| Tính năng | Chuẩn | Gập | Mức độ ưu tiên | Theo nhóm | Đang lưu vào bộ nhớ đệm |
|---|---|---|---|---|---|
| Định giá | Giá ban đầu | Giảm giá 50% | Cao hơn từ 75% đến 100% so với mức tiêu chuẩn | Giảm giá 50% | Chiết khấu 90% + Bộ nhớ mã thông báo được tính theo tỷ lệ |
| Độ trễ | Giây sang phút | Phút (mục tiêu 1 – 15 phút) | Giây | Tối đa 24 giờ | Thời gian nhận token đầu tiên nhanh hơn |
| Độ tin cậy | Cao / Cao vừa | Nỗ lực tối đa (Có thể loại bỏ) | Cao (Không rụng lông) | Cao (đối với thông lượng) | Không áp dụng |
| Giao diện | Đồng bộ | Đồng bộ | Đồng bộ | Không đồng bộ | Trạng thái đã lưu |
| Trường hợp sử dụng phù hợp nhất | Quy trình công việc chung của ứng dụng | Chuỗi không khẩn cấp theo trình tự | Ứng dụng phát hành công khai dành cho người dùng | Tập dữ liệu khổng lồ, đánh giá ngoại tuyến | Truy vấn định kỳ trên cùng một tệp |
Cấp dịch vụ suy luận (Đồng bộ)
Bạn có thể chuyển đổi giữa lưu lượng truy cập đồng bộ được tối ưu hoá về độ tin cậy và lưu lượng truy cập đồng bộ được tối ưu hoá về chi phí bằng cách truyền tham số service_tier trong các lệnh gọi tạo tiêu chuẩn.
Suy luận tiêu chuẩn (Mặc định)
Cấp tiêu chuẩn là lựa chọn mặc định để tạo nội dung tuần tự. Dịch vụ này cung cấp thời gian phản hồi bình thường mà không cần trả thêm phí hoặc xếp hàng quá lâu.
- Độ tin cậy: Mức độ nghiêm trọng tiêu chuẩn
- Giá: Giá thông thường.
- Phù hợp nhất với: Hầu hết các ứng dụng tương tác hằng ngày.
Suy luận ưu tiên (Tối ưu hoá độ trễ)
Mức độ ưu tiên sẽ định tuyến các yêu cầu của bạn đến các hàng đợi tính toán có mức độ quan trọng cao. Lưu lượng truy cập này hoàn toàn không thể loại bỏ (không bao giờ bị các cấp khác chiếm quyền ưu tiên) và mang lại độ tin cậy cao nhất. Nếu bạn vượt quá giới hạn Ưu tiên linh động, hệ thống sẽ giảm cấp yêu cầu xuống thành xử lý Tiêu chuẩn thay vì báo lỗi.
- Độ tin cậy: Mức độ quan trọng cao nhất
- Giá: Cao hơn 75% đến 100% so với giá tiêu chuẩn.
- Phù hợp nhất với: Chatbot cho khách hàng, tính năng phát hiện gian lận theo thời gian thực và trợ lý ảo quan trọng đối với doanh nghiệp.
Suy luận Flex (Tối ưu hoá chi phí)
Suy luận Flex giúp bạn tiết kiệm 50% so với mức giá tiêu chuẩn bằng cách tận dụng năng lực điện toán không cao điểm, có cơ hội. Các yêu cầu được xử lý đồng bộ, tức là bạn không cần viết lại mã để quản lý các đối tượng hàng loạt. Vì đây là lưu lượng truy cập "có thể loại bỏ", nên các yêu cầu có thể bị ưu tiên nếu hệ thống gặp phải tình trạng tăng đột biến lưu lượng truy cập tiêu chuẩn.
- Độ tin cậy: Không được đảm bảo, có thể giảm mức độ quan trọng
- Giá: 50% Giá tiêu chuẩn (tính phí theo mã thông báo).
- Phù hợp nhất cho: Quy trình làm việc nhiều bước của tác nhân, trong đó lệnh gọi N+1 phụ thuộc vào đầu ra của lệnh gọi N, các bản cập nhật CRM ở chế độ nền và các hoạt động đánh giá ngoại tuyến.
Batch API (Hàng loạt, không đồng bộ)
Batch API được thiết kế để xử lý số lượng lớn yêu cầu một cách không đồng bộ với 50% chi phí tiêu chuẩn. Bạn có thể gửi yêu cầu dưới dạng từ điển nội tuyến hoặc sử dụng tệp đầu vào JSONL (tối đa 2 GB). Hệ thống xử lý các yêu cầu bằng cách sử dụng hàng đợi thông lượng trong nền với thời gian xử lý mục tiêu là 24 giờ.
- Độ tin cậy: Có thể bị loại bỏ nhưng có hệ thống xếp hàng và tự động thử lại sau 24 giờ
- Giá: Bằng 50% giá tiêu chuẩn.
- Phù hợp nhất cho: Xử lý trước các tập dữ liệu lớn, chạy các bộ kiểm thử hồi quy định kỳ và tạo hình ảnh hoặc dữ liệu nhúng với số lượng lớn.
Lưu bộ nhớ đệm ngữ cảnh (Tiết kiệm dữ liệu đầu vào)
Bộ nhớ đệm ngữ cảnh được dùng khi một ngữ cảnh ban đầu đáng kể được các yêu cầu ngắn hơn tham chiếu nhiều lần.
- Lưu vào bộ nhớ đệm ngầm: Tự động bật trên Gemini 2.5 và các mô hình mới hơn. Hệ thống sẽ chuyển cho bạn khoản tiết kiệm chi phí nếu yêu cầu của bạn trùng khớp với các cụm từ tìm kiếm trong bộ nhớ đệm hiện có dựa trên các tiền tố phổ biến của câu lệnh.
- Lưu vào bộ nhớ đệm tường minh: Bạn có thể tạo đối tượng bộ nhớ đệm theo cách thủ công với một Thời gian tồn tại (TTL) cụ thể. Sau khi tạo, bạn có thể tham chiếu đến các mã thông báo được lưu vào bộ nhớ đệm cho các yêu cầu tiếp theo để tránh truyền cùng một tải trọng văn bản nhiều lần.
- Giá: Tính phí dựa trên số lượng mã thông báo bộ nhớ đệm và thời gian lưu trữ (TTL).
- Phù hợp nhất với: Chatbot có nhiều chỉ dẫn hệ thống, phân tích lặp đi lặp lại các tệp video dài hoặc truy vấn đối với các tập tài liệu lớn.
Giảm chi phí đầu vào video nhờ quy trình xử lý dựa trên tác nhân
Đối với nội dung video dài, quá trình xử lý dựa trên tác nhân có thể giảm chi phí mã thông báo đầu vào lên đến 88% trong khi cải thiện chất lượng phản hồi. Thay vì trích xuất mọi khung hình ở tốc độ 1 khung hình/giây (xử lý tĩnh), mô hình này sẽ tìm kiếm linh hoạt trong video, tải bản chép lời và/hoặc khung hình và/hoặc âm thanh có liên quan đến câu lệnh của bạn. Đối với các đoạn video ngắn (dưới 5 phút) mà độ trễ là yếu tố quan trọng, quy trình xử lý tĩnh có thể cung cấp Thời gian hiển thị mã thông báo đầu tiên (TTFT) nhanh hơn, vì chế độ dựa trên tác nhân sẽ phát sinh suy luận nội bộ và các chuyến khứ hồi của công cụ trước khi bắt đầu tạo.
Để sử dụng tính năng xử lý dựa trên tác nhân với Gemini 3.8 Flash, 3.6 Flash hoặc 3.5 Flash Lite, hãy đặt processing: "agentic" (Interactions API) hoặc media_processing: "AGENTIC" (GenerateContent API) cho dữ liệu đầu vào video. Nếu không hỗ trợ xử lý theo hướng tác nhân, mô hình sẽ trả về lỗi.
Hãy xem phần Hiểu video dựa trên tác nhân để biết các ví dụ về mã.