Lưu ngữ cảnh vào bộ nhớ đệm

Trong quy trình làm việc điển hình của AI, bạn có thể truyền đi truyền lại các mã thông báo đầu vào giống nhau cho một mô hình. Gemini API cung cấp tính năng lưu vào bộ nhớ đệm ngầm ẩn để tối ưu hoá hiệu suất và chi phí.

Lưu vào bộ nhớ đệm ngầm ẩn

Tính năng lưu vào bộ nhớ đệm ngầm ẩn được bật theo mặc định cho tất cả các mô hình Gemini 2.5 trở lên. Tính năng này được hỗ trợ cho cả chế độ trò chuyện có trạng thái (sử dụng previous_interaction_id) và không có trạng thái. Chúng tôi sẽ tự động chuyển khoản tiết kiệm chi phí nếu yêu cầu của bạn khớp với bộ nhớ đệm. Bạn không cần định cấu hình bất cứ điều gì để bật tính năng này. Bảng sau đây liệt kê số lượng mã thông báo đầu vào tối thiểu cho từng mô hình:

Mô hình	Giới hạn mã thông báo tối thiểu
Gemini 4 Argon	4.096
Gemini 3.8 Flash	4.096
Gemini 3.6 Flash	4.096
Gemini 3.1 Pro (Bản dùng thử)	4.096
Gemini 2.5 Flash	2.048
Gemini 2.5 Pro	2.048

Cách tăng cơ hội khớp với bộ nhớ đệm ngầm ẩn:

• Hãy thử đặt nội dung lớn và phổ biến ở đầu lời nhắc
• Hãy thử gửi các yêu cầu có tiền tố tương tự trong một khoảng thời gian ngắn

Bạn có thể xem số lượng token là kết quả tìm kiếm trong bộ nhớ cache trong trường usage.total_cached_tokens của đối tượng phản hồi (Python và JavaScript).