Lưu ngữ cảnh vào bộ nhớ đệm

Trong một quy trình AI thông thường, bạn có thể truyền đi truyền lại cùng một mã thông báo đầu vào cho một mô hình. Gemini API cung cấp tính năng lưu vào bộ nhớ đệm ngầm để tối ưu hoá hiệu suất và chi phí.

Lưu vào bộ nhớ đệm ngầm ẩn

Tính năng lưu vào bộ nhớ đệm ngầm định được bật theo mặc định cho tất cả các mô hình Gemini 2.5 trở lên. Tính năng này được hỗ trợ cho cả chế độ trò chuyện có trạng thái (sử dụng previous_interaction_id) và không có trạng thái. Chúng tôi sẽ tự động chuyển khoản tiết kiệm chi phí nếu yêu cầu của bạn truy cập vào bộ nhớ đệm. Bạn không cần phải định cấu hình gì để bật tính năng này. Bảng sau đây liệt kê số lượng mã thông báo đầu vào tối thiểu cho mỗi mô hình:

Mô hình	Giới hạn mã thông báo tối thiểu
Gemini 4 Argon	4.096
Gemini 3.8 Flash	4.096
Gemini 3.6 Flash	4.096
Gemini 3.1 Pro Preview	4.096
Gemini 2.5 Flash	2.048
Gemini 2.5 Pro	2.048

Cách tăng cơ hội tìm thấy kết quả trong bộ nhớ đệm ngầm:

• Hãy thử đặt nội dung lớn và phổ biến ở đầu câu lệnh
• Cố gắng gửi các yêu cầu có tiền tố tương tự trong một khoảng thời gian ngắn

Bạn có thể xem số lượng token là kết quả tìm kiếm trong bộ nhớ cache trong trường usage.total_cached_tokens (Python và JavaScript) của đối tượng phản hồi.