Buforowanie kontekstu

W typowym procesie AI możesz wielokrotnie przekazywać te same tokeny wejściowe do modelu. Interfejs Gemini API oferuje niejawne buforowanie, które optymalizuje wydajność i koszty.

Niejawne buforowanie

Niejawne buforowanie jest domyślnie włączone we wszystkich modelach Gemini 2.5 i nowszych. Jest obsługiwane zarówno w trybie konwersacji stanowej (z użyciem parametru previous_interaction_id) jak i bezstanowej. Jeśli Twoje żądanie trafi do pamięci podręcznej, automatycznie przekażemy Ci oszczędności. Aby włączyć tę funkcję, nie musisz nic robić. Minimalna liczba tokenów wejściowych w przypadku buforowania kontekstu jest podana w tabeli poniżej dla każdego modelu:

Model Minimalny limit tokenów
Gemini 3.5 Flash 4096
Gemini 3.1 Pro (wersja testowa) 4096
Gemini 2.5 Flash 2048
Gemini 2.5 Pro 2048

Aby zwiększyć szansę na trafienie do niejawnej pamięci podręcznej:

  • Spróbuj umieścić duże i popularne treści na początku prompta.
  • Spróbuj wysyłać żądania z podobnym prefiksem w krótkim czasie.

Liczbę tokenów, które zostały trafione do pamięci podręcznej, możesz sprawdzić w polu usage.total_cached_tokens (Python i JavaScript) w obiekcie odpowiedzi.