Interfejs Gemini API oferuje różne mechanizmy optymalizacji, które pomagają zrównoważyć szybkość, koszt i niezawodność w zależności od konkretnych potrzeb związanych z obciążeniem. Niezależnie od tego, czy tworzysz boty do rozmów w czasie rzeczywistym, czy uruchamiasz złożone potoki przetwarzania danych offline, wybranie odpowiedniego paradygmatu może znacznie obniżyć koszty lub zwiększyć wydajność.
| Funkcja | Standardowy | Flex | Priorytet | Wsad | Buforowanie |
|---|---|---|---|---|---|
| Ceny | Bilet normalny | 50% rabatu | O 75–100% więcej niż standardowo | 50% rabatu | 90% rabatu + proporcjonalne przechowywanie tokenów |
| Czas oczekiwania | Sekundy do minut | Minuty (docelowo 1–15 min) | Sekundy | Do 24 godzin | Krótszy czas do pierwszego tokena |
| Niezawodność | Wysoka / średnio wysoka | Najlepsze rozwiązanie (możliwość pominięcia) | Wysoka (bez możliwości pominięcia) | Wysoka (w przypadku przepustowości) | Nie dotyczy |
| Interfejs | Synchroniczna | Synchroniczna | Synchroniczna | Asynchroniczny | Zapisany stan |
| Najlepsze zastosowanie | Ogólne przepływy pracy aplikacji | Niepilne sekwencje | Aplikacje produkcyjne i aplikacje dla użytkowników | Ogromne zbiory danych, oceny offline | Powtarzające się zapytania dotyczące tego samego pliku |
Warstwy usługi wnioskowania (synchroniczne)
Możesz przełączać się między ruchem synchronicznym zoptymalizowanym pod kątem niezawodności a ruchem synchronicznym zoptymalizowanym pod kątem kosztów, przekazując parametr service_tier w standardowych wywołaniach generowania.
Standardowe wnioskowanie (domyślne)
Warstwa standardowa jest domyślną opcją generowania treści sekwencyjnych. Zapewnia normalne czasy odpowiedzi bez dodatkowych opłat i długiego czasu oczekiwania w kolejce.
- Niezawodność: standardowa krytyczność
- Cena: standardowa.
- Najlepsze w przypadku: większości interaktywnych aplikacji codziennych.
Wnioskowanie priorytetowe (zoptymalizowane pod kątem czasu oczekiwania)
Przetwarzaniepriorytetowe kieruje Twoje żądania do kolejek obliczeniowych o wysokiej krytyczności. Ten ruch jest ściśle niepodzielny (nigdy nie jest wyprzedzany przez inne warstwy) i zapewnia najwyższą niezawodność. Jeśli przekroczysz dynamiczne limity priorytetu, system płynnie obniży priorytet żądania do standardowego przetwarzania zamiast zwracać błąd.
- Niezawodność: najwyższa krytyczność
- Cena: o 75–100% wyższa niż standardowa.
- Najlepsze w przypadku: chatbotów dla klientów, wykrywania oszustw w czasie rzeczywistym i krytycznych dla firmy asystentów.
Wnioskowanie Flex (zoptymalizowane pod kątem kosztów)
Wnioskowanie Flex oferuje 50% rabatu w porównaniu ze stawkami standardowymi dzięki wykorzystaniu możliwości obliczeniowych poza godzinami szczytu. Żądania są przetwarzane synchronicznie, co oznacza, że nie musisz przepisywać kodu, aby zarządzać obiektami wsadowymi. Ponieważ jest to ruch „podzielny”, żądania mogą zostać wyprzedzone, jeśli w systemie wystąpią standardowe skoki ruchu.
- Niezawodność: niegwarantowana, podzielna krytyczność
- Cena: 50% ceny standardowej (rozliczane za token).
- Najlepsze w przypadku: wieloetapowych Agentic Workflows, w których wywołanie N+1 zależy od wyniku wywołania N, aktualizacji CRM w tle i ocen offline.
Batch API (zbiorcze, asynchroniczne)
Batch API jest przeznaczony do asynchronicznego przetwarzania dużych ilości żądań przy 50% standardowego kosztu. Żądania możesz przesyłać jako słowniki w tekście lub za pomocą pliku wejściowego JSONL (do 2 GB). Przetwarza żądania za pomocą kolejek przepustowości w tle z docelowym czasem realizacji wynoszącym 24 godziny.
- Niezawodność: możliwość pominięcia, ale z automatycznymi ponownymi próbami i systemem kolejkowania przez 24 godziny
- Cena: 50% ceny standardowej.
- Najlepsze w przypadku: wstępnego przetwarzania ogromnych zbiorów danych, uruchamiania okresowych pakietów testów regresyjnych oraz generowania dużej liczby obrazów lub osadzania.
Pamięć podręczna kontekstu (oszczędność danych wejściowych)
Pamięć podręczna kontekstu jest używana, gdy obszerny kontekst początkowy jest wielokrotnie przywoływany przez krótsze żądania.
- Buforowanie niejawne: automatycznie włączone w modelach Gemini 2.5 i nowszych. System przekazuje oszczędności, jeśli Twoje żądanie trafi do istniejących pamięci podręcznych na podstawie wspólnych prefiksów promptów.
- Buforowanie jawne: możesz ręcznie utworzyć obiekt pamięci podręcznej z określonym czasem życia (TTL). Po utworzeniu możesz odwoływać się do tokenów w pamięci podręcznej w kolejnych żądaniach, aby uniknąć wielokrotnego przekazywania tego samego ładunku korpusu. Buforowanie jawne nie jest obsługiwane w przypadku Gemini 4 Argon i nowszych.
- Cena: rozliczana na podstawie liczby tokenów w pamięci podręcznej i czasu przechowywania (TTL).
- Najlepsze w przypadku: chatbotów z rozbudowanymi instrukcjami systemowymi, powtarzalnej analizy długich plików wideo lub zapytań dotyczących dużych zbiorów dokumentów.
Obniżanie kosztów danych wejściowych wideo dzięki przetwarzaniu agentowemu
W przypadku długich filmów (ponad 5–10 minut) lub zapytań ukierunkowanych przetwarzanie agentowe może obniżyć koszty tokenów wejściowych nawet o 88% przy jednoczesnym zwiększeniu jakości odpowiedzi. Domyślnie wszystkie modele (w tym Gemini 4) używają przetwarzania statycznego do wyodrębniania klatek z szybkością 1 kl./s. Dzięki agentowemu rozumieniu wideo model najpierw sprawdza transkrypcję wideo i dynamicznie wczytuje segmenty wizualne z wyższą liczbą klatek na sekundę i rozdzielczością tylko wtedy, gdy jest to potrzebne. W przypadku krótkich klipów (poniżej 5 minut) lub ogólnych podsumowań całego filmu zachowaj domyślny tryb przetwarzania statycznego, aby uzyskać krótszy czas do pierwszego tokena i mniejszy narzut tokenów. Tryb agentowy powoduje wewnętrzne wnioskowanie (total_thought_tokens) i rundy narzędzi (total_tool_use_tokens) podczas nawigacji po osi czasu.
Aby używać przetwarzania agentowego w Gemini 4 Argon, 3.8 Flash, 3.6 Flash lub 3.5 Flash Lite,
ustaw processing: "agentic" (Interactions API) lub
media_processing: "AGENTIC" (GenerateContent API) w danych wejściowych wideo. Jeśli model nie obsługuje przetwarzania agentowego, zwróci błąd.
Więcej informacji znajdziesz w artykule Agentowe rozumienie wideo.