שמירה במטמון של הקשר

בתהליך עבודה אופייני של AI, יכול להיות שתעבירו את אותם אסימוני קלט שוב ושוב למודל. ‫Gemini API מציע שמירה במטמון באופן משתמע כדי לשפר את הביצועים ולהוזיל את העלויות.

שמירה במטמון משתמעת

שמירה במטמון באופן משתמע מופעלת כברירת מחדל בכל המודלים של Gemini 2.5 ומעלה. הוא נתמך גם במצבי שיחה עם שמירת מצב (באמצעות previous_interaction_id) וגם במצבי שיחה ללא שמירת מצב. אם הבקשה שלכם מגיעה למטמונים, אנחנו מעבירים לכם באופן אוטומטי את החיסכון בעלויות. לא צריך להגדיר שום דבר כדי להפעיל אותה. בטבלה הבאה מפורטת כמות הטוקנים המינימלית לקלט בכל מודל:

דגם מגבלת טוקנים מינימלית
Gemini 4 Argon 4,096
Gemini 3.8 Flash 4,096
Gemini 3.6 Flash 4,096
‫Gemini 3.1 Pro Preview 4,096
Gemini ‎2.5 Flash 2,048
Gemini ‎2.5 Pro 2,048

כדי להגדיל את הסיכוי למציאה במטמון (cache hit) משתמע:

  • כדאי לנסות לשים תוכן ארוך ונפוץ בתחילת ההנחיה
  • לנסות לשלוח בקשות עם קידומת דומה בפרק זמן קצר

אפשר לראות את מספר הטוקנים שנמצאו במטמון בשדה usage.total_cached_tokens (Python ו-JavaScript) של אובייקט התגובה.