שמירה במטמון של הקשר

בתהליך עבודה טיפוסי של AI, יכול להיות שתעבירו את אותם אסימוני קלט שוב ושוב למודל. ‫Gemini API מציע שמירה במטמון באופן משתמע כדי לשפר את הביצועים ולהוזיל את העלויות.

שמירה מרומזת במטמון

האפשרות 'שמירת נתונים במטמון באופן מרומז' מופעלת כברירת מחדל בכל המודלים של Gemini 2.5 ומעלה. הוא נתמך גם במצבי שיחה עם שמירת מצב (באמצעות previous_interaction_id) וגם במצבי שיחה ללא שמירת מצב. אם הבקשה שלכם מגיעה למטמונים, אנחנו מעבירים לכם באופן אוטומטי את החיסכון בעלויות. לא צריך להגדיר שום דבר כדי להפעיל אותה. בטבלה הבאה מפורט מספר הטוקנים המינימלי של הקלט לכל מודל:

מודל	מגבלת טוקנים מינימלית
Gemini 4 Argon	4,096
Gemini 3.8 Flash	4,096
Gemini 3.6 Flash	4,096
‫Gemini 3.1 Pro Preview	4,096
Gemini ‎2.5 Flash	2,048
Gemini ‎2.5 Pro	2,048

כדי להגדיל את הסיכוי לפגיעה במטמון באופן מרומז:

• כדאי לנסות להוסיף בתחילת הפרומפט תוכן גדול ונפוץ
• לנסות לשלוח בקשות עם קידומת דומה בפרק זמן קצר

אפשר לראות את מספר הטוקנים שנמצאו במטמון בשדה usage.total_cached_tokens (Python ו-JavaScript) של אובייקט התגובה.