שמירה במטמון של הקשר

בתהליך עבודה טיפוסי של AI, יכול להיות שתעבירו את אותם אסימוני קלט שוב ושוב למודל. ‫Gemini API מציע שמירה מובלעת במטמון כדי לשפר את הביצועים ולצמצם עלויות.

שמירה מרומזת במטמון

האפשרות 'שמירת נתונים במטמון באופן מרומז' מופעלת כברירת מחדל בכל המודלים של Gemini 2.5 ומעלה. היא תומכת במצבי שיחה עם שמירת מצב (באמצעות previous_interaction_id) ובמצבי שיחה ללא שמירת מצב. אם הבקשה שלכם מגיעה למטמון, אנחנו מעבירים לכם באופן אוטומטי את החיסכון בעלויות. לא צריך לעשות שום דבר כדי להפעיל את התכונה הזו. בטבלה הבאה מפורט מספר הטוקנים המינימלי של הקלט לכל מודל שמאפשר שמירת מטמון של ההקשר:

מודל מגבלת טוקנים מינימלית
Gemini 3.8 Flash 4,096
Gemini 3.6 Flash 4,096
‫Gemini 3.1 Pro Preview 4,096
Gemini ‎2.5 Flash 2,048
Gemini ‎2.5 Pro 2,048

כדי להגדיל את הסיכוי לפגיעה במטמון באופן מרומז:

  • כדאי לנסות להוסיף בתחילת הפרומפט תוכן גדול ונפוץ
  • ניסיון לשלוח בקשות עם קידומת דומה בפרק זמן קצר

אפשר לראות את מספר הטוקנים שהיו מציאות במטמון בשדה usage.total_cached_tokens (Python ו-JavaScript) של אובייקט התגובה.