שמירה במטמון של הקשר

בתהליך עבודה טיפוסי של AI, יכול להיות שתעבירו את אותם טוקנים של קלט שוב ושוב למודל. ‫Gemini API מציע שמירה מובלעת במטמון כדי לשפר את הביצועים ולצמצם את העלויות.

שמירה מרומזת במטמון

השמירה במטמון (caching) מופעלת כברירת מחדל בכל המודלים של Gemini 2.5 ומעלה. אם הבקשה שלכם מגיעה למטמון, אנחנו מעבירים לכם באופן אוטומטי את החיסכון בעלויות. לא צריך לעשות כלום כדי להפעיל את התכונה הזו. בטבלה הבאה מפורט מספר הטוקנים המינימלי של הקלט לשמירה במטמון של ההקשר עבור כל מודל:

מודל מגבלת טוקנים מינימלית
Gemini 3.5 Flash 4096
‫Gemini 3.1 Pro Preview 4096
Gemini ‎2.5 Flash 2048
Gemini ‎2.5 Pro 2048

כדי להגדיל את הסיכוי לפגיעה במטמון משתמע:

  • כדאי לנסות להוסיף בתחילת ההנחיה תוכן גדול ונפוץ
  • ניסיון לשלוח בקשות עם קידומת דומה בפרק זמן קצר

אפשר לראות את מספר הטוקנים שהיו פגיעות במטמון בשדה usage_metadata (Python) או usageMetadata (JavaScript) של אובייקט התגובה.