בתהליך עבודה אופייני של AI, ייתכן שאתם מעבירים את אותם אסימוני קלט שוב ושוב למודל. באמצעות התכונה של Gemini API לשמירת מטמון לפי הקשר, אפשר להעביר תוכן מסוים למודל פעם אחת, לשמור במטמון את אסימוני הקלט ואז להפנות לאסימונים ששמורים במטמון לבקשות הבאות. בנפחים מסוימים, השימוש באסימונים שנשמרו במטמון עולה פחות מאשר העברה באותו אוסף של אסימונים שוב ושוב.
כששומרים קבוצת אסימונים במטמון, אפשר לבחור כמה זמן לשמור במטמון לפני שהאסימונים יימחקו אוטומטית. משך השמירה במטמון נקרא משך החיים (TTL). אם לא מגדירים את ה-TTL, ברירת המחדל של ה-TTL היא שעה אחת. עלות השמירה במטמון תלויה בגודל אסימון הקלט ובמשך הזמן שרוצים שהאסימונים יישמרו.
שמירת הקשר במטמון תומכת גם ב-Gemini 1.5 Pro וגם ב-Flash 1.5 Flash.
מתי כדאי להשתמש בשמירת הקשר במטמון
שמירה במטמון לפי הקשר מתאימה במיוחד לתרחישים שבהם בקשות קצרות יותר מפנות שוב ושוב להקשר ראשוני משמעותי. כדאי להשתמש בשמירה במטמון לפי הקשר לתרחישים לדוגמה כמו:
- צ'אט בוטים עם הוראות מערכת מקיפות
- ניתוח חוזר של קובצי וידאו ארוכים
- שאילתות חוזרות על קבוצות גדולות של מסמכים
- ניתוח תדיר של מאגר הקוד או תיקון באגים
איך שמירה במטמון מפחיתה את העלויות
שמירת הקשר במטמון היא תכונה בתשלום שנועדה להפחית את העלויות הכוללות של התפעול. החיוב מבוסס על הגורמים הבאים:
- מספר אסימוני המטמון: מספר אסימוני הקלט שנשמרו במטמון, שמחויבים בתעריף מופחת כשהם נכללים בהנחיות הבאות.
- משך האחסון: משך הזמן שבו טוקנים נשמרים במטמון (TTL). החיוב מתבצע על סמך משך ה-TTL של ספירת הטוקנים במטמון. אין גבולות מינימום או מקסימום ל-TTL.
- גורמים אחרים: חלים חיובים אחרים, כמו על אסימוני קלט ואסימוני פלט שלא שמורים במטמון.
פרטי התמחור העדכניים מפורטים בדף התמחור של Gemini API. במדריך לאסימונים מוסבר איך סופרים אסימונים.
איך משתמשים בשמירה במטמון לפי הקשר
בסעיף הזה נניח שכבר התקנתם את Gemini SDK (או ש-curl מותקן אצלכם) ושהגדרתם מפתח API, כפי שמתואר במדריך למתחילים.
שיקולים נוספים
כשמשתמשים במטמון הקשר, חשוב לזכור את הנקודות הבאות:
- המספר המינימלי של אסימוני הקלט לשמירת הקשר במטמון הוא 32,768, והמספר המקסימלי זהה למספר המקסימלי של המודל הנתון. (מידע נוסף על ספירת אסימונים מופיע במדריך האסימונים).
- המודל לא מבחין בין אסימונים שנשמרו במטמון לבין אסימוני קלט רגילים. תוכן ששמור במטמון הוא פשוט קידומת להנחיה.
- אין מגבלות שימוש או קצב מיוחד בשמירה במטמון לפי הקשר. מגבלות הקצב הסטנדרטיות של
GenerateContentחלות, ומגבלות האסימונים כוללות אסימונים במטמון. - מספר האסימונים שנשמרו במטמון מוחזר ב-
usage_metadataמפעולות היצירה, האחזור והרשימה של שירות המטמון, וגם ב-GenerateContentכשמשתמשים במטמון.