להרבה מודלים של Gemini יש חלונות הקשר גדולים של מיליון טוקנים או יותר. בעבר, מודלים גדולים של שפה (LLM) היו מוגבלים מאוד בכמות הטקסט (או האסימונים) שאפשר היה להעביר למודל בבת אחת. חלון ההקשר הארוך של Gemini פותח הרבה תרחישי שימוש חדשים ופרדיגמות חדשות למפתחים.
הקוד שבו אתם כבר משתמשים במקרים כמו יצירת טקסט או קלט רב-אופני יפעל בלי שינויים עם הקשר ארוך.
במסמך הזה מפורטת סקירה כללית על האפשרויות של שימוש במודלים עם חלונות הקשר של מיליון טוקנים ומעלה. הדף מספק סקירה קצרה של חלון הקשר, ומסביר איך מפתחים צריכים לחשוב על הקשר ארוך, תרחישי שימוש שונים בעולם האמיתי להקשר ארוך ודרכים לייעל את השימוש בהקשר ארוך.
במאמר מודלים מפורטים גדלי חלון ההקשר של מודלים ספציפיים.
מה זה חלון הקשר?
הדרך הבסיסית להשתמש במודלים של Gemini היא להעביר מידע (הקשר) למודל, והוא ייצור תשובה. אפשר להשוות את חלון ההקשר לזיכרון לטווח קצר. יש כמות מוגבלת של מידע שאפשר לאחסן בזיכרון לטווח קצר של אדם, וזה נכון גם לגבי מודלים גנרטיביים.
ב-Gemini 4 (gemini-4-argon), חלון ההקשר של מיליון טוקנים משותף לטוקנים של קלט, חשיבה ופלט, והמודל יכול ליצור עד מיליון טוקנים של פלט באמצעות פענוח ארוך. אם מספר הטוקנים של הקלט בתוספת max_output_tokens חורג מ-1,048,576 טוקנים, ה-API מגביל אוטומטית את הפלט למקום שנותר בחלון ההקשר (1,048,576 פחות הטוקנים של הקלט). מודלים קודמים של Gemini 3 ו-Gemini 2.5 משתמשים בתקציבים נפרדים של 1M לקלט ו-64K לפלט.
מידע נוסף על אופן הפעולה של המודלים זמין במדריך למודלים גנרטיביים.
תחילת העבודה עם הקשר רחב
גרסאות קודמות של מודלים גנרטיביים יכלו לעבד רק 8,000 טוקנים בכל פעם. בדגמים חדשים יותר, המגבלה הזו גדולה יותר, והם יכולים לקבל 32,000 או אפילו 128,000 טוקנים. Gemini הוא המודל הראשון שיכול לקבל מיליון טוקנים.
בפועל, מיליון טוקנים יכולים להיראות ככה:
- 50,000 שורות קוד (עם 80 תווים סטנדרטיים בכל שורה)
- כל הודעות ה-SMS ששלחתם ב-5 השנים האחרונות
- 8 רומנים באנגלית באורך ממוצע
- תמלילים של יותר מ-200 פרקים של פודקאסטים באורך ממוצע
במודלים אחרים, חלונות ההקשר המוגבלים יותר דורשים בדרך כלל אסטרטגיות כמו הסרה שרירותית של הודעות ישנות, סיכום תוכן, שימוש ב-RAG עם מסדי נתונים וקטוריים או סינון הנחיות כדי לחסוך בטוקנים.
הטכניקות האלה עדיין שימושיות בתרחישים ספציפיים, אבל חלון ההקשר הרחב של Gemini מאפשר גישה ישירה יותר: לספק את כל המידע הרלוונטי מראש. המודלים של Gemini פותחו במיוחד עם יכולות הקשר עצומות, ולכן הם מפגינים יכולות למידה חזקות בהקשר. לדוגמה, באמצעות חומרי הדרכה בהקשר בלבד (ספר דקדוק של 500 עמודים, מילון וכ-400 משפטים מקבילים), Gemini למד לתרגם מאנגלית לקלמנג – שפה פפואנית עם פחות מ-200 דוברים – באיכות דומה לזו של אדם שלומד באמצעות אותם חומרים. זה ממחיש את שינוי הפרדיגמה שמתאפשר בזכות ההקשר הארוך של Gemini, שפותח אפשרויות חדשות באמצעות למידה חזקה בהקשר.
תרחישי שימוש בהקשר ארוך
תרחיש השימוש הסטנדרטי ברוב המודלים הגנרטיביים הוא עדיין קלט טקסט, אבל משפחת המודלים של Gemini מאפשרת פרדיגמה חדשה של תרחישי שימוש מולטי-מודאליים. המודלים האלה יכולים להבין באופן טבעי טקסט, וידאו, אודיו ותמונות. כדי שיהיה לכם נוח, הם מלווים ב-Gemini API שמקבל סוגי קבצים מולטי-מודאליים.
טקסט ארוך
הטקסט הוא שכבת האינטליגנציה שעומדת בבסיס רוב המומנטום סביב מודלים גדולים של שפה. כמו שציינתי קודם, הרבה מהמגבלות המעשיות של מודלים גדולים של שפה (LLM) נבעו מכך שלא היה להם חלון הקשר גדול מספיק כדי לבצע משימות מסוימות. הדבר הוביל לאימוץ מהיר של יצירה משולבת-אחזור (RAG) וטכניקות אחרות שמספקות למודל באופן דינמי מידע רלוונטי לפי ההקשר. עכשיו, עם חלונות הקשר גדולים יותר ויותר, יש טכניקות חדשות שמאפשרות תרחישי שימוש חדשים.
הנה כמה תרחישי שימוש חדשים ורגילים להקשר ארוך שמבוסס על טקסט:
- סיכום של קורפוסים גדולים של טקסט
- באפשרויות סיכום קודמות עם מודלים של הקשר קטן יותר, היה צורך בחלון הזזה או בטכניקה אחרת כדי לשמור על המצב של הקטעים הקודמים בזמן שהאסימונים החדשים מועברים למודל.
- שאלות ותשובות
- בעבר זה היה אפשרי רק עם RAG, בגלל הכמות המוגבלת של ההקשר והיכולת הנמוכה של המודלים לשלוף עובדות.
- Agentic workflows
- הטקסט הוא הבסיס לאופן שבו סוכנים שומרים את המצב של מה שהם עשו ומה שהם צריכים לעשות. חוסר מידע מספיק על העולם ועל המטרה של הסוכן הוא מגבלה על המהימנות של הסוכנים.
למידה בהקשר עם הרבה דוגמאות היא אחת מהיכולות הייחודיות ביותר שמתאפשרות על ידי מודלים עם הקשר ארוך. מחקרים הראו שאם לוקחים את הפרדיגמה הנפוצה של דוגמה אחת או כמה דוגמאות, שבהן המודל מקבל דוגמה אחת או כמה דוגמאות למשימה, ומרחיבים אותה למאות, אלפים או אפילו מאות אלפי דוגמאות, אפשר להגיע ליכולות חדשות של המודל. הגישה הזו של למידה עם הרבה דוגמאות הראתה ביצועים דומים למודלים שעברו כוונון למשימה ספציפית. במקרים שבהם הביצועים של מודל Gemini עדיין לא מספיקים לפריסה בסביבת ייצור, אפשר לנסות את גישת ה-many-shot. כפי שאפשר לראות בהמשך, בקטע על אופטימיזציה של הקשר ארוך הטווח, שמירת הקשר במטמון הופכת את סוג עומס העבודה הזה של טוקנים עם נתוני קלט רבים לכלכלי הרבה יותר, ובמקרים מסוימים גם מקצר את זמן האחזור.
סרטון ארוך
התועלת של קטע וידאו מוגבלת כבר זמן רב בגלל חוסר הנגישות של המדיום עצמו. היה קשה לסרוק את התוכן, התמלילים לרוב לא הצליחו לתעד את הניואנסים של סרטון, ורוב הכלים לא מעבדים תמונה, טקסט ואודיו ביחד. היכולות של Gemini לעיבוד טקסט עם הקשר ארוך מאפשרות לו להסיק מסקנות ולענות על שאלות לגבי קלט מולטי-מודאלי עם ביצועים עקביים.
הנה כמה תרחישי שימוש חדשים ונפוצים בהקשר ארוך של סרטונים:
- שאלות ותשובות בסרטונים
- זיכרון וידאו, כמו שמוצג ב-פרויקט Astra של Google
- כתוביות בסרטונים
- מערכות להמלצות על סרטונים, על ידי העשרת המטא-נתונים הקיימים באמצעות הבנה מולטי-מודאלית חדשה
- התאמה אישית של סרטונים, על ידי בחינת מאגר נתונים ומטא-נתונים של סרטונים משויכים, ולאחר מכן הסרת חלקים מהסרטונים שלא רלוונטיים לצופה
- בדיקת תוכן וידאו
- עיבוד וידאו בזמן אמת
כשעובדים עם סרטונים, חשוב להבין איך הסרטונים מעובדים לטוקנים, כי זה משפיע על החיוב ועל מגבלות השימוש. מידע נוסף על יצירת הנחיות באמצעות קובצי וידאו זמין במדריך ליצירת הנחיות.
אודיו ארוך
מודלי Gemini היו המודלים הגדולים הראשונים של שפה (LLM) עם מולטי-מודאליות טבעית שיכלו להבין אודיו. בעבר, תהליך העבודה הרגיל של המפתחים כלל שילוב של כמה מודלים ספציפיים לתחום, כמו מודל המרת דיבור לטקסט ומודל יצירת טקסט על סמך טקסט, כדי לעבד אודיו. זה גרם לזמן אחזור נוסף שנדרש לביצוע כמה בקשות הלוך ושוב, ולירידה בביצועים שבדרך כלל מיוחסת לארכיטקטורות מנותקות של הגדרת כמה מודלים.
הנה כמה תרחישי שימוש חדשים וסטנדרטיים להקשר של אודיו:
- תמלול ותרגום בזמן אמת
- שאלות ותשובות על פודקאסטים או סרטונים
- תמלול וסיכום של פגישות
- עוזרים קוליים
במדריך לכתיבת הנחיות מוסבר איך להשתמש בקובצי אודיו בהנחיות.
אופטימיזציות של הקשר ארוך
האופטימיזציה העיקרית כשעובדים עם הקשר ארוך ועם מודלים של Gemini היא שימוש בשמירת הקשר במטמון. מעבר לחוסר היכולת לעבד הרבה אסימונים בבקשה אחת, המגבלה העיקרית השנייה הייתה העלות. אם יש לכם אפליקציה שמאפשרת למשתמשים לשוחח עם הנתונים שלהם, והמשתמש מעלה 10 קובצי PDF, סרטון וכמה מסמכים שקשורים לעבודה, בעבר הייתם צריכים להשתמש בכלי או במסגרת מורכבים יותר של שליפה משופרת של מידע (RAG) כדי לעבד את הבקשות האלה, ולשלם סכום משמעותי על טוקנים שהועברו לחלון ההקשר. עכשיו אפשר לשמור במטמון את הקבצים שהמשתמש מעלה ולשלם על אחסון שלהם לפי שעה. לדוגמה, עלות הקלט / פלט לכל בקשה ב-Gemini Flash נמוכה פי 4 בערך מעלות הקלט / פלט הרגילה. לכן, אם המשתמש משוחח עם הנתונים שלו מספיק, זה חוסך לכם כמפתחים הרבה כסף.
מגבלות של הקשר ארוך
בחלקים שונים של המדריך הזה, דיברנו על האופן שבו מודלים של Gemini משיגים ביצועים גבוהים בהערכות שונות של שליפת מידע מסוג "מחט בערימת שחת". הבדיקות האלה מתייחסות להגדרה הבסיסית ביותר, שבה אתם מחפשים מחט אחת. במקרים שבהם אתם מחפשים כמה 'מחטים' או פיסות מידע ספציפיות, הביצועים של המודל לא יהיו מדויקים באותה מידה. הביצועים יכולים להשתנות במידה רבה בהתאם להקשר. חשוב להביא את זה בחשבון כי יש פשרה מובנית בין אחזור המידע הנכון לבין העלות. אפשר לקבל ~99% בשאילתה אחת, אבל צריך לשלם את עלות טוקן הקלט בכל פעם ששולחים את השאילתה הזו. לכן, כדי לאחזר 100 פריטי מידע, אם נדרשים ביצועים של 99%, סביר להניח שתצטרכו לשלוח 100 בקשות. זו דוגמה טובה למצב שבו שמירת הקשר במטמון יכולה להפחית באופן משמעותי את העלות של השימוש במודלי Gemini, תוך שמירה על ביצועים גבוהים.
שאלות נפוצות
איפה הכי כדאי למקם את השאילתה בחלון ההקשר?
ברוב המקרים, במיוחד אם ההקשר הכולל ארוך, הביצועים של המודל יהיו טובים יותר אם תמקמו את השאלה או את הבקשה בסוף ההנחיה (אחרי כל ההקשר האחר).
האם הביצועים של המודל ירדו אם אוסיף עוד טוקנים לשאילתה?
באופן כללי, אם אתם לא צריכים להעביר טוקנים למודל, עדיף להימנע מכך. עם זאת, אם יש לכם נתח גדול של טוקנים עם מידע מסוים ואתם רוצים לשאול שאלות לגבי המידע הזה, המודל מסוגל מאוד לחלץ את המידע הזה (עד 99% דיוק במקרים רבים).
איך אפשר להקטין את העלות של שאילתות עם הקשר ארוך?
אם יש לכם קבוצה דומה של אסימונים או הקשר שאתם רוצים להשתמש בהם שוב ושוב, שמירת הקשר במטמון יכולה לעזור לכם להפחית את העלויות שקשורות לשאלת שאלות לגבי המידע הזה.
האם חלון ההקשר משפיע על זמן האחזור של המודל?
בכל בקשה יש זמן אחזור קבוע, בלי קשר לגודל, אבל בדרך כלל לשאילתות ארוכות יותר יהיה זמן אחזור ארוך יותר (הזמן עד לטוקן הראשון).