למודלים רבים של Gemini יש חלונות הקשר גדולים של מיליון טוקנים או יותר. בעבר, מודלים גדולים של שפה (LLM) היו מוגבלים באופן משמעותי בכמות הטקסט (או הטוקנים) שאפשר להעביר למודל בכל פעם. חלון ההקשר הארוך של Gemini פותח הרבה תרחישי שימוש חדשים ופרדיגמות למפתחים.
הקוד שאתם כבר משתמשים בו למקרים כמו יצירת טקסט או קלט מולטימודלי יעבוד בלי שינויים עם הקשר ארוך.
במסמך הזה מוסבר מה אפשר לעשות באמצעות מודלים עם חלונות הקשר של מיליון טוקנים או יותר. הדף מספק סקירה קצרה של חלון הקשר, ומסביר איך מפתחים צריכים לחשוב על הקשר ארוך, תרחישי שימוש שונים בעולם האמיתי להקשר ארוך ודרכים לייעל את השימוש בהקשר ארוך.
בדף מודלים מפורטים גדלי חלונות ההקשר של מודלים ספציפיים.
מה זה חלון הקשר?
הדרך הבסיסית להשתמש במודלים של Gemini היא להעביר מידע (הקשר) למודל, והוא ייצור תשובה. אפשר להשוות את חלון ההקשר לזיכרון לטווח קצר. יש כמות מוגבלת של מידע שאפשר לאחסן בזיכרון לטווח קצר של אדם, וזה נכון גם לגבי מודלים גנרטיביים.
ב-Gemini 4 (gemini-4-argon), חלון ההקשר של מיליון טוקנים משותף לטוקנים של קלט, חשיבה ופלט, והמודל יכול ליצור עד מיליון טוקנים של פלט באמצעות פענוח ארוך. אם מספר הטוקנים של הקלט בתוספת max_output_tokens חורג מ-1,048,576 טוקנים, ה-API מגביל אוטומטית את הפלט למקום שנותר בחלון ההקשר (1,048,576 פחות הטוקנים של הקלט). בגרסאות קודמות של מודלים Gemini 3 ו-Gemini 2.5, יש מכסות נפרדות של מיליון אסימונים לקלט ו-64,000 אסימונים לפלט.
מידע נוסף על אופן הפעולה של המודלים זמין במדריך למודלים גנרטיביים.
תחילת העבודה עם הקשר רחב
גרסאות קודמות של מודלים גנרטיביים יכלו לעבד רק 8,000 טוקנים בכל פעם. בדגמים חדשים יותר, המגבלה הזו גדולה יותר, והם יכולים לקבל 32,000 או אפילו 128,000 טוקנים. Gemini הוא המודל הראשון שיכול לקבל מיליון טוקנים.
בפועל, מיליון טוקנים יכולים להיראות ככה:
- 50,000 שורות קוד (עם 80 תווים סטנדרטיים בכל שורה)
- כל הודעות ה-SMS ששלחתם ב-5 השנים האחרונות
- 8 רומנים באנגלית באורך ממוצע
- תמלילים של יותר מ-200 פרקים של פודקאסטים באורך ממוצע
חלונות ההקשר המוגבלים יותר שקיימים בדרך כלל במודלים רבים אחרים מחייבים שימוש באסטרטגיות כמו השמטה שרירותית של הודעות ישנות, סיכום תוכן, שימוש ב-RAG עם מסדי נתונים וקטוריים או סינון הנחיות כדי לחסוך בטוקנים.
הטכניקות האלה עדיין שימושיות בתרחישים ספציפיים, אבל חלון ההקשר הרחב של Gemini מאפשר גישה ישירה יותר: לספק את כל המידע הרלוונטי מראש. המודלים של Gemini פותחו במיוחד עם יכולות הקשר עצומות, ולכן הם מפגינים יכולות למידה חזקות בהקשר. לדוגמה, באמצעות חומרי הדרכה בהקשר בלבד (ספר דקדוק של 500 עמודים, מילון וכ-400 משפטים מקבילים), Gemini למד לתרגם מאנגלית לקלמנג – שפה פפואנית עם פחות מ-200 דוברים – באיכות דומה לזו של אדם שלומד באמצעות אותם חומרים. זה ממחיש את שינוי הפרדיגמה שמתאפשר בזכות ההקשר הארוך של Gemini, שפותח אפשרויות חדשות באמצעות למידה חזקה בהקשר.
תרחישי שימוש בהקשר ארוך
למרות שתרחיש השימוש הסטנדרטי ברוב המודלים הגנרטיביים הוא עדיין קלט טקסט, משפחת המודלים של Gemini מאפשרת פרדיגמה חדשה של תרחישי שימוש מולטי-מודאליים. המודלים האלה יכולים להבין באופן טבעי טקסט, וידאו, אודיו ותמונות. לנוחותכם, הם מגיעים עם Gemini API שמקבל סוגים של קבצים מולטי-מודאליים.
טקסט ארוך
הטקסט הוא שכבת המידע שעליה מבוססת רוב ההתקדמות בתחום של מודלי שפה גדולים. כמו שציינתי קודם, הרבה מהמגבלות המעשיות של מודלים גדולים של שפה (LLM) נבעו מכך שלא היה להם חלון הקשר גדול מספיק כדי לבצע משימות מסוימות. זה הוביל לאימוץ מהיר של יצירה משולבת-אחזור (RAG) וטכניקות אחרות שמספקות למודל מידע הקשרי רלוונטי באופן דינמי. עכשיו, עם חלונות הקשר גדולים יותר ויותר, יש טכניקות חדשות שמאפשרות תרחישי שימוש חדשים.
הנה כמה תרחישי שימוש חדשים ורגילים להקשר ארוך שמבוסס על טקסט:
- סיכום של מאגרי טקסט גדולים
- כדי להשתמש באפשרויות סיכום קודמות עם מודלים קטנים יותר של הקשר, צריך להשתמש בחלון נע או בטכניקה אחרת כדי לשמור את המצב של הקטעים הקודמים כשמועברים טוקנים חדשים למודל.
- שאלות ותשובות
- בעבר זה היה אפשרי רק עם RAG, בגלל הכמות המוגבלת של ההקשר והיכולת הנמוכה של המודלים לשלוף עובדות.
- תהליכי עבודה אג'נטיים
- הטקסט הוא הבסיס שמאפשר לסוכנים לעקוב אחרי מה שהם עשו ומה שהם צריכים לעשות. אם אין מספיק מידע על העולם ועל המטרה של הסוכן, זה מגביל את האמינות של הסוכנים.
למידה בהקשר עם הרבה דוגמאות היא אחת מהיכולות הייחודיות ביותר שמתאפשרות על ידי מודלים עם הקשר ארוך. מחקרים הראו שאם לוקחים את הפרדיגמה הנפוצה של דוגמה "בניסיון אחד" או "בכמה ניסיונות", שבה מוצגת למודל דוגמה אחת או כמה דוגמאות למשימה, ומרחיבים אותה למאות, לאלפי או אפילו למאות אלפי דוגמאות, אפשר להגיע ליכולות חדשות של המודל. הוכח גם שהגישה הזו של למידה עם הרבה דוגמאות פועלת באופן דומה למודלים שעברו כוונון עדין למשימה ספציפית. בתרחישי שימוש שבהם הביצועים של מודל Gemini עדיין לא מספיקים להשקה בסביבת ייצור, אתם יכולים לנסות את הגישה של למידה עם הרבה דוגמאות. כפי שאפשר לראות בהמשך, בקטע על אופטימיזציה של הקשר ארוך הטווח, שמירת הקשר במטמון הופכת את סוג עומס העבודה הזה של טוקנים עם נתוני קלט רבים לכלכלי הרבה יותר, ובמקרים מסוימים גם מקצר את זמן האחזור.
סרטון ארוך
השימוש בקטעי וידאו הוגבל במשך זמן רב בגלל חוסר הנגישות של המדיום עצמו. היה קשה לסרוק את התוכן, התמלילים לרוב לא הצליחו לתעד את הניואנסים של סרטון, ורוב הכלים לא מעבדים תמונה, טקסט ואודיו ביחד. היכולות של Gemini לעיבוד טקסט עם הקשר ארוך מאפשרות לו להסיק מסקנות ולענות על שאלות לגבי קלט מולטי-מודאלי עם ביצועים עקביים.
הנה כמה תרחישי שימוש חדשים ורגילים להקשר ארוך בסרטונים:
- שאלות ותשובות בסרטונים
- זיכרון וידאו, כמו שמוצג ב-פרויקט Astra של Google
- כתוביות לסרטונים
- מערכות להמלצות על סרטונים, על ידי העשרת המטא-נתונים הקיימים באמצעות הבנה מולטי-מודאלית חדשה
- התאמה אישית של סרטונים, על ידי בחינת מאגר נתונים ומטא-נתונים של סרטונים משויכים, ולאחר מכן הסרת חלקים מהסרטונים שלא רלוונטיים לצופה
- ניהול תוכן של סרטונים
- עיבוד וידאו בזמן אמת
כשעובדים עם סרטונים, חשוב להבין איך הסרטונים מעובדים לטוקנים, כי זה משפיע על החיוב ועל מגבלות השימוש. במדריך להנדסת פרומפטים יש מידע נוסף על הנדסת פרומפטים עם קובצי וידאו.
תוכן אודיו ארוך
מודלי Gemini היו מודלי השפה הגדולים (LLM) הראשונים שהיו מולטי-מודאליים באופן טבעי ויכלו להבין אודיו. בעבר, תהליך העבודה הטיפוסי של מפתחים כלל שרשור של כמה מודלים ספציפיים לדומיין, כמו מודל של המרת דיבור לטקסט (STT) ומודל של יצירת טקסט על סמך טקסט, כדי לעבד אודיו. זה גרם לזמן אחזור נוסף שנדרש לביצוע כמה בקשות הלוך ושוב, ולירידה בביצועים שבדרך כלל מיוחסת לארכיטקטורות מנותקות של הגדרת כמה מודלים.
הנה כמה תרחישי שימוש חדשים ונפוצים בהקשר של אודיו:
- תמלול ותרגום בזמן אמת
- שאלות ותשובות על פודקאסטים או סרטונים
- תמלול וסיכום של פגישות
- עוזרים קוליים
במדריך לכתיבת הנחיות מוסבר איך להשתמש בקובצי אודיו בהנחיות.
אופטימיזציה של הקשר ארוך
האופטימיזציה העיקרית כשעובדים עם הקשר ארוך ומודלים של Gemini היא להשתמש בשמירת הקשר במטמון. מעבר לחוסר היכולת לעבד הרבה אסימונים בבקשה אחת, המגבלה העיקרית השנייה הייתה העלות. אם יש לכם אפליקציה שמאפשרת למשתמשים לשוחח עם הנתונים שלהם, והמשתמש מעלה 10 קובצי PDF, סרטון וכמה מסמכים שקשורים לעבודה, בעבר הייתם צריכים להשתמש בכלי או במסגרת מורכבים יותר של שליפה משופרת של מידע (RAG) כדי לעבד את הבקשות האלה, ולשלם סכום משמעותי על טוקנים שהועברו לחלון ההקשר. עכשיו אפשר לשמור במטמון את הקבצים שהמשתמש מעלה ולשלם על אחסון שלהם לפי שעה. לדוגמה, עלות הקלט / פלט לכל בקשה ב-Gemini Flash נמוכה פי 4 בערך מעלות הקלט / פלט הרגילה. לכן, אם המשתמש משוחח עם הנתונים שלו מספיק, זה חוסך לכם כמפתחים הרבה כסף.
מגבלות של הקשר ארוך
בחלקים שונים של המדריך הזה, דיברנו על האופן שבו מודלים של Gemini משיגים ביצועים גבוהים בהערכות שונות של שליפת מידע מסוג "מחט בערימת שחת". הבדיקות האלה מתייחסות להגדרה הבסיסית ביותר, שבה אתם מחפשים מחט אחת. במקרים שבהם אתם מחפשים כמה 'מחטים' או פיסות מידע ספציפיות, הביצועים של המודל לא יהיו מדויקים באותה מידה. הביצועים יכולים להשתנות במידה רבה בהתאם להקשר. חשוב להביא את זה בחשבון כי יש פשרה מובנית בין אחזור המידע הנכון לבין העלות. אפשר לקבל ~99% בשאילתה אחת, אבל צריך לשלם את עלות טוקן הקלט בכל פעם ששולחים את השאילתה הזו. לכן, כדי לאחזר 100 פריטי מידע, אם אתם צריכים ביצועים של 99%, סביר להניח שתצטרכו לשלוח 100 בקשות. זו דוגמה טובה למצב שבו שמירת הקשר במטמון יכולה להפחית באופן משמעותי את העלות של השימוש במודלי Gemini, תוך שמירה על ביצועים גבוהים.
שאלות נפוצות
איפה הכי כדאי למקם את השאילתה בחלון ההקשר?
ברוב המקרים, במיוחד אם ההקשר הכולל ארוך, המודל יפעל טוב יותר אם תציבו את השאילתה או השאלה בסוף ההנחיה (אחרי כל שאר ההקשר).
האם ביצועי המודל נפגעים כשמוסיפים עוד אסימונים לשאילתה?
באופן כללי, אם אתם לא צריכים להעביר טוקנים למודל, עדיף להימנע מכך. עם זאת, אם יש לכם כמות גדולה של אסימונים עם מידע מסוים ואתם רוצים לשאול שאלות לגבי המידע הזה, המודל מסוגל לחלץ את המידע הזה (עד 99% דיוק במקרים רבים).
איך אפשר להקטין את העלות של שאילתות עם הקשר ארוך?
אם יש לכם קבוצה דומה של אסימונים או הקשר שאתם רוצים להשתמש בהם שוב ושוב, שמירת הקשר במטמון יכולה לעזור לכם להפחית את העלויות שקשורות לשאלת שאלות לגבי המידע הזה.
האם חלון ההקשר משפיע על זמן האחזור של המודל?
יש כמות קבועה של זמן אחזור בכל בקשה, בלי קשר לגודל שלה, אבל בדרך כלל לשאילתות ארוכות יותר יהיה זמן אחזור גבוה יותר (הזמן עד לטוקן הראשון).