שיפור עוזרים לתכנות מבוססי-AI באמצעות הקשר ארוך של מודלים של Gemini

אחד מהתחומים המבטיחים ביותר לשימוש בחלונות עם הקשר ארוך הוא יצירה והבנה של קוד. בבסיסי קוד גדולים נדרשת הבנה מעמיקה של יחסי תלות מורכבים, וזו משימה שמודלים מסורתיים של AI מתקשים בה. הגדלת כמות הקוד באמצעות חלונות הקשר גדולים מאפשרת לנו להגיע לרמה חדשה של דיוק ושימושיות ביצירה ובהבנה של קוד.

שיתפנו פעולה עם Sourcegraph, יוצרי העוזר לתכנות מבוסס-AI‏ Cody שתומך במודלים של שפה גדולה (LLM) כמו Gemini 1.5 Pro ו-Flash, כדי לבחון את הפוטנציאל של חלונות הקשר ארוכים בתרחישי תכנות בעולם האמיתי. ההתמקדות של Sourcegraph בשילוב של חיפוש קוד ובינה מלאכותית ביצירת קוד, וההטמעה המוצלחת של Cody בארגונים עם בסיסי קוד גדולים ומורכבים כמו Palo Alto Networks ו-Leidos, הפכו אותם לשותף האידיאלי למחקר הזה.

חברת Sourcegraph השוותה בין הביצועים של Cody עם חלון הקשר של מיליון טוקנים (באמצעות Gemini 1.5 Flash של Google) לבין גרסת הייצור שלו. ההשוואה הישירה הזו אפשרה להם לבודד את היתרונות של ההקשר המורחב. הם התמקדו במתן תשובות לשאלות טכניות, משימה חשובה למפתחים שעובדים עם בסיסי קוד גדולים. הם השתמשו במערך נתונים של שאלות מאתגרות שדרשו הבנה מעמיקה של הקוד.

התוצאות היו מדהימות. שלושה ממדדי הביצועים המרכזיים של Sourcegraph – Essential Recall,‏ Essential Concision ו-Helpfulness – הראו שיפורים משמעותיים בשימוש בהקשר ארוך יותר.

• זיכרון חיוני: שיעור העובדות החשובות בתשובה גדל באופן משמעותי.

• תמציתיות חיונית: גם היחס בין העובדות החיוניות לבין אורך התשובה השתפר, מה שמצביע על תשובות תמציתיות ורלוונטיות יותר.

• מידת התועלת: הציון הכולל של מידת התועלת, שחולק באורך התשובה, עלה באופן משמעותי, מה שמצביע על חוויה ידידותית יותר למשתמש.

בנוסף, השימוש במודלים עם הקשר ארוך צמצם באופן משמעותי את שיעור ההזיות הכולל (יצירת מידע שגוי עובדתית). שיעור ההזיות ירד מ-18.97% ל-10.48%, שיפור משמעותי ברמת הדיוק והמהימנות.

למרות היתרונות המשמעותיים של הקשר ארוך, יש גם חסרונות. הזמן עד לטוקן הראשון עולה באופן לינארי עם אורך ההקשר. כדי לפתור את הבעיה הזו, Sourcegraph הטמיעה מנגנון לאחזור מראש וארכיטקטורה של מודל הקשר בשכבות לצורך שמירת מצב הביצוע של המודל במטמון. בעזרת מודלים של Gemini 1.5 Flash ו-Pro עם הקשר ארוך, הצלחנו לייעל את הזמן עד לטוקן הראשון מ-30-40 שניות לכ-5 שניות בהקשרים של 1MB – שיפור משמעותי ביצירת קוד בזמן אמת ובסיוע טכני.

השיתוף הזה מדגים את הפוטנציאל של מודלים עם הקשר ארוך לחולל מהפכה בהבנה וביצירה של קוד. אנחנו שמחים לשתף פעולה עם חברות כמו Sourcegraph כדי להמשיך לפתח עוד אפליקציות ופרדיגמות חדשניות עם חלונות הקשר גדולים.

כדי לקבל מידע נוסף על מתודולוגיות ההערכה המפורטות, על מדדי ההשוואה ועל הניתוח של Sourcegraph, כולל דוגמאות להמחשה, מומלץ לקרוא את פוסט הבלוג המפורט שלהם.