שיפור עוזרים דיגיטליים מבוססי-AI לתכנות באמצעות הקשר הארוך של מודלים של Gemini

אחד התחומים המבטיחים ביותר לשימוש בחלונות הקשר ארוכים הוא יצירה והבנה של קוד. בסיסי קוד גדולים דורשים הבנה מעמיקה של יחסי גומלין ותלות מורכבים, וזו משימה שמודלים מסורתיים של AI מתקשים בה. הגדלת כמות הקוד באמצעות חלונות הקשר גדולים מאפשרת לנו להגיע לרמה חדשה של דיוק ושימושיות בהבנה וביצירה של קוד.

שיתפנו פעולה עם Sourcegraph, היוצרים של Cody AI coding assistant שתומך ב-LLM כמו Gemini 1.5 Pro ו-Flash, כדי לבחון את הפוטנציאל של חלונות הקשר ארוכים בתרחישי קידוד בעולם האמיתי. ההתמקדות של Sourcegraph בשילוב של חיפוש קוד ובינה מלאכותית ביצירת קוד, וההטמעה המוצלחת של Cody בארגונים עם בסיסי קוד גדולים ומורכבים כמו Palo Alto Networks ו-Leidos, הפכו אותם לשותף האידיאלי למחקר הזה.

חברת Sourcegraph השוותה בין הביצועים של Cody עם חלון הקשר של מיליון טוקנים (באמצעות Gemini 1.5 Flash של Google) לבין גרסת הייצור שלו. ההשוואה הישירה הזו אפשרה להם לבודד את היתרונות של ההקשר המורחב. הם התמקדו במתן תשובות לשאלות טכניות, משימה חשובה למפתחים שעובדים עם בסיסי קוד גדולים. הם השתמשו במערך נתונים של שאלות מאתגרות שדרשו הבנה מעמיקה של הקוד.

התוצאות היו מדהימות. שלושה מהמדדים המרכזיים של Sourcegraph – Essential Recall,‏ Essential Concision ו-Helpfulness – הראו שיפורים משמעותיים בשימוש בהקשר ארוך יותר.

• זיכרון חיוני: שיעור העובדות החשובות בתשובה גדל באופן משמעותי.

• תמציתיות חיונית: גם הפרופורציה של העובדות החיוניות שנוּרמלה לפי אורך התשובה השתפרה, מה שמצביע על תשובות תמציתיות ורלוונטיות יותר.

• מועילות: ציון המועילות הכולל, שבוצע בו נרמול לפי אורך התגובה, עלה באופן משמעותי, מה שמצביע על חוויה ידידותית יותר למשתמש.

בנוסף, השימוש במודלים עם הקשר ארוך צמצם באופן משמעותי את שיעור ההזיות הכולל (יצירת מידע שגוי עובדתית). שיעור ההזיות ירד מ-18.97% ל-10.48%, שיפור משמעותי ברמת הדיוק והמהימנות.

למרות היתרונות המשמעותיים של הקשר ארוך, יש גם חסרונות. הזמן עד לטוקן הראשון עולה באופן לינארי עם אורך ההקשר. כדי לפתור את הבעיה הזו, Sourcegraph הטמיעה מנגנון לאחזור מראש וארכיטקטורה של מודל הקשר בשכבות לצורך שמירת מצב הביצוע של המודל במטמון. עם מודלים של Gemini 1.5 Flash ו-Pro עם הקשר ארוך, הזמן עד לטוקן הראשון עבר אופטימיזציה מ-30-40 שניות לכ-5 שניות עבור הקשרים של 1MB – שיפור משמעותי ליצירת קוד בזמן אמת ולסיוע טכני.

השיתוף הזה מדגים את הפוטנציאל של מודלים עם הקשר ארוך לחולל מהפכה בהבנת קוד וביצירת קוד. אנחנו נרגשים לשתף פעולה עם חברות כמו Sourcegraph כדי להמשיך לפתח עוד אפליקציות ופרדיגמות חדשניות עם חלונות הקשר גדולים.

כדי לקבל מידע נוסף על מתודולוגיות ההערכה המפורטות, על נקודות ההשוואה ועל הניתוח של Sourcegraph, כולל דוגמאות להמחשה, מומלץ לקרוא את פוסט הבלוג המפורט שלהם.