שיפור עוזרים דיגיטליים מבוססי-AI לתכנות באמצעות הקשר הארוך של מודלים של Gemini

אחד התחומים המבטיחים ביותר לשימוש בחלונות הקשר ארוכים הוא יצירה והבנה של קוד. בסיסי קוד גדולים דורשים הבנה מעמיקה של יחסי גומלין ותלות מורכבים, וזו משימה שמודלים מסורתיים של AI מתקשים בה. הגדלת כמות הקוד באמצעות חלונות הקשר גדולים מאפשרת לנו להגיע לרמה חדשה של דיוק ושימושיות ביצירה ובהבנה של קוד.

שיתפנו פעולה עם Sourcegraph, יוצרי העוזר לתכנות מבוסס-AI‏ Cody שתומך במודלים של שפה גדולים כמו Gemini 1.5 Pro ו-Flash, כדי לבחון את הפוטנציאל של חלונות הקשר ארוכים בתרחישי תכנות בעולם האמיתי. ההתמקדות של Sourcegraph בשילוב של חיפוש קוד ובינה מלאכותית ביצירת קוד, וההטמעה המוצלחת של Cody בארגונים עם בסיסי קוד גדולים ומורכבים כמו Palo Alto Networks ו-Leidos, הפכו אותם לשותף האידיאלי למחקר הזה.

חברת Sourcegraph השוותה בין הביצועים של Cody עם חלון הקשר של מיליון טוקנים (באמצעות Gemini 1.5 Flash של Google) לבין גרסת הייצור שלו. ההשוואה הישירה הזו אפשרה להם לבודד את היתרונות של ההקשר המורחב. הם התמקדו במתן תשובות לשאלות טכניות, משימה חשובה למפתחים שעובדים עם בסיסי קוד גדולים. הם השתמשו במערך נתונים של שאלות מאתגרות שדרשו הבנה מעמיקה של הקוד.

התוצאות היו מדהימות. שלושה מהמדדים המרכזיים של Sourcegraph – Essential Recall,‏ Essential Concision ו-Helpfulness – הראו שיפורים משמעותיים בשימוש בהקשר ארוך יותר.

• זיכרון חיוני: שיעור העובדות החשובות בתשובה גדל באופן משמעותי.

• תמציתיות חיונית: גם הפרופורציה של העובדות החיוניות שנוּרמלה לפי אורך התשובה השתפרה, מה שמצביע על תשובות תמציתיות ורלוונטיות יותר.

• מועילות: ציון המועילות הכולל, שבוצע בו נרמול לפי אורך התגובה, עלה באופן משמעותי, מה שמצביע על חוויה ידידותית יותר למשתמש.

בנוסף, השימוש במודלים עם הקשר ארוך צמצם באופן משמעותי את שיעור ההזיות הכולל (יצירת מידע שגוי עובדתית). שיעור ההזיות ירד מ-18.97% ל-10.48%, שיפור משמעותי ברמת הדיוק והמהימנות.

למרות היתרונות המשמעותיים של הקשר ארוך, יש גם חסרונות. הזמן עד לטוקן הראשון עולה באופן לינארי עם אורך ההקשר. כדי לפתור את הבעיה הזו, Sourcegraph הטמיעה מנגנון לאחזור מראש וארכיטקטורה של מודל הקשר בשכבות לצורך שמירת מצב הביצוע של המודל במטמון. בעזרת מודלים של Gemini 1.5 Flash ו-Pro עם הקשר ארוך, הצלחנו לקצר את הזמן עד לטוקן הראשון מ-30-40 שניות לכ-5 שניות בהקשרים של 1MB – שיפור משמעותי ביצירת קוד בזמן אמת ובסיוע טכני.

השיתוף הזה מדגים את הפוטנציאל של מודלים עם הקשר ארוך לחולל מהפכה בהבנה וביצירה של קוד. אנחנו נרגשים לשתף פעולה עם חברות כמו Sourcegraph כדי להמשיך לפתח עוד אפליקציות ופרדיגמות חדשניות עם חלונות הקשר גדולים.

כדי לקבל מידע נוסף על מתודולוגיות ההערכה המפורטות, על נקודות ההשוואה ועל הניתוח של Sourcegraph, כולל דוגמאות להמחשה, מומלץ לקרוא את פוסט הבלוג המפורט שלהם.