התאימו בין המודלים

יישור הוא התהליך של ניהול ההתנהגות של של בינה מלאכותית גנרטיבית (AI גנרטיבי) כדי להבטיח שהפלט שלה יתאים לצרכים של המוצרים שלך לציפיות שלכם. המאמצים האלה הם תחום מחקר פתוח ופעיל, ועליך להחליט מה המשמעות של התאמה של המודל למוצר שלך ואיך מתכוונים לאכוף את ההתאמה הזו. במסמך הזה נסביר על שיטות - תבניות הנחיות וכוונון מודלים - וכלים שמאפשרים לבצע ארגון מחדש וניפוי באגים שאתם שאפשר להשתמש בהם כדי להשיג את יעדי ההתאמה. למידע נוסף על יישור מודל יעדים וגישות, בינה מלאכותית, ערכים ויישור.

תבניות של הנחיות

תבניות של הנחיות, שנקראות גם הנחיות מערכת, מספקות הקשר לגבי המשתמש והפלט של המודל, בהתאם לתרחיש לדוגמה שלכם, הוראות המערכת כמה דוגמאות שמדגימות את הביטחון של המודל ותוצאות באיכות גבוהה יותר. לדוגמה, אם היעד שלך הוא של פרסומים מדעיים טכניים, ייתכן שתוכלו להיעזר תבנית להנחיות כמו:

The following examples show an expert scientist summarizing the
key points of an article. Article: {{article}}
Summary:

כאשר {{article}} הוא placeholder למאמר שרוצים לסכם.

תבניות של הנחיות שמותאמות להקשר יכולות לשפר משמעותית את האיכות והבטיחות בפלט של המודל. עם זאת, כתיבת תבניות של הנחיות יכולה להיות מאתגרת דורשת יצירתיות, ניסיון וכמות משמעותית של איטרציה. הספרייה 'יישור מודלים' מספקת שתי שיטות לשפר באופן חזרתי את העיצוב של תבניות ההנחיות בעזרת מודלים גדולים של שפה כמו Gemini. בנוסף, יש הרבה מדריכים ליצירת הנחיות, כולל שיטות מומלצות ל-Gemini API ול-Vertex AI.

תבניות של הנחיות בדרך כלל מספקות שליטה פחות יעילה על הפלט של המודל בהשוואה לכוונון, והם חשופים יותר לתוצאות לא מכוונות קלטים זדוניים. כדי להבין במדויק עד כמה תבנית של הנחיות להשגת יעדי בטיחות ספציפיים, חשוב להשתמש שלא נעשה בהם שימוש גם בפיתוח התבנית. כלים לניפוי באגים של הנחיות יכולים גם לעזור לכם להבין את האינטראקציות הספציפיות בין המערכת, המשתמש ותוכן המודל בהנחיות שהמודל רואה. באופן ספציפי, הם יכולים לחבר חלקים מהפלט שנוצר לתוכן הרלוונטי והמשפיע ביותר בהנחיה.

כוונון מודל

התאמת מודל מתחילה מנקודת עצירה, גרסה ספציפית של מודל, ומשתמשת במערך נתונים כדי לשפר את התנהגות המודל. מודלים של Gemma ומודלים אחרים של LLM זמינים גם בגרסת Pretrained (PT) וגם בגרסת Instruction Tuned (IT). בווריאנטים של PT מתייחסים להנחיה כקידומת להמשך, בעוד ש-IT מכווננים עברו כוונונים נוספים כדי להתייחס להנחיה כסדרת הוראות שמתאר איך לבצע משימה. ברוב המקרים כדאי להתחיל עם בירושה, כדי לרשת את היתרונות הבסיסיים של מעקב אחר הוראות ושל בטיחות, ייתכן שיידרש כוונון נוסף כדי להשיג את היעדים הספציפיים של האפליקציה.

כוונון המודלים לשמירה על בטיחות הוא עדין ומאתגר. אם מודל עבר התאמה מוגזמת, הוא עלול לאבד יכולות חשובות אחרות. לדוגמה, אפשר להיכנס אל בעיה של הפרעות קטסטרופליות. בנוסף, ההתנהגות הבטוחה של מודל היא בהקשר. מה נחשב בטוח לאפליקציה אחת? לא בטוח עבור מכשיר אחר. אם הביצועים של המודל לא משתפרים אחרי שערכתם לו עוד שינויים לשיפור הבטיחות, כדאי להשתמש במקום זאת באמצעי הגנה לאכיפת כללי המדיניות ההתנהגותית שלכם.

שתי הגישות המוכרות ביותר לשיפור מודלים של LLM הן כוונון מדויק בפיקוח (SFT) ולמידת חיזוק (RL).

• כוונון עדין מפוקח (SFT) משתמש במערך נתונים של דוגמאות לקידוד בהתנהגות הרצויה של האפליקציה על ידי הוספת תוויות לנתונים. כדי להשתמש ב-SFT: לכוונן את המודל לבטיחות, כדי שיהיה צורך במערך נתונים עם דוגמאות והתנהגויות לא בטוחות, כדי שהמודל יוכל ללמוד להבחין להבדלים.
• למידת חיזוק מהעדפות אנושיות (RLHF) משתמשת במודל תגמולים לתת ציון ליצורות של מודלים גדולים של שפה (LLM) על סמך התאימות שלהם למודלים התנהגותיים . בדומה ל-SFT, צריך לאמן את מודל התגמולים של RLHF כדי ליצור ציון מתאים. בזמן יקר יותר, RLHF יכול להניב ביצועים טובים יותר בתור מודל הפרס שיש לו יותר גמישות לקודד ניואנסים בניקוד.

בשתי הטכניקות, התוצאות הסופיות תלויות במידה רבה באיכות את נתוני הכוונון. אחרי שתקבלו את הנתונים המתאימים, תוכלו לכוונן מודל Gemma באמצעות KerasNLP.

מדריך כוונון הוראות Gemma

פתיחת Google Colab

הדרישות והמאפיינים של הנתונים

מחקרים הראו שאיכות הנתונים חשובה לרוב יותר מכמותם, לכן כדאי להשקיע זמן בבדיקת דוגמאות האימון כדי לוודא את איכות הנתונים (Touvron, 2023;‏ Zhou, 2023).

שתי גישות נפוצות לבחירת נתוני אימון והערכה לצורך כוונון הן יצירת קלט של משתמשים באופן ידני או בעזרת מודלים מסוג LLM. יצירת נתונים על בני אדם היא לעיתים קרובות היא באיכות גבוהה יותר ודורשת פחות פיקוח מאשר נתונים שנוצרו על ידי מודל שפה גדול (LLM), אבל קשה יותר לבצע בו התאמה לעומס (scaling), והרבה יותר יקר.

נתונים מבוקרים של כוונון עדין

הנתונים לשיפור עדין של הבטיחות מבוססים במידה רבה על דוגמאות לשאילתות של משתמשים שצפויות לגרום לתגובה של מודל שמפירה את מדיניות התוכן שלכם. במהלך שלב ה-SFT, המודל בדרך כלל מכוונן בהתאם לצמדים של יריבים עם תשובות בטוחות. יש שני סוגים של שאילתות זדוניות. שאילתות שבוצעו מתוך כוונה טובה, שעלולות לגרום בטעות להתנהגות לא מכוונת של האפליקציה, ושאילתות שתוכננו על ידי משתמשים עוינים שמטרתם לגרום למערכת לפעול בדרכים לא רצויות. פרטים נוספים זמינים במאמר מדריך בנושא הערכת המודל והמערכת לשמירה על בטיחות.

דוגמה לנקודת נתונים של כוונון עדין של בטיחות

נתוני RL

למידת חיזוק היא תהליך דו-שלבי. השלב הראשון הוא אימון מודל התגמול, והשלב השני הוא שימוש במודל התגמול כדי לאמן את מודל האפליקציה. כדי לאמן את מודל התגמול, נדרשות שאילתות של משתמשים, שבדרך כלל כוללות שתי תשובות אפשריות ותווית שמציינת לאיזו מהשתיים צריך להעדיף. נקודת נתונים אופיינית נראית כך:

דוגמה לנקודת נתונים של בטיחות ב-RLHF

בשלב השני של RLHF, צריך רק קבוצה של שאילתות משתמש. במקרה הספציפי של בטיחות, חשוב לאזן היטב את מערך הנתונים עם שאילתות יריבות ושאילתות לא יריבות. מידע נוסף על נתונים עוינים זמין בקטע בדיקת המודל והמערכת לבטיחות.

שיטות מומלצות לכוונון מודל

כפי שצוין קודם, איכות קבוצת ההתאמה קובעת את איכות המודל הסופי. כשיוצרים את מערך הנתונים לכוונון, כדאי להביא בחשבון את הגורמים הבאים:

• כיסוי הנתונים: מערך הנתונים צריך לכלול את כל כללי מדיניות התוכן שלכם. לכל אחד מהתרחישים לדוגמה של המוצרים שלכם (למשל: מענה לשאלות, סיכום, ונימוק).
• מגוון נתונים: המגוון של מערך הנתונים הוא המפתח להבטחת התאמת המודל בצורה נכונה והיקף שלו על פני מאפיינים רבים. יכול להיות שתצטרכו לכלול שאילתות באורך שונה, ניסוח שונה (אישורי, שאלות וכו'), גוונים, נושאים, רמות מורכבות וגם מונחים שקשורים לזהויות ולשיקולים דמוגרפיים.
• ניפוי כפילויות: בדומה לנתונים של אימון מראש, הסרת נתונים כפולים מפחיתה את הסיכון לכך שנתוני ההתאמה יישמרו בזיכרון, וגם מקטינה את הגודל של קבוצת ההתאמה.
• זיהום בקבוצות הערכה: צריך להסיר את הנתונים ששימשו להערכה מנתוני ההתאמה.
• נוהלי טיפול בנתונים הם מעבר לסינון: נתונים שתויגו בצורה שגויה הוא מקור נפוץ לשגיאות מודלים. להציע הוראה ברורה לאנשים שנמצאים האחראי לתיוג הנתונים, הצוות שלכם או מדרגים חיצוניים, משתמשים בפלטפורמות לסיווג קהל, ושואפים מגוון מאגרי המדרגים כדי למנוע הטיה לא הוגנת.

משאבים למפתחים

• מערכי נתונים של כוונון באיכות גבוהה, כולל נתונים שקשורים לבטיחות:
  • מערך הנתונים של Anthropoic ל-RLHF
  • מערכי נתונים מסוג Safety-Tuned LLaMAs
• המדריך של Google בנושא אנשים ו-AI מספק תובנות מעמיקות לגבי גישה אחראית לאיסוף ולעיבוד נתונים.
• אתר של LIT