יישור המודל

יצירת הנחיה למודל בינה מלאכותית (AI), כמו Gemini או Gemma, שמשקפת בצורה מושלמת את הכוונה שלכם היא משימה לא פשוטה. לעיתים קרובות צריך לכתוב הנחיה ביד ולאחר מכן לבדוק אותה במגוון תרחישים לדוגמה כדי לוודא שהיא מתאימה לצרכים שלכם. על סמך התוצאות, אפשר לבצע עדכונים ממוקדים להנחיה: שינוי כמה מילים במקום אחד, הוספת משפט חדש אחר. התהליך הזה לא מאוד עקרוני ועשוי לא להוביל לתוצאות הטובות ביותר תוצאות.

Google פיתחה שיטה שמשתמשת במודלים גדולים של שפה (LLM) כדי: תעדכן אוטומטית תבנית בקשה על סמך משוב שאתם מספקים לגבי הפלט של המודל בשפה פשוטה. המשוב שלכם, יחד עם ההנחיה והפלט של המודל, נשלחים ל-LLM שמעדכן כך שיתאים בצורה טובה יותר להתנהגות הרצויה.

יש שתי דרכים להשתמש בשיטה הזו:

• ספריית Python‏ model-alignment בקוד פתוח מאפשרת לשלב את הגישה הזו בתוכנה ובתהליכי העבודה בצורה גמישה.
• גרסה של הגישה הזו משולבת ב-Vertex AI Studio, ומאפשרת לכם להשתמש בתהליך העבודה הזה בכמה קליקים בלבד.

ספרייה בקוד פתוח

'יישור מודל' היא ספריית Python בקוד פתוח, שהושקה חבילה ב-PyPI שמאפשרת להתאים הנחיות ממשתמשים לשליחת משוב באמצעות ממשק API. הספרייה מבוססת על המחקר שלנו בנושא עדכון הנחיות באמצעות משוב אנושי יצירה אוטומטית של מסווג מנתונים מתויגים.

איך יוצרים תבניות הנחיה ל-Gemma באמצעות ספריית התאמת המודלים

הפעלת Google Colab

הספרייה הזו תומכת בשני תהליכי עבודה לעדכון אוטומטי של תבניות הנחיות:

1. עדכונים חוזרים ונשנים על סמך העקרונות. בתהליך העבודה הזה נעשה שימוש ב-LLM כדי לקבל הנחיות מביקורות עקיפות על הפלט של המודל, או מעריכות ישירות של הפלט של המודל. אפשר ליצור הנחיה אחת או יותר באופן איטרטיבי לפני ששולחים אותן ל-LLM, שמעדכן את תבנית ההנחיה בהתאם להנחיות האלה. אפשר גם לבחור הנחיות באופן ידני ולכלול אותן לצד הנחיות שסוננו על ידי LLM.
2. ביקורת ישירה על הפלט של המודל. תהליך העבודה הזה מבוסס על המשוב שלך על כל הפלט של המודל ונותן אותו, יחד עם ההנחיה והמודל פלט ישירות ל-LLM כדי ליצור תבנית של הנחיות מעודכנת.

שני תהליכי העבודה האלה יכולים להועיל לאפליקציה. הבולט ביותר נקודת השוואה היא נוכחות של הנחיות, שיכולות להיות תהליך שימושי קונקרטי שיכול לעזור לקבל מידע מועיל, כמו הגישה שלכם שקיפות.

איור 1. בתרשים התהליך הזה מוצגים המקומות והאופן שבהם שתי זרימות העבודה של ספריית התאמת המודלים נפרדות, כדי לאפשר עדכונים מבוססי הנחיות או עדכונים ישירים של תבניות ההנחיות. חשוב לזכור שהתהליך הוא איטרטיבי, ותהליכי העבודה האלה לא משלימים זה את זה, כך שאפשר לעבור ביניהם בכל שלב.

כדאי לעיין במחברות Colab שבהן נעשה שימוש ב-Gemini כדי ליישר את ההנחיות ל-Gemma 2 באמצעות שני תהליכי העבודה.

התאמה ב-Vertex AI Studio

Google הוסיפה ל-Vertex AI Studio את התכונה refine prompt (שיפור ההנחיה) על סמך תהליך העבודה הישיר מהספרייה בקוד פתוח Model Alignment, כדי להשלים את הכלים ליצירה, להרצה, להערכה ולהשוואה.

אחרי שמריצים הנחיה, אפשר לשלוח משוב על הדרכים שבהן המודל צריך להתנהג אחרת, ו-Vertex AI Studio משתמש ב-Gemini כדי לשכתוב. תוכלו לקבל את השינויים המוצעים ולהריץ מחדש את ההנחיה המעודכנת בלחיצה על לחצן, או לעדכן את המשוב ולבקש מ-Gemini לנסח אחרת מועמד או מועמדת.

איור 2. התכונה 'שיפור ההנחיה' ב-Vertex AI Studio משמשת לעדכון הנחיה על סמך משוב מהמשתמשים.

קישורים

אתם יכולים לבדוק בעצמכם את ההתאמה של המודלים:

• מריצים את ה-notebook הזה של Colab שמשתמש ב-Gemini כדי ליישר קו הנחיות למודל Gemma 2 עם המשקולות הפתוחות שלנו, תוך שימוש בשתי גישות ההתאמה.
• אפשר לנסות את התכונה 'צמצום ההנחיה' יישור מודל Vertex AI Studio.