מידע על מודלים גנרטיביים

מודלים של בינה מלאכותית (AI) גנרטיבית, כמו Gemini יכולים ליצור תוכן מסוגים שונים של קלט, כולל טקסט, תמונות ואודיו. ברמה הבסיסית ביותר, המודלים האלה פועלים באופן הבא: של אפליקציות מתוחכמות של השלמה אוטומטית. להזין את טקסט הקלט ("יכול להוביל סוס) ל-water,' מודל גנרטיבי יכול לחזות שטקסט הפלט סבירות סטטיסטית גבוהה יותר ("אבל אי אפשר להכין את זה לשתות"), על סמך דפוסים שנלמדו מנתוני האימון שלהם. אפשר להשתמש במאפיין הבסיסי הזה של מודלים גנרטיביים לאפליקציות שונות:

  • ליצור כתיבה יצירתית כמו שירה, סיפורים קצרים, מטאפורות פוסטים בבלוגים
  • המרת נתונים מובְנים לטקסט חופשי
  • חילוץ וסיכום מידע מטקסט חופשי
  • הפק קוד
  • תרגום בין שפות

השימוש במודלים גנרטיביים לפיתוח התכונות האלה לא מחייב ולמידת מכונה (ML). לא צריך לאסוף מערך נתונים גדול או לאמן מודל טרנספורמר. כל מה שצריך כדי להתחיל את אב הטיפוס הראשון הוא לתאר את מה שאתם רוצים את המודל בכמה משפטים.

המודלים הגנרטיביים שמטפלים רק בקלט ובפלט של טקסט נקראים גם מודלים גדולים של שפה (LLM). משפחת המודלים של Gemini יכולה לעבד מאשר בנתוני טקסט, ולמרות שהם יכולים לבצע את הפונקציות של מודל שפה גדול, נקראים גם מודלים גנרטיביים.

אפליקציות לדוגמה

הדוגמאות הבאות מראות קלט טקסט טיפוסי ופלט מתוכו שהוא גמיש וקל לעיצוב.

יצירת שיר

קלט של משתמשים: Write me a four-line poem about puppies and Android phones. Make sure it rhymes.

הפלט של המודל:

Puppies are cute,
Android phones are neat,
They both bring joy,
And make life complete.

יצירת רשימה

קלט של משתמשים: Generate a bulleted list of items I need to pack for a three-day camping trip.

הפלט של המודל:

*   Tent
*   Sleeping bag
*   Sleeping pad
*   Camp stove
*   Pots and pans
*   Utensils
*   Food
*   Water
*   First-aid kit
*   Sunscreen
*   Insect repellent
*   ...

אפשר לקבל מודלים גנרטיביים כדי לייצר התנהגויות מועילות, כמו פשוט על ידי יצירה של טקסט הקלט הנכון, שנקרא גם הנחיה. האומנות והמדע של איתור הניסוח הנכון כדי לגרום למודלים גנרטיביים לעשות מה שרציתם נקרא עיצוב הנחיות (נקרא גם 'הנדסת הנחיות' או פשוט "שליחת הנחיות").

עיצוב הנחיות 101

בקטע הקודם הוצגו כמה דוגמאות להנחיות שמכילות כמו 'Write me a poem'. הוראה מהסוג הזה עשויה להתאים לכם, סוגים מסוימים של משימות. אבל באפליקציות אחרות, שנקראת few-shot הנחיות עשויה להתאים יותר. הנחיות עם כמה שוטים היתרון של העובדה שמודלים גדולים של שפה (LLM) טובים מאוד לזיהוי ולשכפול של דפוסים בנתוני טקסט. הרעיון הוא לשלוח את גנרטיבית כתבנית טקסט שהיא לומדת להשלים. לדוגמה, נניח שאתם שרוצים לפתח אפליקציה שמקבלת כקלט שם של מדינה ומפיקה את הפלט עיר הבירה. הנה הנחיית טקסט שמטרתה לעשות את זה:

Italy : Rome
France : Paris
Germany :

בהנחיה הזו, יוצרים דפוס: [country] : [capital]. אם שולחים למודל שפה גדול, היא תשלים את הדפוס באופן אוטומטי מחזיר משהו כזה:

     Berlin
Turkey : Ankara
Greece : Athens

התשובה הזו של המודל עשויה להיראות קצת מוזרה. המודל החזיר לא רק את הערך בירת גרמניה (המדינה האחרונה בהנחיה בכתב יד), וגם את הרשימה המלאה של צמדי מדינות וערי בירה נוספים. הסיבה היא הוא "המשך הדפוס". אם כל מה שניסית לעשות הוא יבנה פונקציה שאומרת לכם את מספר ההכרות של מדינת קלט ("גרמניה : ברלין), כנראה שלא ממש מעניין אותך אף אחד מהטקסטים של המודל נוצר אחרי "ברלין". ובאמת, כמעצבי אפליקציות, סביר להניח שתרצו כדי לקצר את הדוגמאות המיותרות. בנוסף, סביר להניח שתרצו ליצור פרמטרים של הקלט, כך שגרמניה היא לא מחרוזת קבועה אלא משתנה שמשתמש הקצה מספק:

Italy : Rome
France : Paris
<user input here> :

כתבתם כמה דוגמאות להנחיה ליצירת ערי בירה של מדינות.

אפשר לבצע מספר רב של משימות בעזרת ההנחיה הזו בכמה דוגמאות תבנית. הנה הנחיה עם כמה דוגמאות בפורמט קצת שונה ממירה Python ל-JavaScript:

Convert Python to JavaScript.
Python: print("hello world")
JavaScript: console.log("hello world")
Python: for x in range(0, 100):
JavaScript: for(var i = 0; i < 100; i++) {
Python: ${USER INPUT HERE}
JavaScript:

לחלופין, אפשר להשתמש ב"מילון ההפוך" . בהינתן הגדרה, היא מחזירה את מילה שמתאימה להגדרה הזו:

Given a definition, return the word it defines.
Definition: When you're happy that other people are also sad.
Word: schadenfreude
Definition: existing purely in the mind, but not in physical reality
Word: abstract
Definition: ${USER INPUT HERE}
Word:

יכול להיות ששמתם לב שהדפוס המדויק של ההנחיות האלה בכמה דוגמאות מעט. בנוסף להכללת דוגמאות, יש לספק הוראות הנחיות הן אסטרטגיה נוספת שכדאי לשקול כשכותבים הנחיות משלכם, זה עוזר להעביר למודל את הכוונה שלכם.

הנחיות לעומת פיתוח תוכנה מסורתית

בשונה מתוכנה רגילה שתוכננה לפי מפרט שכתוב בקפידה, ההתנהגות של מודלים גנרטיביים בדרך כלל אטומה מאוד, גם לאימון של המודלים. בתור לרוב אי אפשר לחזות מראש אילו סוגים של הנחיות מבניים הם המתאימים ביותר למודל מסוים. בנוסף, ההתנהגות של נקבע במידה רבה על סמך נתוני האימון שלו, ומכיוון שמודלים מתעדכן כל הזמן במערכי נתונים חדשים, לפעמים המודל משתנה מספיק כדי משנה בטעות אילו מבנים של הנחיות פועלים הכי טוב. מה המשמעות מבחינת את/ה? התנסה! כדאי לנסות פורמטים שונים של הנחיות.

פרמטרים של מודל

כל הנחיה ששולחים למודל כוללת ערכי פרמטרים שקובעים איך שהמודל יוצר תשובה. המודל יכול ליצור תוצאות שונות ערכי פרמטרים שונים. הפרמטרים הנפוצים ביותר של המודל הם:

  1. מקסימום אסימוני פלט: מציין את המספר המרבי של אסימונים שיכולים להיות שנוצר בתגובה. אסימון באורך של כארבעה תווים. 100 הם באורך של כ-60-80 מילים.

  2. טמפרטורה: הטמפרטורה קובעת את מידת הרנדומיזציה באסימון בחירה. הטמפרטורה משמשת לדגימה במהלך יצירת התגובה, שמתרחש כאשר מחילים את topP ואת topK. כדאי להוריד טמפרטורות נמוכות להנחיות שמחייבות תשובה דטרמיניסטית יותר או פחות פתוחה, וטמפרטורות גבוהות יותר יכולות להוביל לתוצאות מגוונות או יצירתיות יותר. א' שטמפרטורה של 0 היא דטרמיניסטית, כלומר ההסתברות הגבוהה ביותר תמיד נבחרת תגובה.

  3. topK: הפרמטר topK משנה את האופן שבו המודל בוחר אסימונים הפלט. הערך topK של 1 מציין שהאסימון שנבחר הוא בעלי הסבירות הגבוהה ביותר את כל האסימונים באוצר המילים של המודל (נקרא גם פענוח באמצעות אלגוריתם חמדן), והמשמעות של topK היא 3, שהאסימון הבא נבחר מבין ה-3 בעלי הסבירות הגבוהה ביותר באמצעות הטמפרטורה. לכל שלב של בחירת אסימון, נדגמים topK אסימונים עם ההסתברויות הגבוהות ביותר. לאחר מכן האסימונים סינון נוסף על סמך topP כשהאסימון הסופי נבחר באמצעות דגימות טמפרטורה.

  4. topP: הפרמטר topP משנה את האופן שבו המודל בוחר אסימונים הפלט. האסימונים נבחרים מהגבוה לנמוך, עד לסכום של ההסתברויות שלהם שווה לערך topP. לדוגמה, אם אסימונים A, B, ול-C יש הסתברות של 0.3, 0.2 ו-0.1 והערך topP הוא 0.5, המודל יבחר את אסימון A או B בתור האסימון הבא באמצעות ולהחריג את C כמועמד. ערך ברירת המחדל של topP הוא 0.95.

  5. stop_sequences: הגדרת רצף עצירה ל- אומרים למודל להפסיק ליצור תוכן. רצף עצירה יכול להיות כל רצף של תווים. השתדלו להימנע משימוש ברצף של תווים עשוי להופיע בתוכן שנוצר.

סוגי הנחיות

ההנחיות, בהתאם לרמת המידע ההקשרי שנכלל בהן, בסיווג כללי לשלושה סוגים.

הנחיות מאפס

ההנחיות האלה לא מכילות דוגמאות לשחזור המודל. קליעה למטרה הנחיות למעשה מראות את היכולת של המודל להשלים את ההנחיה בלי דוגמאות נוספות או מידע נוסף. זה אומר שהמודל צריך להסתמך את הידע הקיים שלנו כדי ליצור תשובה הגיונית.

הנה כמה מתבניות ההנחיות הנפוצות לשימוש מאפס:

  • תוכן ההוראות
<Overall instruction>
<Content to operate on>

לדוגמה,

Summarize the following into two sentences at the third-grade level:

Hummingbirds are the smallest birds in the world, and they are also one of the
most fascinating. They are found in North and South America, and they are known
for their long, thin beaks and their ability to fly at high speeds.

Hummingbirds are made up of three main parts: the head, the body, and the tail.
The head is small and round, and it contains the eyes, the beak, and the brain.
The body is long and slender, and it contains the wings, the legs, and the
heart. The tail is long and forked, and it helps the hummingbird to balance
while it is flying.

Hummingbirds are also known for their coloration. They come in a variety of
colors, including green, blue, red, and purple. Some hummingbirds are even able
to change their color!

Hummingbirds are very active creatures. They spend most of their time flying,
and they are also very good at hovering. Hummingbirds need to eat a lot of food
in order to maintain their energy, and they often visit flowers to drink nectar.

Hummingbirds are amazing creatures. They are small, but they are also very
powerful. They are beautiful, and they are very important to the ecosystem.
  • הוראות-תוכן
<Overall instruction or context setting>
<Content to operate on>
<Final instruction>

לדוגמה,

Here is some text I'd like you to summarize:

Hummingbirds are the smallest birds in the world, and they are also one of the
most fascinating. They are found in North and South America, and they are known
for their long, thin beaks and their ability to fly at high speeds. Hummingbirds
are made up of three main parts: the head, the body, and the tail. The head is
small and round, and it contains the eyes, the beak, and the brain. The body is
long and slender, and it contains the wings, the legs, and the heart. The tail
is long and forked, and it helps the hummingbird to balance while it is flying.
Hummingbirds are also known for their coloration. They come in a variety of
colors, including green, blue, red, and purple. Some hummingbirds are even able
to change their color! Hummingbirds are very active creatures. They spend most
of their time flying, and they are also very good at hovering. Hummingbirds need
to eat a lot of food in order to maintain their energy, and they often visit
flowers to drink nectar. Hummingbirds are amazing creatures. They are small, but
they are also very powerful. They are beautiful, and they are very important to
the ecosystem.

Summarize it in two sentences at the third-grade reading level.
  • המשך. לפעמים אפשר להגדיר למודל להמשיך את הטקסט בלי הוראות להתאמה אישית. לדוגמה, הנה הנחיה קבועה, שבה המודל המיועד להמשיך את הקלט שסופק:
Once upon a time, there was a little sparrow building a nest in a farmer's
barn. This sparrow

להשתמש בהנחיות מאפס כדי ליצור פורמטים יצירתיים של טקסט, כמו שירים, קודים, סקריפטים, יצירות מוזיקליות, אימיילים או מכתבים.

הנחיות עם דוגמה אחת

ההנחיות האלה מספקות למודל דוגמה אחת כדי לשכפל ולהמשיך את הדפוס. כך אפשר ליצור תשובות צפויות מודל טרנספורמר.

לדוגמה, אפשר ליצור התאמות לאוכל כמו:

Food: Apple
Pairs with: Cheese
Food: Pear
Pairs with:

הנחיות עם כמה דוגמאות

ההנחיות האלה מספקות למודל כמה דוגמאות לשחזור. כדאי להשתמש הנחיות לביצוע משימות מורכבות, כמו סינתוז נתונים לפי דפוס.

דוגמה להנחיה:

Generate a grocery shopping list for a week for one person. Use the JSON format
given below.
{"item": "eggs", "quantity": "6"}
{"item": "bread", "quantity": "one loaf"}

מודלים גנרטיביים מהיסוד

המטרה של הקטע הזה היא לענות על השאלה האם יש אקראיות במערכות גנרטיביות 'מודלים או האם הן דטרמיניסטיות?

התשובה הקצרה – כן לשתיהן. כשנשלחת הנחיה למודל גנרטיבי, התשובה נוצרת בשני שלבים. בשלב הראשון, המודל הגנרטיבי מעבד את ההנחיה לקלט ויוצר התפלגות הסתברות של אסימונים (מילים) שסביר להניח שיופיעו בהמשך. לדוגמה, אם עם טקסט הקלט "הכלב קפץ מעל ... ", המודל הגנרטיבי מפיקה מערך של המילים הבאות בהסתברות:

[("fence", 0.77), ("ledge", 0.12), ("blanket", 0.03), ...]

התהליך הזה דטרמיניסטי; מודל גנרטיבי יפיק בכל פעם שמזינים את אותו טקסט של הנחיה.

בשלב השני, המודל הגנרטיבי ממיר את ההפצות האלה של תגובות טקסט בפועל באמצעות אחת מכמה אסטרטגיות פענוח. קובץ אסטרטגיית הפענוח עשויה לבחור את האסימון בעל ההסתברות הגבוהה ביותר בכל פעימה. הזה תמיד יהיה דטרמיניסטי. עם זאת, תוכלו לבחור במקום זאת יוצרת תשובה על ידי דגימה אקראית של ההתפלגות שהוחזרה על ידי מודל טרנספורמר. התהליך הזה יהיה אקראי (אקראי). שליטה בדרגה רנדומיזציה בשם בתהליך הפענוח באמצעות הגדרת הטמפרטורה. א' המשמעות של 0 היא שרק האסימונים בעלי הסבירות הגבוהה ביותר ייבחרו, רנדומיזציה. לעומת זאת, טמפרטורה גבוהה מקפיצה רמה גבוהה של אקראיות לאסימונים שהמודל בחר, וכך את התשובות של מודל טרנספורמר.

קריאה נוספת

  • עכשיו, אחרי שהבנתם טוב יותר את ההנחיות והמודלים הגנרטיביים, נסו לכתוב הנחיות משלכם ב-Google AI Studio.
  • כדי לקבל מידע נוסף, כדאי לעיין בהנחיות בנושא הנחיות מידע נוסף על שיטות מומלצות ליצירת הנחיות.