מידע על מודלים גנרטיביים

מודלים של בינה מלאכותית (AI) גנרטיבית, כמו משפחת המודלים של Gemini, יכולים ליצור תוכן מסוגים שונים של קלט נתונים, כולל טקסט, תמונות ואודיו. ברמה הבסיסית ביותר, המודלים האלה פועלים כמו אפליקציות מתוחכמות של השלמה אוטומטית. בהינתן טקסט הקלט ("אפשר להוביל סוס למים"), מודל גנרטיבי יכול לחזות את ההסתברות הסטטיסטית של טקסט הפלט (אבל לא ניתן לייצר ממנו משקה), על סמך הדפוסים שנלמדו מנתוני האימון. אפשר להשתמש במאפיין הבסיסי הזה של מודלים גנרטיביים למטרות שונות:

  • ליצור כתיבה יצירתית כמו שירה, סיפורים קצרים, מטאפורות ופוסטים בבלוגים
  • המרת נתונים מובְנים לטקסט חופשי
  • חילוץ וסיכום של מידע מטקסט חופשי
  • הפק קוד
  • תרגום בין שפות

השימוש במודלים גנרטיביים כדי ליצור את התכונות האלה לא מחייב מומחיות בלמידת מכונה (ML). אין צורך לאסוף מערך נתונים גדול או לאמן מודל. כל מה שצריך כדי להתחיל את אב הטיפוס הראשון הוא לתאר בכמה משפטים מה אתם רוצים שהמודל יבצע.

מודלים גנרטיביים שמטפלים רק בקלט ובפלט של טקסט, נקראים גם מודלים גדולים של שפה (LLM) (LLMs). משפחת המודלים של Gemini יכולה לעבד יותר מנתוני טקסט, ולמרות שהיא יכולה לבצע את הפונקציות של LLM, הם נקראים יותר מודלים גנרטיביים.

אפליקציות לדוגמה

בדוגמאות הבאות אפשר לראות את קלט הטקסט הטיפוסי של מודל גנרטיבי, ואת הפלט שלו.

יצירת שיר

קלט של משתמשים: Write me a four-line poem about puppies and Android phones. Make sure it rhymes.

הפלט של המודל:

Puppies are cute,
Android phones are neat,
They both bring joy,
And make life complete.

יצירת רשימה

קלט של משתמשים: Generate a bulleted list of items I need to pack for a three-day camping trip.

הפלט של המודל:

*   Tent
*   Sleeping bag
*   Sleeping pad
*   Camp stove
*   Pots and pans
*   Utensils
*   Food
*   Water
*   First-aid kit
*   Sunscreen
*   Insect repellent
*   ...

אפשר לקבל מודלים גנרטיביים כדי לייצר כל מיני התנהגויות שימושיות כאלה, פשוט על ידי כתיבת טקסט הקלט הנכון, שנקרא גם הנחיה. האומנות והמדע של זיהוי המילים הנכונות כדי לגרום למודלים גנרטיביים לעשות את מה שאתם רוצים נקראים תכנון הנחיות (נקרא גם "תכנון הנחיות", או פשוט "הנחיה").

101 עיצוב הנחיות

בקטע הקודם הוצגו כמה דוגמאות להנחיות שמכילות הוראה, כמו 'Write me a poem'. הוראה כזו יכולה להתאים לסוגים מסוימים של משימות. עם זאת, באפליקציות אחרות, יכול להיות ששיטת ההנחיות אחרת שנקראת הצגת הנחיות מכמה דוגמאות תתאים יותר. כמה דוגמאות להנחיות מנצלות את העובדה שמודלים גדולים של שפה (LLM) עוזרים מאוד בזיהוי ובשכפול של דפוסים בנתוני טקסט. הרעיון הוא לשלוח למודל הגנרטיבי תבנית טקסט שהוא לומד להשלים. לדוגמה, נניח שאתם רוצים ליצור אפליקציה שמקבלת כקלט שם של מדינה ומפיקה את עיר הבירה שלה. הנה הנחיית טקסט שנועדה לעשות זאת:

Italy : Rome
France : Paris
Germany :

בהנחיה הזו, יוצרים את התבנית: [country] : [capital]. אם תשלחו את ההנחיה הזו למודל שפה גדול (LLM), היא תשלים אוטומטית את התבנית ותחזיר משהו כזה:

     Berlin
Turkey : Ankara
Greece : Athens

התשובה של המודל הזה עשויה להיראות קצת מוזרה. המודל החזיר לא רק את בירת גרמניה (המדינה האחרונה בהנחיה שכתבת), אלא גם רשימה שלמה של צמדי מדינה ובירה נוספים. הסיבה לכך היא שהמודל הגנרטיבי הוא "המשך הדפוס". אם כל מה שאתם מנסים לעשות הוא ליצור פונקציה שאומרת לכם מהי עיר הבירה של מדינת קלט ("גרמניה : ברלין"), סביר להניח שלא ממש חשוב לכם הטקסט שהמודל יוצר אחרי "ברלין". אכן, כמעצבי אפליקציות, סביר להניח שתרצו לקצר את הדוגמאות המיותרות האלה. בנוסף, סביר להניח שתרצו להגדיר פרמטרים של הקלט, כך שגרמניה לא תהיה מחרוזת קבועה אלא משתנה שמשתמש הקצה מספק:

Italy : Rome
France : Paris
<user input here> :

כתבת הנחיה בכמה דוגמאות ליצירת ערי בירה.

בעזרת כמה דוגמאות להנחיות תוכלו לבצע מספר גדול של משימות. הנה כמה דוגמאות להנחיה עם פורמט קצת שונה שממיר את Python ל-JavaScript:

Convert Python to JavaScript.
Python: print("hello world")
JavaScript: console.log("hello world")
Python: for x in range(0, 100):
JavaScript: for(var i = 0; i < 100; i++) {
Python: ${USER INPUT HERE}
JavaScript:

לחלופין, משתמשים בהנחיה הזו של 'מילון הפוך'. בהתאם להגדרה, היא מחזירה את המילה המתאימה להגדרה הזו:

Given a definition, return the word it defines.
Definition: When you're happy that other people are also sad.
Word: schadenfreude
Definition: existing purely in the mind, but not in physical reality
Word: abstract
Definition: ${USER INPUT HERE}
Word:

יכול להיות ששמתם לב שהדפוס המדויק של ההנחיות האלה משתנה קצת. בנוסף להצגת דוגמאות, הצגת הוראות בהנחיות היא דרך נוספת שכדאי לשקול כשכותבים הנחיות משלכם, כי היא עוזרת להמחיש את הכוונה שלכם למודל.

הנחיות לעומת פיתוח תוכנות מסורתי

בשונה מתוכנות מסורתיות שתוכנן בקפידה לפי מפרט שכתוב בקפידה, ההתנהגות של מודלים גנרטיביים אטומה ברובה גם לתרגול המודלים. כתוצאה מכך, לעיתים קרובות אי אפשר לחזות מראש אילו סוגים של מבני הנחיות יפעלו בצורה הטובה ביותר למודל מסוים. בנוסף, ההתנהגות של מודל גנרטיבי נקבעת במידה רבה על סמך נתוני האימון שלו. מאחר שהמודלים עוברים כוונון רציף של מערכי נתונים חדשים, לפעמים המודל משתנה מספיק כדי לגרום לו לשנות בטעות את מבני ההנחיות שמניבים את התוצאות הטובות ביותר. מה המשמעות מבחינתך? התנסה! אפשר לנסות פורמטים שונים של הנחיות.

פרמטרים של מודל

כל הנחיה ששולחים למודל כוללת ערכי פרמטרים שקובעים איך המודל יוצר תשובה. המודל יכול ליצור תוצאות שונות לערכי פרמטרים שונים. הפרמטרים הנפוצים ביותר של המודל הם:

  1. אסימוני פלט מקסימלי: מציין את המספר המקסימלי של אסימונים שאפשר ליצור בתגובה. אסימון באורך של כ-4 תווים. 100 אסימונים מקבילים לכ-60-80 מילים.

  2. טמפרטורה: הטמפרטורה קובעת את מידת הרנדומיזציה בבחירת האסימונים. הטמפרטורה משמשת לדגימה במהלך יצירת תגובות, שמתרחשת כאשר מפעילים את הדגימה topP ו-topK. טמפרטורות נמוכות יותר מתאימות להנחיות שמחייבות תגובה דטרמיניסטית יותר או פחות פתוחה, ואילו טמפרטורות גבוהות יותר יכולות להוביל לתוצאות מגוונות או יצירתיות יותר. טמפרטורה של 0 היא דטרמיניסטית, כלומר התשובה עם הסבירות הגבוהה ביותר נבחרת תמיד.

  3. topK: הפרמטר topK משנה את האופן שבו המודל בוחר אסימונים לפלט. הערך topK שווה ל-1. המשמעות היא שהאסימון שנבחר הוא ההסתברות הגבוהה ביותר מבין כל האסימונים באוצר המילים של המודל (נקרא גם פענוח אלגוריתם חמדן), ו-topK מתוך 3 פירושו שהאסימון הבא נבחר מבין 3 האסימונים בעלי הסבירות הגבוהה ביותר לשימוש בטמפרטורה. בכל שלב בבחירת אסימונים, נדגמים אסימונים topK עם ההסתברויות הגבוהות ביותר. לאחר מכן, האסימונים מסוננים שוב לפי topP, והאסימון הסופי נבחר באמצעות דגימת טמפרטורה.

  4. topP: הפרמטר topP משנה את האופן שבו המודל בוחר אסימונים לפלט. האסימונים נבחרים מההסתברות הגבוהה ביותר להסתברות הנמוכה ביותר עד שסכום ההסתברויות שלהם שווה לערך topP. לדוגמה, אם לאסימונים A, B ו-C יש סבירות של 0.3, 0.2 ו-0.1 והערך topP הוא 0.5, המודל יבחר את A או B כאסימון הבא תוך שימוש בטמפרטורה ולא לכלול את C בתור מועמד. ערך ברירת המחדל של topP הוא 0.95.

  5. stop_sequences: מגדירים רצף עצירה כדי להנחות את המודל להפסיק ליצור תוכן. רצף עצירה יכול להיות כל רצף של תווים. נסו להימנע משימוש ברצף של תווים שעשויים להופיע בתוכן שנוצר.

סוגים של הנחיות

בהתאם לרמת המידע ההקשרי שכלול בהן, ההנחיות מסווגות באופן גורף לשלושה סוגים.

הנחיות מאפס

ההנחיות האלה לא כוללות דוגמאות לשכפול המודל. הודעות מאפס מראות בעצם את היכולת של המודל להשלים את ההנחיה, בלי מידע או דוגמאות נוספות. כלומר, המודל צריך להסתמך על הידע הקיים שלו כדי ליצור תשובה הגיונית.

דוגמאות לתבניות נפוצות של הנחיות מאפס:

  • תוכן הוראות
<Overall instruction>
<Content to operate on>

לדוגמה,

Summarize the following into two sentences at the third-grade level:

Hummingbirds are the smallest birds in the world, and they are also one of the
most fascinating. They are found in North and South America, and they are known
for their long, thin beaks and their ability to fly at high speeds.

Hummingbirds are made up of three main parts: the head, the body, and the tail.
The head is small and round, and it contains the eyes, the beak, and the brain.
The body is long and slender, and it contains the wings, the legs, and the
heart. The tail is long and forked, and it helps the hummingbird to balance
while it is flying.

Hummingbirds are also known for their coloration. They come in a variety of
colors, including green, blue, red, and purple. Some hummingbirds are even able
to change their color!

Hummingbirds are very active creatures. They spend most of their time flying,
and they are also very good at hovering. Hummingbirds need to eat a lot of food
in order to maintain their energy, and they often visit flowers to drink nectar.

Hummingbirds are amazing creatures. They are small, but they are also very
powerful. They are beautiful, and they are very important to the ecosystem.
  • תוכן והוראה
<Overall instruction or context setting>
<Content to operate on>
<Final instruction>

לדוגמה,

Here is some text I'd like you to summarize:

Hummingbirds are the smallest birds in the world, and they are also one of the
most fascinating. They are found in North and South America, and they are known
for their long, thin beaks and their ability to fly at high speeds. Hummingbirds
are made up of three main parts: the head, the body, and the tail. The head is
small and round, and it contains the eyes, the beak, and the brain. The body is
long and slender, and it contains the wings, the legs, and the heart. The tail
is long and forked, and it helps the hummingbird to balance while it is flying.
Hummingbirds are also known for their coloration. They come in a variety of
colors, including green, blue, red, and purple. Some hummingbirds are even able
to change their color! Hummingbirds are very active creatures. They spend most
of their time flying, and they are also very good at hovering. Hummingbirds need
to eat a lot of food in order to maintain their energy, and they often visit
flowers to drink nectar. Hummingbirds are amazing creatures. They are small, but
they are also very powerful. They are beautiful, and they are very important to
the ecosystem.

Summarize it in two sentences at the third-grade reading level.
  • המשך. לפעמים המודל יכול להמשיך לכתוב טקסט בלי הוראות. לדוגמה, כאן מופיעה הנחיה מאפס שבה המודל מיועד להמשיך את הקלט שהוזן:
Once upon a time, there was a little sparrow building a nest in a farmer's
barn. This sparrow

משתמשים בהנחיות מאפס כדי ליצור פורמטים יצירתיים של טקסט, כמו שירים, קודים, תסריטים, יצירות מוזיקליות, אימיילים או מכתבים.

הנחיות בנוסחה אחת

ההנחיות האלה מספקות למודל דוגמה אחת לשכפול ולהמשך הדפוס. כך אפשר ליצור תשובות צפויות מהמודל.

לדוגמה, אפשר ליצור תוספי מזון כמו:

Food: Apple
Pairs with: Cheese
Food: Pear
Pairs with:

הנחיות עם כמה דוגמאות

ההנחיות האלה מספקות למודל כמה דוגמאות לשכפול. משתמשים בהנחיות עם כמה דוגמאות כדי להשלים משימות מורכבות, כמו סינתוז נתונים על סמך דפוס.

הנחיה לדוגמה יכולה להיות:

Generate a grocery shopping list for a week for one person. Use the JSON format
given below.
{"item": "eggs", "quantity": "6"}
{"item": "bread", "quantity": "one loaf"}

שילוב בינה מלאכותית גנרטיבית

מטרת הקטע הזה היא לענות על השאלה: האם יש רנדומיזציה בתשובות של מודלים גנרטיביים, או שהם דטרמיניסטיים?

התשובה הקצרה – כן לשניהם. כשמתחילים מודל גנרטיבי, התשובה בטקסט נוצרת בשני שלבים. בשלב הראשון, המודל הגנרטיבי מעבד את ההנחיה להזנת קלט ויוצר התפלגות הסתברות לאסימונים (מילים) אפשריים שעשויים להופיע בהמשך. לדוגמה, אם מזינים את ההנחיה "הכלב קפץ מעל ... ", המודל הגנרטיבי ייצור מערך של המילים הבאות בסבירות גבוהה:

[("fence", 0.77), ("ledge", 0.12), ("blanket", 0.03), ...]

התהליך הזה הוא דטרמיניסטי – מודל גנרטיבי יפיק את אותה התפלגות בכל פעם שמזינים לו את אותו טקסט בהנחיה.

בשלב השני, המודל הגנרטיבי ממיר את ההתפלגויות האלה לתשובות טקסט אמיתיות באמצעות אחת מכמה אסטרטגיות פענוח קוד. אסטרטגיית פענוח פשוטה עשויה לבחור את האסימון בעל הסבירות הגבוהה ביותר בכל שלב. התהליך הזה תמיד יהיה דטרמיניסטי. עם זאת, תוכלו במקום זאת ליצור תשובה על ידי דגימה אקראית ביחס להתפלגות שהמודל מחזיר. התהליך יהיה סטוכסטי (אקראי). ניתן לקבוע את מידת האקראיות בתהליך הפענוח הזה, על ידי הגדרת הטמפרטורה. המשמעות של טמפרטורה היא 0 – שנבחרו רק האסימונים עם הסבירות הגבוהה ביותר, ואין אקראיות. לעומת זאת, טמפרטורה גבוהה מכניסה רמה גבוהה של אקראיות לאסימונים שהמודל בחר, וכתוצאה מכך מתקבלות תשובות בלתי צפויות ומפתיעות יותר של המודל.

קריאה נוספת

  • עכשיו, אחרי שהבנתם טוב יותר את ההנחיות ואת המודלים הגנרטיביים, תוכלו לכתוב הנחיות משלכם באמצעות Google AI Studio.
  • במאמר הנחיות בנושא הנחיות מפורטות שיטות מומלצות ליצירת הנחיות.