אסטרטגיות לעיצוב הנחיות

עיצוב הנחיות הוא התהליך של יצירת הנחיות או בקשות בשפה טבעית, שמניבות תשובות מדויקות ואיכותיות ממודל שפה.

בדף הזה נסביר על מושגים בסיסיים, אסטרטגיות ושיטות מומלצות שיעזרו לכם להתחיל לתכנן הנחיות כדי להפיק את המקסימום מהמודלים של AI ב-Gemini.

מדריכים ספציפיים לנושאים שונים

מחפשים אסטרטגיות ספציפיות יותר להצגת הנחיות? כדאי לעיין במדריכים האחרים שלנו בנושא הנחיות:

ב-Google AI Studio יש גם גלריית הנחיות שמציגה באופן אינטראקטיבי הרבה מהמושגים שמפורטים במדריך הזה.

הוראות ברורות וספציפיות

דרך יעילה ויעילה להתאים אישית את התנהגות המודל היא לספק לו הוראות ברורות וספציפיות. ההוראות יכולות להיות בצורת שאלה, משימות מפורטות או מורכבות כמו מיפוי של חוויית המשתמש והגישה שלו.

קלט

הקלט הוא הטקסט הנדרש בהנחיה שרוצים שהמודל יספק תגובה אליה. הקלט יכול להיות שאלה שהמודל עונה עליה (קלט של שאלה), משימה שהמודל מבצע (קלט של משימה), ישות שהמודל פועל עליה (קלט של ישות) או קלט חלקי שהמודל משלים או ממשיך (קלט של השלמה).

סוג הקלט הנחיה הפלט שנוצר
שאלה

    What's a good name for a flower shop that specializes in selling bouquets of
    dried flowers? Create a list of 5 options with just the names.

    Here are 10 names for a flower shop specializing in dried flowers:

    1. Everlasting Blooms
    2. Dried & Delightful
    3. The Petal Preserve
    4. Whispers of Wildflowers
    5. Forever Blooms
    
משימה
    Give me a simple list of just the things that I must bring on a camping trip. The list should have 5 items.
    1. **Tent:** Your shelter from the elements.
    2. **Sleeping Bag:** Stay warm and comfortable.
    3. **Sleeping Pad:** Insulation and cushioning for a good night's sleep.
    4. **Headlamp or Flashlight:** Light for nighttime activities.
    5. **First Aid Kit:** Be prepared for minor injuries.
ישות

    Classify the following items as [large, small]:
Elephant
Mouse
Snail

Here's the classification:

* **Elephant:** Large
* **Mouse:** Small
* **Snail:** Small
    

השלמה חלקית של הקלט

מודלים גנרטיביים של שפה פועלים כמו כלי מתקדם להשלמה אוטומטית. כשאתם מספקים תוכן חלקי, המודל יכול לספק את שאר התוכן או את מה שהוא חושב שהוא המשך של התוכן הזה בתור תשובה. כשאתם עושים זאת, אם תכללו דוגמאות או הקשר, המודל יוכל להביא בחשבון את הדוגמאות או ההקשר האלה.

בדוגמה הבאה מוצגת הנחיה עם הוראות והזנת ישות:

For the given order, return a JSON object that has the fields cheeseburger, hamburger, fries, or
drink, with the value being the quantity.

Order: A burger and a drink.
  
{
  "cheeseburger": 0,
  "hamburger": 1,
  "fries": 0,
  "drink": 1
}
  

המודל אכן פעל לפי ההנחיה, אבל לפעמים קשה לכתוב את ההוראות בשפה טבעית, והרבה תלוי בפרשנות של המודל. לדוגמה, תפריט של מסעדה יכול להכיל הרבה פריטים. כדי לצמצם את גודל התגובה של ה-JSON, מומלץ להשמיט את הפריטים שלא הוזמנו. במקרה כזה, אפשר לתת דוגמה וקידומת לתשובה ולאפשר למודל להשלים אותה:

Valid fields are cheeseburger, hamburger, fries, and drink.
Order: Give me a cheeseburger and fries
Output:
```
{
  "cheeseburger": 1,
  "fries": 1
}
```
Order: I want two burgers, a drink, and fries.
Output:
  
```
{
  "hamburger": 2,
  "drink": 1,
  "fries": 1
}
```
  

שימו לב ש'המבורגר' לא נכלל בפלט כי הוא לא היה חלק מההזמנה.

אילוצים

מציינים אילו אילוצים יש לקריאת ההנחיה או ליצירת התגובה. אתם יכולים להורות למתמטיקה מה לעשות ומה לא לעשות. לדוגמה, אתם יכולים לציין במסגרת ההנחיה אילו מגבלות תרצו להגדיר לגבי אורך הסיכום:

Summarize this text in one sentence:
Text: A quantum computer exploits quantum mechanical phenomena to perform calculations exponentially
faster than any modern traditional computer. At very tiny scales, physical matter acts as both
particles and as waves, and quantum computing uses specialized hardware to leverage this behavior.
The operating principles of quantum devices is beyond the scope of classical physics. When deployed
at scale, quantum computers could be used in a wide variety of applications such as: in
cybersecurity to break existing encryption methods while helping researchers create new ones, in
meteorology to develop better weather forecasting etc. However, the current state of the art quantum
computers are still largely experimental and impractical.
    

      Exploiting quantum mechanical phenomena, quantum computers can perform calculations exponentially faster than traditional computers for potential applications like cybersecurity and meteorology, although they are currently largely experimental and impractical.
    

פורמט התגובה

אפשר לתת הוראות שמציינות את הפורמט של התגובה. לדוגמה, תוכלו לבקש שהתשובה תהיה בפורמט של טבלה, רשימת נקודות, 'נאום מעלית', מילות מפתח, משפט או פסקה. הוראה המערכת הבאה מורה למודל לדבר בצורה יותר שיחה בתשובה:

    All questions should be answered comprehensively with details, unless the user requests a concise response specifically.
  
    What is a smart way to make a business that sells DVD's in 2025?
  
Starting a business selling DVDs in 2025 presents significant challenges due to the overwhelming dominance of digital streaming and on-demand services; a "smart" approach would therefore require a highly specialized niche, a strong value proposition beyond just the disc, and likely a focus on community or collector markets rather than mainstream consumption.

Here's a breakdown of what a smart DVD business in 2025 would likely entail:

1. Extreme Niche Specialization: You cannot compete with streaming libraries. Your business must focus on what digital doesn't offer easily or at all. This could include:

    * Out-of-Print & Rare Titles: Sourcing films or TV shows that have never been released digitally or are currently unavailable on major streaming platforms.
    ....
  

עיצוב התשובות באמצעות אסטרטגיית ההשלמה

אסטרטגיית ההשלמה יכולה גם לעזור בפורמט התשובה. בדוגמה הבאה, המודל מתבקש ליצור תוכנית למאמר:

Create an outline for an essay about hummingbirds.
  
Here is a possible outline for an essay about hummingbirds:

I. Introduction
A. Hook: Start with a captivating fact or description about hummingbirds (e.g., their speed, iridescent colors, or tiny size).
B. Background: Briefly introduce hummingbirds – where they are found (Americas), their reputation as unique birds.
C. Thesis Statement: State the main point of the essay, which could be about the remarkable adaptations, behaviors, and ecological importance of hummingbirds.

II. Appearance and Identification
.....
  

בהנחיה לא צוין הפורמט של התכנון, והמודל בחר פורמט בשבילכם. כדי שהמודל יחזיר קווים כלליים בפורמט ספציפי, אפשר להוסיף טקסט שמייצג את תחילת הקווים הכלליים ולאפשר למודל להשלים אותם על סמך התבנית שהפעלתם.

Create an outline for an essay about hummingbirds.
I. Introduction
   *
  
Okay, here is an outline for an essay about hummingbirds, starting from the introduction you provided:

I. Introduction
* Hook: Start with a captivating fact or description about hummingbirds (e.g., their speed, iridescent colors, or tiny size).
* Background: Briefly introduce hummingbirds – where they are found (Americas), their reputation as unique birds, and their general characteristics.
* Thesis Statement: State the main point of the essay, focusing on the remarkable adaptations, behaviors, and ecological significance that make hummingbirds extraordinary.
.....
  

הנחיות ישירות (Zero-shot) לעומת הנחיות עם כמה דוגמאות

אתם יכולים לכלול בהנחיה דוגמאות שממחישות למה התוצאה נראית טובה. המודל מנסה לזהות דפוסים ויחסים מהדוגמאות, ומשתמש בהם בזמן יצירת התשובה. הנחיות שמכילות כמה דוגמאות נקראות הנחיות עם כמה דוגמאות, והנחיות שלא כוללות דוגמאות נקראות הנחיות ללא דוגמאות. הרבה פעמים משתמשים בהנחיות ל-Few-shot כדי לקבוע את הפורמט, הניסוח, ההיקף או התבנית הכללית של התשובות של המודלים. כדאי להשתמש בדוגמאות ספציפיות ומגוונות כדי לעזור למודל לצמצם את המיקוד שלו וליצור תוצאות מדויקות יותר.

מומלץ תמיד לכלול בהנחיות דוגמאות של 'כמה תמונות בלבד'. סביר להניח שהנחיות ללא דוגמאות של 'כמה תמונות בלבד' יהיו פחות יעילות. למעשה, אפשר להסיר את ההוראות מההנחיה אם הדוגמאות מספיק ברורות כדי להראות את המשימה.

ההנחיה הבאה ללא תגובה מראש מבקשת מהמודל לבחור את ההסבר הטוב ביותר.

Please choose the best explanation to the question:

Question: How is snow formed?
Explanation1: Snow is formed when water vapor in the air freezes into ice
crystals in the atmosphere, which can combine and grow into snowflakes as they
fall through the atmosphere and accumulate on the ground.
Explanation2: Water vapor freezes into ice crystals forming snow.
Answer:
  
Explanation1 is the better explanation because it provides more detail on the
process, including how ice crystals combine and grow into snowflakes as they
fall through the atmosphere.
  

אם בתרחיש לדוגמה שלכם נדרש מהמודל לספק תשובות תמציתיות, תוכלו לכלול בהנחיה דוגמאות שמעדיפות תשובות תמציתיות.

בהנחיה הבאה מוצגות שתי דוגמאות שממחישות את ההעדפה להסברים קצרים יותר. בתגובה אפשר לראות שהדוגמאות הובילו את המודל לבחור את ההסבר הקצר יותר (Explanation2) במקום את ההסבר הארוך יותר (Explanation1), כמו שהיה בעבר.

Below are some examples showing a question, explanation, and answer format:

Question: Why is the sky blue?
Explanation1: The sky appears blue because of Rayleigh scattering, which causes
shorter blue wavelengths of light to be scattered more easily than longer red
wavelengths, making the sky look blue.
Explanation2: Due to Rayleigh scattering effect.
Answer: Explanation2

Question: What is the cause of earthquakes?
Explanation1: Sudden release of energy in the Earth's crust.
Explanation2: Earthquakes happen when tectonic plates suddenly slip or break
apart, causing a release of energy that creates seismic waves that can shake the
ground and cause damage.
Answer: Explanation1

Now, Answer the following question given the example formats above:

Question: How is snow formed?
Explanation1: Snow is formed when water vapor in the air freezes into ice
crystals in the atmosphere, which can combine and grow into snowflakes as they
fall through the atmosphere and accumulate on the ground.
Explanation2: Water vapor freezes into ice crystals forming snow.
Answer:
  
Answer: Explanation2
  

המספר האופטימלי של דוגמאות

מודלים כמו Gemini יכולים לזהות דפוסים לעיתים קרובות באמצעות כמה דוגמאות, אבל יכול להיות שתצטרכו להתנסות במספר הדוגמאות שצריך לספק בהנחיה כדי לקבל את התוצאות הטובות ביותר. עם זאת, אם תכללו יותר מדי דוגמאות, המודל עלול להתחיל להתאים יותר מדי את התשובה לדוגמאות.

דפוסים לעומת דפוסים נגדיים

שימוש בדוגמאות כדי להראות לדגם תבנית שצריך לפעול לפיה יעיל יותר משימוש בדוגמאות כדי להראות לדגם תבנית נגדית שצריך להימנע ממנה.

תבנית שלילית:

Don't end haikus with a question:
Haiku are fun
A short and simple poem
Don't you enjoy them?
  

דפוס חיובי:

Always end haikus with an assertion:
Haiku are fun
A short and simple poem
A joy to write
  

עיצוב עקבי

חשוב לוודא שהמבנה והפורמט של הדוגמאות ל-few-shot זהים, כדי למנוע תשובות בפורמטים לא רצויים. אחד מהיעדים העיקריים של הוספת דוגמאות לטיפים ב-few-shot הוא להראות למודל את פורמט התשובה. לכן, חשוב לוודא שכל הדוגמאות יהיו בפורמט עקבי, במיוחד תוך תשומת לב לתגי XML, למרווחים לבנים, לשורות חדשות ולמפרידים בין דוגמאות.

הוספת הקשר

אתם יכולים לכלול הוראות ומידע בהנחיה שהמודל צריך כדי לפתור בעיה, במקום להניח שלמודל יש את כל המידע הנדרש. המידע הזה עוזר למודל להבין את האילוצים והפרטים של מה שאתם מבקשים ממנו לעשות.

בדוגמה הבאה, המערכת מתבקשת לתת הנחיות לפתרון בעיות בנתב:

What should I do to fix my disconnected wifi? The light on my Google
Wifi router is yellow and blinking slowly.
  
  A yellow blinking light on your Google Wifi router usually indicates a problem
  with the internet connection. Here are some steps to troubleshoot and fix the
  issue:
  1. Restart your router and modem:
    - Unplug your modem from the power outlet and wait for 30 seconds.
    - Plug your modem back in and wait for it to fully boot up.
    - Unplug your Google Wifi router and wait for 30 seconds.
    - Plug your Google Wifi router back in and wait for it to fully boot up.
.....
  

התשובה נראית כמו מידע כללי לפתרון בעיות, ולא מידע ספציפי לנתב או לסטטוס של נוריות ה-LED.

כדי להתאים אישית את התשובה לנתב הספציפי, אפשר להוסיף להנחיה את מדריך פתרון הבעיות של הנתב כרקע שאליו היא תתייחס כשהיא תספק תשובה.

Answer the question using the text below. Respond with only the text provided.
Question: What should I do to fix my disconnected wifi? The light on my Google Wifi router is yellow and blinking slowly.

Text:
Color: Slowly pulsing yellow
What it means: There is a network error.
What to do:
Check that the Ethernet cable is connected to both your router and your modem and both devices are turned on. You might need to unplug and plug in each device again.

Color: Fast blinking yellow
What it means: You are holding down the reset button and are factory resetting this device.
What to do:
If you keep holding down the reset button, after about 12 seconds, the light will turn solid yellow. Once it is solid yellow, let go of the factory reset button.

Color: Solid yellow
What it means: Router is factory resetting.
What to do:
This can take up to 10 minutes. When it's done, the device will reset itself and start pulsing white, letting you know it's ready for setup.

Color: Solid red
What it means: Something is wrong.
What to do:
Critical failure. Factory reset the router. If the light stays red, contact Wifi customer support.
  
Check that the Ethernet cable is connected to both your router and your modem and both devices are turned on. You might need to unplug and plug in each device again.
  

הוספת קידומות

קידומת היא מילה או ביטוי שמוסיפים לתוכן ההנחיה, ויכולה לשמש למספר מטרות, בהתאם למיקום שבו מוסיפים את הקידומת:

  • קידומת קלט: הוספת קידומת לאותות הקלט כדי לסמן למודל את החלקים המשמעותיים מבחינה סמנטית של הקלט. לדוגמה, התחיליות 'English:‎' ו-'French:‎' מסמנות שתי שפות שונות.
  • קידומת פלט: למרות שהפלט נוצר על ידי המודל, אפשר להוסיף קידומת לפלט בהנחיה. הקידומת של הפלט מספקת למודל מידע על התשובה הצפויה. לדוגמה, הקידומת של הפלט 'JSON:‎' מסמנת למערך שהפלט צריך להיות בפורמט JSON.
  • תחילית לדוגמה: בהנחיות ל-few-shot, הוספת תחיליות לדוגמאות מספקת תוויות שהמודל יכול להשתמש בהן בזמן יצירת הפלט, וכך קל יותר לנתח את תוכן הפלט.

בדוגמה הבאה, 'Text:‎' הוא הקידומת של הקלט ו-'The answer is:‎' הוא הקידומת של הפלט.

Classify the text as one of the following categories.
- large
- small
Text: Rhino
The answer is: large
Text: Mouse
The answer is: small
Text: Snail
The answer is: small
Text: Elephant
The answer is:
  
The answer is: large
  

פירוט ההנחיות לרכיבים

בתרחישי שימוש שבהם נדרשות הנחיות מורכבות, אפשר לעזור למודל להתמודד עם המורכבות הזו על ידי פירוט הדברים לרכיבים פשוטים יותר.

  1. פירוט ההוראות: במקום להציג הרבה הוראות בהנחיה אחת, כדאי ליצור הנחיה אחת לכל הוראה. אתם יכולים לבחור איזו הנחיה לטפל בה על סמך הקלט של המשתמש.

  2. שרשור הנחיות: למשימות מורכבות שכוללות כמה שלבים רצופים, תוכלו להפוך כל שלב להנחיה ולשרשר את ההנחיות ברצף. בשרשרת הרציפה הזו של הנחיות, הפלט של הנחיה אחת ברצף הופך לקלט של ההנחיה הבאה. הפלט של ההנחיה האחרונה ברצף הוא הפלט הסופי.

  3. צבירה של תגובות: צבירה מתבצעת כשרוצים לבצע משימות מקבילות שונות בחלקים שונים של הנתונים ולצבור את התוצאות כדי ליצור את הפלט הסופי. לדוגמה, אפשר להורות למודל לבצע פעולה אחת על החלק הראשון של הנתונים, לבצע פעולה אחרת על שאר הנתונים ולצבור את התוצאות.

ניסוי עם פרמטרים של מודלים

כל קריאה ששולחים למודל כוללת ערכי פרמטרים ששולטים באופן שבו המודל יוצר תשובה. המודל יכול לייצר תוצאות שונות לערכים שונים של הפרמטרים. כדאי לנסות ערכים שונים של הפרמטרים כדי למצוא את הערכים הטובים ביותר למשימה. הפרמטרים שזמינים למודלים שונים עשויים להיות שונים. הפרמטרים הנפוצים ביותר הם:

  1. Max output tokens: מציין את המספר המקסימלי של האסימונים שאפשר ליצור בתגובה. אסימון הוא ארבעה תווים בערך. 100 אסימונים תואמים ל-60-80 מילים בערך.

  2. טמפרטורה: הטמפרטורה שולטת במידת האקראיות בבחירת האסימון. הטמפרטורה משמשת לדגימה במהלך יצירת התגובה, שמתרחשת כשמפעילים את topP ואת topK. טמפרטורות נמוכות טובות להנחיות שמחייבות תגובה determinist (דטרמיניסטית) יותר או פחות פתוחה, ואילו טמפרטורות גבוהות יכולות להוביל לתוצאות יותר מגוונות או יצירתיות. כשהטמפרטורה היא 0, תמיד נבחרת התגובה עם ההסתברות הגבוהה ביותר.

  3. topK: הפרמטר topK משנה את האופן שבו המודל בוחר את הטוקנים להצגה בפלט. כשהערך של topK הוא 1, המשמעות היא שהאסימון שנבחר הוא בעל ההסתברות הגבוהה ביותר מבין כל האסימונים במילון של המודל (נקרא גם פענוח חמדן). לעומת זאת, כשהערך של topK הוא 3, המשמעות היא שהאסימון הבא נבחר מתוך 3 האסימונים בעלי ההסתברות הגבוהה ביותר באמצעות הטמפרטורה. בכל שלב של בחירת אסימונים, מתבצע דגימה של אסימוני topK עם ההסתברויות הגבוהות ביותר. לאחר מכן, הטוקנים מסוננים לפי topP, והטוקן הסופי נבחר באמצעות דגימת טמפרטורה.

  4. topP: הפרמטר topP משנה את האופן שבו המודל בוחר את הטוקנים להצגה בפלט. האסימונים נבחרים מהסיכוי הגבוה ביותר לנמוך ביותר, עד שסכום ההסתברויות שלהם שווה לערך topP. לדוגמה, אם ההסתברות של האסימונים A, ‏ B ו-C היא 0.3,‏ 0.2 ו-0.1, וערך topP הוא 0.5, המודל יבחר את האסימון הבא מתוך A או B באמצעות הטמפרטורה, ויחרוג את C כאפשרות. ערך ברירת המחדל של topP הוא 0.95.

  5. stop_sequences: מגדירים רצף עצירה כדי להורות למודל להפסיק ליצור תוכן. רצף עצירה יכול להיות כל רצף של תווים. נסו להימנע משימוש ברצף תווים שעשוי להופיע בתוכן שנוצר.

אסטרטגיות של הנחיות לחידוד

לפעמים צריך לבצע כמה ניסיונות לפני שמקבלים באופן עקבי את התשובה הרצויה. בקטע הזה מפורטות כמה פעולות שאפשר לנסות כשמשנים את ההנחיות:

  1. שימוש בניסוח שונה: שימוש במילים או בניסוח שונים בהנחיות בדרך כלל מניב תגובות שונות מהמודל, למרות שכולן מתייחסות לאותו הדבר. אם התוצאות לא תואמות לציפיות שלכם מההנחיה, נסו לנסח אותה מחדש.

    Version 1:
    How do I bake a pie?
    
    Version 2:
    Suggest a recipe for a pie.
    
    Version 3:
    What's a good pie recipe?
      

  2. מעבר למשימה דומה: אם אתם לא מצליחים לגרום למודל לפעול לפי ההוראות שלכם למשימה מסוימת, נסו לתת לו הוראות למשימה דומה שמובילה לאותה תוצאה.

    ההנחיה הזו מורה למודל לסווג ספר באמצעות קטגוריות מוגדרות מראש:

    Which category does The Odyssey belong to:
    thriller
    sci-fi
    mythology
    biography
      
        The Odyssey belongs to the category of **mythology**. 
    
        Here's why:
    
        * **Mythology:** The Odyssey tells the story of Odysseus, a hero from Greek mythology, and his
        journey home after the Trojan War. It features gods, monsters, and supernatural events common to
        Greek mythology.
    .....
      

    התשובה נכונה, אבל המודל לא עמד במגבלות של האפשרויות. בנוסף, כדאי להגדיר למודל להשיב רק באחת מהאפשרויות במקום במשפט מלא. במקרה כזה, אפשר לנסח מחדש את ההוראות כשאלה אמריקאית ולבקש מהמודל לבחור אפשרות.

    Multiple choice problem: Which of the following options describes the book The Odyssey?
    Options:

    • thriller
    • sci-fi
    • mythology
    • biography
    The correct answer is mythology. 
    

  3. שינוי הסדר של תוכן ההנחיה: לפעמים הסדר של התוכן בהנחיה יכול להשפיע על התשובה. נסו לשנות את סדר התוכן ולראות איך זה משפיע על התגובה.

    Version 1:
    [examples]
    [context]
    [input]
    
    Version 2:
    [input]
    [examples]
    [context]
    
    Version 3:
    [examples]
    [input]
    [context]
    

תשובות חלופיות

תגובה חלופית היא תגובה שמוחזרת מהמודל כשההנחיה או התשובה מפעילות מסנן בטיחות. דוגמה לתשובת חלופית היא: "אין לי אפשרות לעזור בנושא הזה, כי אני רק מודל שפה".

אם המודל מגיב בתשובה חלופית, נסו להגדיל את הטמפרטורה.

דברים שיש להימנע מהם

  • הימנעו מהסתמכות על מודלים ליצירת מידע עובדתי.
  • יש להשתמש בזהירות בבעיות מתמטיות ולוגיות.

מודלים גנרטיביים מבפנים

המטרה של הקטע הזה היא לענות על השאלה – האם יש אקראיות בתשובות של מודלים גנרטיביים, או שהן גורמיות?

התשובה הקצרה היא כן לשתי השאלות. כשנותנים הנחיה למודל גנרטיבי, התשובה בטקסט נוצרת בשני שלבים. בשלב הראשון, המודל הגנרטיבי מעבד את הנחיה הקלט ומייצר חלוקת הסתברויות על אסימונים (מילים) אפשריים שיש סיכוי גבוה שיופיעו בהמשך. לדוגמה, אם תספקו את הטקסט להזנה "The dog jumped over the ... ", המודל הגנרטיבי ייצור מערך של המילים הבאות האפשריות:

[("fence", 0.77), ("ledge", 0.12), ("blanket", 0.03), ...]

התהליך הזה הוא דטרמיניסטי. מודל גנרטיבי ייצור את אותה ההתפלגות בכל פעם שיוזן לו אותו טקסט של הנחיה.

בשלב השני, המודל הגנרטיבי ממיר את התפלגויות הטקסט האלה לתגובות טקסט בפועל באמצעות אחת מכמה אסטרטגיות פענוח. אחת מהשיטות הפשוטות לפענוח היא לבחור את האסימון הסביר ביותר בכל פעימה. התהליך הזה תמיד יהיה דטרמיניסטי. עם זאת, אפשר גם ליצור תגובה על ידי דגימה אקראית מההפצה שהמודל מחזיר. התהליך הזה יהיה סטוכסטי (אקראי). כדי לקבוע את מידת האקראיות המותרת בתהליך הפענוח הזה, מגדירים את הטמפרטורה. כשהטמפרטורה היא 0, נבחרים רק האסימונים עם ההסתברות הגבוהה ביותר, ללא אקראיות. לעומת זאת, טמפרטורה גבוהה מחדירה רמה גבוהה של אקראיות לאסימונים שנבחרים על ידי המודל, וכתוצאה מכך התשובות של המודל יהיו יותר מפתיעות ולא צפויות.

השלבים הבאים