เกี่ยวกับโมเดล Generative

โมเดลปัญญาประดิษฐ์ (AI) แบบ Generative เช่น กลุ่ม โมเดลต่างๆ สามารถสร้างเนื้อหาจากอินพุตข้อมูลประเภทต่างๆ ได้แก่ ข้อความ รูปภาพ และเสียง ในระดับพื้นฐานที่สุด โมเดลเหล่านี้จะทำงาน แอปพลิเคชันเติมข้อความอัตโนมัติที่ซับซ้อน ข้อความที่ป้อน ("คุณสามารถเป็นผู้นำได้ to Water") โมเดล Generative สามารถคาดคะเนว่าข้อความเอาต์พุตที่ มีแนวโน้มทางสถิติที่จะตามมา ("แต่คุณดื่มไม่ได้") โดยอิงจาก รูปแบบที่เรียนรู้จากข้อมูลการฝึก คุณสามารถใช้คุณสมบัติพื้นฐานของ โมเดล Generative สำหรับแอปพลิเคชันต่างๆ

  • สร้างงานเขียนเชิงสร้างสรรค์ เช่น บทกวี เรื่องสั้น คำอุปมา และ บล็อกโพสต์
  • แปลงข้อมูลที่มีโครงสร้างเป็นข้อความรูปแบบอิสระ
  • ดึงและสรุปข้อมูลจากข้อความรูปแบบอิสระ
  • สร้างโค้ด
  • แปลไปมาระหว่างภาษา

การใช้โมเดล Generative เพื่อสร้างฟีเจอร์เหล่านี้ไม่จำเป็นต้องใช้คอมพิวเตอร์ใดๆ ความเชี่ยวชาญในการเรียนรู้ (ML) คุณไม่จำเป็นต้องรวบรวมชุดข้อมูลขนาดใหญ่หรือฝึก โมเดล สิ่งที่คุณต้องทำเพื่อเริ่มต้นต้นแบบคือการอธิบายสิ่งที่คุณต้องการ โมเดลที่สามารถทำได้ใน 2-3 ประโยค

โมเดล Generative ที่จัดการเฉพาะอินพุตและเอาต์พุตข้อความหรือที่เรียกว่า โมเดลภาษาขนาดใหญ่ (LLM) โมเดลในตระกูล Gemini สามารถประมวลผลได้มากกว่า มากกว่าข้อมูลข้อความ และแม้ว่า LLM จะทำหน้าที่ต่างๆ ของ LLM ได้ หรือที่เรียกอีกอย่างว่าโมเดล Generative

แอปพลิเคชันตัวอย่าง

ตัวอย่างต่อไปนี้แสดงอินพุตข้อความทั่วไปสำหรับ และเอาต์พุตจาก โมเดล Generative

แต่งบทกวี

ข้อมูลจากผู้ใช้: Write me a four-line poem about puppies and Android phones. Make sure it rhymes.

เอาต์พุตโมเดล:

Puppies are cute,
Android phones are neat,
They both bring joy,
And make life complete.

สร้างรายการ

ข้อมูลจากผู้ใช้: Generate a bulleted list of items I need to pack for a three-day camping trip.

เอาต์พุตโมเดล:

*   Tent
*   Sleeping bag
*   Sleeping pad
*   Camp stove
*   Pots and pans
*   Utensils
*   Food
*   Water
*   First-aid kit
*   Sunscreen
*   Insect repellent
*   ...

คุณสามารถใช้โมเดล Generative เพื่อสร้างลักษณะการทำงานที่เป็นประโยชน์ทุกประเภทได้ เช่น โดยการสร้างอินพุตที่ถูกต้อง หรือที่เรียกว่าพรอมต์ ศิลปะ และศาสตร์ในการทำความเข้าใจข้อความที่ถูกต้องเพื่อให้โมเดล Generative ทำได้ ที่คุณต้องการเรียกว่า Prompt design (หรือเรียกว่า "prompt Engineering" หรือ เพียง "การแสดงข้อความแจ้ง")

การออกแบบพรอมต์ 101

ส่วนก่อนหน้านี้แสดงตัวอย่างบางส่วนของพรอมต์ที่มี คำสั่ง เช่น "เขียนกลอนให้ฉัน" คำสั่งแบบนี้เหมาะสำหรับ งานบางประเภท แต่สำหรับแอปพลิเคชันอื่น การแจ้งอีกครั้ง เทคนิคที่เรียกว่าข้อความแจ้งเพียง 2-3 ช็อต อาจทำงานได้ดีกว่า ใช้ข้อความแจ้งไม่กี่ช็อต จากข้อเท็จจริงที่ว่าโมเดลภาษาขนาดใหญ่นั้นเก่งมาก การจดจำและการจำลองรูปแบบในข้อมูลข้อความ แนวคิดคือการส่ง โมเดล Generative คือรูปแบบข้อความที่เรียนรู้จนทำให้เสร็จ ตัวอย่างเช่น สมมติว่าคุณ ต้องการสร้างแอปพลิเคชันที่ใช้เพื่อป้อนชื่อประเทศและเอาต์พุต เมืองหลวง ต่อไปนี้เป็นข้อความที่ออกแบบมาเพื่อช่วยในเรื่องนี้

Italy : Rome
France : Paris
Germany :

คุณสร้างรูปแบบ [country] : [capital] ในข้อความแจ้งนี้ หากคุณส่ง ข้อความนี้ไปยังโมเดลภาษาขนาดใหญ่ โมเดลจะเติมรูปแบบโดยอัตโนมัติและ ผลลัพธ์แบบนี้

     Berlin
Turkey : Ankara
Greece : Athens

การตอบสนองของโมเดลนี้อาจดูแปลกเล็กน้อย โมเดลไม่เพียงแสดงผล เมืองหลวงของเยอรมนี (ประเทศสุดท้ายในพรอมต์ที่เขียนด้วยลายมือของคุณ) และ รายการคู่ประเทศและเมืองหลวงเพิ่มเติมทั้งหมด นั่นเป็นเพราะ โมเดล Generative คือ "รูปแบบที่ต่อเนื่อง" หากสิ่งที่คุณพยายามทำคือ สร้างฟังก์ชันที่บอกคุณถึงเมืองหลวงของประเทศการป้อนข้อมูล ("เยอรมนี : เบอร์ลิน") คุณอาจไม่ได้สนใจกับข้อความใดๆ บนโมเดลนั้นสักเท่าไหร่ เกิดขึ้นหลัง "เบอร์ลิน" อันที่จริงแล้ว ในฐานะนักออกแบบแอปพลิเคชัน คุณอาจต้องการ เพื่อตัดตัวอย่างที่ไม่เกี่ยวข้องออก ยิ่งไปกว่านั้น คุณอาจอยาก parameterize อินพุตเพื่อให้เยอรมนีไม่ใช่สตริงคงที่ แต่เป็นตัวแปร ข้อมูลที่ผู้ใช้ปลายทางระบุ

Italy : Rome
France : Paris
<user input here> :

คุณเพิ่งเขียนข้อความแจ้งเกี่ยวกับการสร้างเมืองหลวงของประเทศ

คุณสามารถทำสิ่งต่างๆ จำนวนมากได้โดยทำตามข้อความแจ้งสั้นๆ นี้ เทมเพลต ต่อไปนี้คือตัวอย่างพรอมต์บางส่วนที่มีรูปแบบแตกต่างออกไปเล็กน้อย แปลง Python เป็น JavaScript:

Convert Python to JavaScript.
Python: print("hello world")
JavaScript: console.log("hello world")
Python: for x in range(0, 100):
JavaScript: for(var i = 0; i < 100; i++) {
Python: ${USER INPUT HERE}
JavaScript:

หรือใช้ "พจนานุกรมแบบย้อนกลับ" นี้ ปรากฏขึ้น เมื่อมีคำจำกัดความ โค้ดจะแสดง คำที่ตรงกับคำจำกัดความนั้น

Given a definition, return the word it defines.
Definition: When you're happy that other people are also sad.
Word: schadenfreude
Definition: existing purely in the mind, but not in physical reality
Word: abstract
Definition: ${USER INPUT HERE}
Word:

คุณอาจสังเกตเห็นว่ารูปแบบของข้อความแจ้ง 2-3 ช็อตเหล่านี้จะแตกต่างกันไป เล็กน้อย นอกจากจะมีตัวอย่างแล้ว การระบุวิธีการใน พรอมต์เป็นกลยุทธ์เพิ่มเติมที่ควรพิจารณาเมื่อเขียนพรอมต์ของคุณเอง เช่น วิธีนี้ช่วยสื่อสารความตั้งใจของคุณให้กับโมเดลได้

การแสดงข้อความแจ้งเมื่อเทียบกับการพัฒนาซอฟต์แวร์แบบดั้งเดิม

ซึ่งแตกต่างจากซอฟต์แวร์แบบเดิมที่ได้รับการออกแบบ ด้วยข้อกำหนดที่เขียนมาอย่างพิถีพิถัน พฤติกรรมของโมเดล Generative นั้นมักจะไม่ชัดเจนแม้แต่กับผู้ฝึกโมเดล เพื่อ คุณจึงมักไม่สามารถคาดการณ์ล่วงหน้าได้ว่าโครงสร้างพรอมต์ประเภทใด เหมาะสมที่สุดสำหรับโมเดลที่เฉพาะเจาะจง ยิ่งไปกว่านั้น ลักษณะการทำงานของ Generative AI โมเดลกำหนดส่วนใหญ่จากข้อมูลการฝึก และเนื่องจากโมเดล ปรับชุดข้อมูลใหม่ๆ อย่างต่อเนื่อง บางครั้งโมเดลก็มีการเปลี่ยนแปลงมากพอ การเปลี่ยนโครงสร้างข้อความแจ้งทำงานได้ดีที่สุดโดยไม่เจตนา การดำเนินการนี้มีผลอย่างไร คุณ ลองทดสอบ! ลองใช้รูปแบบพรอมต์อื่นๆ

พารามิเตอร์โมเดล

ทุกพรอมต์ที่คุณส่งไปยังโมเดลจะมีค่าพารามิเตอร์ที่ควบคุมวิธีการ โมเดลจะสร้างคำตอบ โมเดลนี้สามารถสร้างผลลัพธ์ที่แตกต่างกันสำหรับ ค่าพารามิเตอร์ต่างๆ พารามิเตอร์โมเดลที่ใช้กันมากที่สุดมีดังนี้

  1. โทเค็นเอาต์พุตสูงสุด: ระบุจํานวนโทเค็นสูงสุดที่มีได้ ที่สร้างขึ้นในคำตอบ โทเค็นมีความยาวประมาณ 4 อักขระ 100 คน โทเค็นจะมีความยาวประมาณ 60-80 คำ

  2. อุณหภูมิ: อุณหภูมิจะควบคุมระดับการสุ่มในโทเค็น มากมาย ระบบจะใช้อุณหภูมิเพื่อสุ่มตัวอย่างระหว่างการสร้างคำตอบ ซึ่งจะเกิดขึ้นเมื่อใช้ topP และ topK ลดอุณหภูมิลงถือว่าดี สำหรับพรอมต์ที่ต้องมีคำตอบที่เจาะจงมากขึ้นหรือคำตอบปลายเปิดน้อยลง ขณะที่อุณหภูมิที่สูงขึ้น อาจให้ผลลัพธ์ที่หลากหลายหรือสร้างสรรค์มากขึ้น ต อุณหภูมิที่ 0 เป็นเชิงกำหนด ซึ่งหมายความว่าความน่าจะเป็นสูงสุด ระบบจะเลือกคำตอบเสมอ

  3. topK: พารามิเตอร์ topK จะเปลี่ยนวิธีที่โมเดลเลือกโทเค็นสำหรับ เอาต์พุต topK จาก 1 หมายความว่าโทเค็นที่เลือกน่าจะเป็นไปได้มากที่สุดใน โทเค็นทั้งหมดในคำศัพท์ของโมเดล (หรือที่เรียกว่าการถอดรหัสแบบโล่ง) ขณะที่ topK จาก 3 หมายความว่าระบบจะเลือกโทเค็นถัดไปจาก 3 ประเภท น่าจะเป็นไปได้มากที่สุดโดยใช้อุณหภูมิ สำหรับขั้นตอนการเลือกโทเค็นแต่ละรายการ ระบบจะสุ่มตัวอย่างโทเค็น topK ที่มีความน่าจะเป็นสูงสุด จากนั้นโทเค็นจะ กรองตาม topP ด้วยโทเค็นสุดท้ายที่เลือกโดยใช้ การสุ่มตัวอย่างอุณหภูมิ

  4. topP: พารามิเตอร์ topP จะเปลี่ยนวิธีที่โมเดลเลือกโทเค็นสำหรับ เอาต์พุต เลือกโทเค็นจากมากที่สุดไปน้อยที่สุดจนถึงผลรวมของ ความน่าจะเป็นของมีค่าเท่ากับ topP เช่น ถ้าโทเค็น A, B และ C มีความน่าจะเป็นที่ 0.3, 0.2 และ 0.1 และค่า topP เท่ากับ 0.5 โมเดลจะเลือก A หรือ B เป็นโทเค็นถัดไปโดยใช้ และไม่รวม C เป็นผู้สมัคร ค่า topP เริ่มต้นคือ 0.95

  5. stop_sequences: ตั้งค่าลำดับการหยุดเป็น บอกให้โมเดลหยุดสร้างเนื้อหา ลำดับการหยุดอาจเป็นอะไรก็ได้ ลำดับอักขระ พยายามหลีกเลี่ยงการใช้ลําดับอักขระที่ อาจปรากฏในเนื้อหาที่สร้างขึ้น

ประเภทของพรอมต์

พรอมต์จะขึ้นอยู่กับระดับของข้อมูลบริบทที่มีอยู่ แบ่งออกเป็น 3 ประเภทกว้างๆ

พรอมต์แบบ Zero Shot

พรอมต์เหล่านี้ไม่มีตัวอย่างสำหรับโมเดลที่จะจำลอง เซโรช็อต จะแสดงความสามารถของโมเดล ในการดำเนินการให้เสร็จสมบูรณ์โดยไม่ต้อง ตัวอย่างหรือข้อมูลเพิ่มเติม ซึ่งหมายความว่าโมเดลจะต้องอาศัย ความรู้ที่มีอยู่แล้วเพื่อสร้างคำตอบที่สมเหตุสมผล

รูปแบบพรอมต์แบบ Zero-shot ที่ใช้กันโดยทั่วไปมีดังนี้

  • เนื้อหาวิธีการ
<Overall instruction>
<Content to operate on>

ตัวอย่างเช่น

Summarize the following into two sentences at the third-grade level:

Hummingbirds are the smallest birds in the world, and they are also one of the
most fascinating. They are found in North and South America, and they are known
for their long, thin beaks and their ability to fly at high speeds.

Hummingbirds are made up of three main parts: the head, the body, and the tail.
The head is small and round, and it contains the eyes, the beak, and the brain.
The body is long and slender, and it contains the wings, the legs, and the
heart. The tail is long and forked, and it helps the hummingbird to balance
while it is flying.

Hummingbirds are also known for their coloration. They come in a variety of
colors, including green, blue, red, and purple. Some hummingbirds are even able
to change their color!

Hummingbirds are very active creatures. They spend most of their time flying,
and they are also very good at hovering. Hummingbirds need to eat a lot of food
in order to maintain their energy, and they often visit flowers to drink nectar.

Hummingbirds are amazing creatures. They are small, but they are also very
powerful. They are beautiful, and they are very important to the ecosystem.
  • วิธีการ-เนื้อหา-การสอน
<Overall instruction or context setting>
<Content to operate on>
<Final instruction>

ตัวอย่างเช่น

Here is some text I'd like you to summarize:

Hummingbirds are the smallest birds in the world, and they are also one of the
most fascinating. They are found in North and South America, and they are known
for their long, thin beaks and their ability to fly at high speeds. Hummingbirds
are made up of three main parts: the head, the body, and the tail. The head is
small and round, and it contains the eyes, the beak, and the brain. The body is
long and slender, and it contains the wings, the legs, and the heart. The tail
is long and forked, and it helps the hummingbird to balance while it is flying.
Hummingbirds are also known for their coloration. They come in a variety of
colors, including green, blue, red, and purple. Some hummingbirds are even able
to change their color! Hummingbirds are very active creatures. They spend most
of their time flying, and they are also very good at hovering. Hummingbirds need
to eat a lot of food in order to maintain their energy, and they often visit
flowers to drink nectar. Hummingbirds are amazing creatures. They are small, but
they are also very powerful. They are beautiful, and they are very important to
the ecosystem.

Summarize it in two sentences at the third-grade reading level.
  • ความต่อเนื่อง บางครั้งคุณสามารถให้โมเดลทำงานต่อไปโดยไม่มี วิธีทำ ตัวอย่างเช่น ต่อไปนี้เป็นพรอมต์ Zero-shot เมื่อโมเดล เพื่อดำเนินการตามอินพุตที่ให้ไว้ต่อไป
Once upon a time, there was a little sparrow building a nest in a farmer's
barn. This sparrow

ใช้พรอมต์แบบ Zero shot เพื่อสร้างรูปแบบข้อความครีเอทีฟโฆษณา เช่น บทกวี โค้ด สคริปต์ บทเพลง อีเมล หรือจดหมาย

พรอมต์แบบครั้งเดียว

พรอมต์เหล่านี้ทำให้โมเดลมีตัวอย่างเดียวในการทำซ้ำและดําเนินการต่อ ลาย ทำให้สามารถสร้างคำตอบที่คาดการณ์ได้จาก โมเดล

เช่น คุณจะสร้างการจับคู่อาหารได้ดังนี้

Food: Apple
Pairs with: Cheese
Food: Pear
Pairs with:

ข้อความแจ้งไม่กี่ช็อต

ข้อความแจ้งเหล่านี้ทำให้โมเดลมีตัวอย่างหลายรายการให้ทำซ้ำ ใช้ ใช้ข้อความแจ้งเพียง 2-3 ช็อตเพื่อทำงานที่ซับซ้อนให้เสร็จสิ้น เช่น การสังเคราะห์ข้อมูลตาม บนลวดลาย

ตัวอย่างพรอมต์มีดังต่อไปนี้

Generate a grocery shopping list for a week for one person. Use the JSON format
given below.
{"item": "eggs", "quantity": "6"}
{"item": "bread", "quantity": "one loaf"}

โมเดล Generative ขั้นสูง

ส่วนนี้มีจุดประสงค์เพื่อตอบคำถาม - มีการสุ่มใน Generative AI หรือไม่ โมเดล เป็นคำตอบหรือไม่

คำตอบสั้นๆ - ใช่ ทั้ง 2 อย่าง เมื่อพรอมต์โมเดล Generative ข้อความ ระบบจะสร้างการตอบกลับได้ 2 ขั้นตอน ในระยะแรก โมเดล Generative ประมวลผลพรอมต์อินพุตและสร้างการกระจายความน่าจะเป็นใน โทเค็น (คำ) ต่างๆ ที่มีแนวโน้มว่าจะมีในอนาคต เช่น หากคุณแสดงข้อความแจ้ง ด้วยข้อความอินพุต "สุนัขกระโดดข้าม ..." โมเดล Generative จะ จะสร้างชุดคำที่น่าจะเกิดขึ้นถัดไป เช่น

[("fence", 0.77), ("ledge", 0.12), ("blanket", 0.03), ...]

กระบวนการนี้เป็นกระบวนการเชิงกำหนด โมเดล Generative จะสร้าง การกระจายทุกครั้งที่ป้อนข้อมูลพรอมต์เดิม

ในขั้นตอนที่ 2 โมเดล Generative จะแปลงการกระจายเหล่านี้เป็น คำตอบที่เป็นข้อความจริงๆ โดยใช้ หนึ่งในกลยุทธ์การถอดรหัสที่หลากหลาย องค์ประกอบ กลยุทธ์การถอดรหัสอาจเลือกโทเค็นที่มีแนวโน้มมากที่สุดทุกครั้ง ช่วงเวลานี้ จะต้องกำหนดได้เสมอไป อย่างไรก็ตาม คุณสามารถเลือก สร้างการตอบกลับโดยการสุ่มตัวอย่างสำหรับการกระจายที่แสดงผลโดย โมเดล กระบวนการนี้คงเป็นไปอย่างสิ้นเชิง (แบบสุ่ม) ควบคุมระดับของ ความไม่สม่ำเสมอที่ใช้ได้ในกระบวนการถอดรหัสนี้โดยการตั้งค่าอุณหภูมิ ต อุณหภูมิเท่ากับ 0 หมายความว่าจะเลือกเฉพาะโทเค็นที่เป็นไปได้มากที่สุดเท่านั้น และไม่มี การสุ่มเลือก ในทางกลับกัน อุณหภูมิที่สูงจะแทรกการสุ่มอยู่ในระดับสูง ลงในโทเค็นที่เลือกโดยโมเดล ซึ่งนำไปสู่ ที่ไม่คาดคิด และน่าประหลาดใจ การตอบกลับโมเดล

อ่านเพิ่มเติม

  • ตอนนี้คุณเข้าใจมากขึ้นเกี่ยวกับพรอมต์และโมเดล Generative ให้ลองเขียนพรอมต์ของคุณเองโดยใช้ Google AI Studio
  • โปรดดูหลักเกณฑ์ของพรอมต์เพื่อเรียนรู้เกี่ยวกับ ข้อมูลเพิ่มเติมเกี่ยวกับแนวทางปฏิบัติแนะนำในการสร้างพรอมต์