กลยุทธ์การออกแบบพรอมต์ เช่น พรอมต์แบบไม่กี่ช็อต อาจไม่ได้ให้ผลลัพธ์ที่คุณต้องการเสมอไป การปรับแต่งเป็นกระบวนการที่สามารถปรับปรุงโมเดลของคุณ ประสิทธิภาพในงานที่เฉพาะเจาะจงหรือช่วยให้โมเดลปฏิบัติตามเอาต์พุตที่เฉพาะเจาะจง ในกรณีที่วิธีการไม่เพียงพอ และคุณมีตัวอย่าง ที่แสดงเอาต์พุตที่คุณต้องการ
หน้านี้ให้ภาพรวมเชิงแนวคิดเกี่ยวกับการปรับแต่งโมเดลข้อความที่อยู่เบื้องหลังบริการข้อความของ Gemini API เมื่อพร้อมที่จะเริ่มปรับแต่ง ให้ลอง บทแนะนำการปรับแต่ง หากคุณต้องการ การแนะนำทั่วไปมากขึ้นในการปรับแต่ง LLM สำหรับกรณีการใช้งานที่เฉพาะเจาะจง ให้ตรวจสอบ ออก LLM: การปรับแต่ง การกรอง และพรอมต์ด้านวิศวกรรม ในช่วง หลักสูตรเร่งรัดเกี่ยวกับแมชชีนเลิร์นนิง
วิธีการทำงานของการปรับแต่ง
เป้าหมายของการปรับแต่งก็คือการปรับปรุงประสิทธิภาพของโมเดลสำหรับ เฉพาะที่แตกต่างกันไป การปรับแต่งจะทํางานโดยการให้ชุดข้อมูลการฝึกที่มีตัวอย่างงานจำนวนมากแก่โมเดล สำหรับงานเฉพาะทาง คุณจะปรับปรุงประสิทธิภาพของโมเดลได้อย่างมากโดยการปรับแต่งโมเดลด้วยตัวอย่างจำนวนไม่มาก การปรับแต่งโมเดลประเภทนี้บางครั้งเรียกว่าการปรับแต่งแบบควบคุมดูแล เพื่อแยกความแตกต่างจากการปรับแต่งประเภทอื่นๆ
ข้อมูลการฝึกควรมีโครงสร้างเป็นตัวอย่างที่มีอินพุตและพรอมต์ เอาต์พุตคำตอบที่คาดหวัง คุณสามารถปรับแต่งโมเดลโดยใช้ข้อมูลตัวอย่างโดยตรง ใน Google AI Studio เป้าหมายคือการสอนโมเดลให้เลียนแบบพฤติกรรมที่อยากได้ หรืองานหนึ่งๆ ได้โดยยกตัวอย่างมากมายที่แสดงให้เห็นลักษณะการทำงานหรืองานนั้น
เมื่อคุณเรียกใช้งานการปรับแต่ง โมเดลจะเรียนรู้พารามิเตอร์เพิ่มเติมซึ่งช่วยให้สามารถเข้ารหัสข้อมูลที่จำเป็นเพื่อทํางานที่ต้องการหรือเรียนรู้ลักษณะการทำงานที่ต้องการ จากนั้นจะใช้พารามิเตอร์เหล่านี้ได้เมื่ออนุมาน เอาต์พุตของงานการปรับแต่งคือโมเดลใหม่ ซึ่งเป็นการรวมพารามิเตอร์ที่เรียนรู้ใหม่เข้ากับโมเดลเดิมอย่างมีประสิทธิภาพ
เตรียมชุดข้อมูล
ก่อนเริ่มการปรับแต่ง คุณต้องมีชุดข้อมูลสำหรับปรับแต่งโมเดล สำหรับ ประสิทธิภาพดีที่สุด ตัวอย่างในชุดข้อมูลควรมีคุณภาพสูง มีความหลากหลาย และแสดงถึงอินพุตและเอาต์พุตจริง
รูปแบบ
ตัวอย่างที่รวมอยู่ในชุดข้อมูลควรตรงกับเวอร์ชันที่ใช้งานจริงที่คาดไว้ การเข้าชม หากชุดข้อมูลมีรูปแบบ คีย์เวิร์ด วิธีการ หรือข้อมูลที่ใช้งานจริง ควรจัดรูปแบบในลักษณะเดียวกันและ มีวิธีเดียวกัน
เช่น หากตัวอย่างในชุดข้อมูลมี "question:" และ
"context:" การรับส่งข้อมูลที่ใช้งานจริงควรจัดรูปแบบให้รวม
"question:" และ "context:" ในลำดับเดียวกันกับที่ปรากฏในชุดข้อมูล
ตัวอย่าง ถ้าคุณยกเว้นบริบท โมเดลจะไม่สามารถจดจำรูปแบบ
แม้ว่าคำถามนั้นจะอยู่ในตัวอย่างในชุดข้อมูลก็ตาม
อีกตัวอย่างหนึ่งคือข้อมูลการฝึก Python สําหรับแอปพลิเคชันที่สร้างขึ้นเพื่อแสดงตัวเลขถัดไปตามลําดับ
training_data = [
{"text_input": "1", "output": "2"},
{"text_input": "3", "output": "4"},
{"text_input": "-3", "output": "-2"},
{"text_input": "twenty two", "output": "twenty three"},
{"text_input": "two hundred", "output": "two hundred one"},
{"text_input": "ninety nine", "output": "one hundred"},
{"text_input": "8", "output": "9"},
{"text_input": "-98", "output": "-97"},
{"text_input": "1,000", "output": "1,001"},
{"text_input": "10,100,000", "output": "10,100,001"},
{"text_input": "thirteen", "output": "fourteen"},
{"text_input": "eighty", "output": "eighty one"},
{"text_input": "one", "output": "two"},
{"text_input": "three", "output": "four"},
{"text_input": "seven", "output": "eight"},
]
การเพิ่มพรอมต์หรือคำนำให้กับแต่ละตัวอย่างในชุดข้อมูลก็ช่วยได้เช่นกัน ปรับปรุงประสิทธิภาพของโมเดลที่ปรับแต่ง โปรดทราบว่าหากข้อความแจ้งหรือคำนำคือ ในชุดข้อมูลของคุณ นอกจากนี้ยังควรรวมอยู่ในพรอมต์เพื่อปรับแต่ง โมเดลในเวลาที่อนุมาน
ข้อจำกัด
หมายเหตุ: ชุดข้อมูลที่ปรับแต่งสำหรับ Gemini 1.5 Flash จะมีสิ่งต่อไปนี้ ข้อจำกัด:
- อินพุตสูงสุดต่อตัวอย่างคือ 40,000 อักขระ
- ขนาดเอาต์พุตสูงสุดต่อตัวอย่างคือ 5,000 อักขระ
ขนาดข้อมูลการฝึก
คุณสามารถปรับแต่งโมเดลได้ด้วยตัวอย่างเพียง 20 รายการ โดยทั่วไปแล้ว ข้อมูลเพิ่มเติมจะช่วยปรับปรุงคุณภาพของคำตอบ คุณควรกำหนดเป้าหมายระหว่าง 100 และตัวอย่าง 500 รายการ ขึ้นอยู่กับแอปพลิเคชันของคุณ ตารางต่อไปนี้แสดงขนาดชุดข้อมูลที่แนะนําสำหรับการปรับแต่งโมเดลข้อความแบบละเอียดสําหรับงานทั่วไปต่างๆ
| งาน | จำนวนตัวอย่างในชุดข้อมูล |
|---|---|
| การจัดประเภท | 100+ |
| การสรุป | 100-500+ |
| ค้นหาเอกสาร | 100+ |
อัปโหลดชุดข้อมูลการปรับแต่ง
ระบบจะส่งข้อมูลในบรรทัดโดยใช้ API หรือผ่านไฟล์ที่อัปโหลดใน Google AI Studio
หากต้องการใช้ไลบรารีไคลเอ็นต์ ให้ระบุไฟล์ข้อมูลในการเรียกใช้ createTunedModel
ไฟล์ต้องมีขนาดไม่เกิน 4 MB ดูการเริ่มต้นใช้งานแบบละเอียดด้วย Python เพื่อเริ่มต้นใช้งาน
หากต้องการเรียก REST API โดยใช้ cURL ให้ระบุตัวอย่างการฝึกในรูปแบบ JSON ให้กับอาร์กิวเมนต์ training_data ดูการเริ่มต้นใช้งานการปรับแต่งด้วย cURL เพื่อเริ่มต้นใช้งาน
การตั้งค่าการปรับแต่งขั้นสูง
เมื่อสร้างงานการปรับแต่ง คุณสามารถระบุการตั้งค่าขั้นสูงต่อไปนี้
- Epoch: การฝึกแบบเต็มรอบชุดข้อมูลการฝึกทั้งหมดเพื่อให้ระบบประมวลผลตัวอย่างแต่ละรายการ 1 ครั้ง
- ขนาดกลุ่ม: ชุดตัวอย่างที่ใช้ในการฝึกซ้ำ 1 ครั้ง ขณะที batch size จะกําหนดจํานวนตัวอย่างในชุด
- อัตราการเรียนรู้: จํานวนทศนิยมที่บอกอัลกอริทึมว่าจะปรับพารามิเตอร์ของโมเดลในการวนซ้ำแต่ละครั้งมากน้อยเพียงใด เช่น อัตราการเรียนรู้ 0.3 จะปรับน้ำหนักและค่ากําหนดให้มีประสิทธิภาพมากกว่าอัตราการเรียนรู้ 0.1 ถึง 3 เท่า อัตราการเรียนรู้สูงและต่ำ ข้อดีข้อเสียเฉพาะตัวของมันเอง และควรปรับให้เข้ากับกรณีการใช้งานของคุณ
- ตัวคูณอัตราการเรียนรู้: ตัวคูณอัตราจะแก้ไขรูปแบบของโมเดล อัตราการเรียนรู้เดิม ค่า 1 ใช้อัตราการเรียนรู้เดิมของ โมเดล ค่าที่มากกว่า 1 จะเพิ่มอัตราการเรียนรู้ และค่าระหว่าง 1 ถึง 0 จะลดอัตราการเรียนรู้
การกำหนดค่าที่แนะนำ
ตารางต่อไปนี้แสดงการกําหนดค่าที่แนะนําสําหรับการปรับแต่งรูปแบบพื้นฐาน
| ไฮเปอร์พารามิเตอร์ | ค่าเริ่มต้น | การปรับที่แนะนำ |
|---|---|---|
| ช่วงเวลาสำคัญในอดีต | 5 |
หากการสูญเสียเริ่มต้นเป็นที่ราบสูงก่อน 5 Epoch ให้ใช้ค่าที่น้อยกว่า หากความสูญเสียกำลังบรรจบกันและดูเหมือนว่าจะไม่เป็นที่ราบสูง ให้ใช้ค่าที่สูงขึ้น |
| ขนาดกลุ่ม | 4 | |
| อัตราการเรียนรู้ | 0.001 | ใช้ค่าที่น้อยลงสำหรับชุดข้อมูลขนาดเล็ก |
เส้นโค้ง Loss จะแสดงว่าการคาดการณ์ของโมเดลเบี่ยงเบนไปจากการคาดการณ์ที่เหมาะเจาะในตัวอย่างการฝึกมากน้อยเพียงใดหลังจากแต่ละ Epoch คุณควรหยุดการฝึกอบรมเมื่อถึงจุดต่ำสุดของเส้นโค้งก่อนที่เส้นโค้งจะคงที่ ตัวอย่างเช่น กราฟด้านล่างแสดงเส้นโค้งการสูญเสียที่คงที่ประมาณ 4-6 ยุค ซึ่งหมายความว่าคุณสามารถตั้งค่าพารามิเตอร์ Epoch เป็น 4 และยังคงได้รับประสิทธิภาพเดิม
ตรวจสอบสถานะงานการปรับ
คุณสามารถตรวจสอบสถานะงานปรับแต่งได้ใน Google AI Studio ในส่วน
แท็บคลังของฉัน หรือใช้พร็อพเพอร์ตี้ metadata ของโมเดลที่ปรับแต่งใน
Gemini API
แก้ไขข้อผิดพลาด
ส่วนนี้มีเคล็ดลับเกี่ยวกับวิธีแก้ไขข้อผิดพลาดที่อาจพบขณะสร้างรูปแบบที่ปรับแต่ง
การตรวจสอบสิทธิ์
การปรับแต่งโดยใช้ API และไลบรารีของไคลเอ็นต์ต้องมีการตรวจสอบสิทธิ์ คุณสามารถ ตั้งค่าการตรวจสอบสิทธิ์โดยใช้คีย์ API (แนะนำ) หรือใช้ OAuth ข้อมูลเข้าสู่ระบบ ดูเอกสารประกอบเกี่ยวกับการตั้งค่าคีย์ API ได้ที่หัวข้อตั้งค่าคีย์ API
หากเห็นข้อผิดพลาด 'PermissionDenied: 403 Request had insufficient authentication
scopes' คุณอาจต้องตั้งค่าการตรวจสอบสิทธิ์ผู้ใช้โดยใช้ข้อมูลเข้าสู่ระบบ OAuth หากต้องการกำหนดค่าข้อมูลเข้าสู่ระบบ OAuth สำหรับ Python โปรดไปที่บทแนะนำการตั้งค่า OAuth
โมเดลที่ยกเลิกแล้ว
คุณยกเลิกงานปรับแต่งได้ทุกเมื่อก่อนที่งานจะเสร็จสิ้น อย่างไรก็ตาม ประสิทธิภาพการอนุมานของโมเดลที่ยกเลิกจะคาดเดาไม่ได้ โดยเฉพาะในกรณีที่ยกเลิกงานการปรับแต่งในช่วงต้นของการฝึก หากคุณยกเลิกเนื่องจากคุณ ต้องการหยุดการฝึกใน Epoch ก่อนหน้านี้ คุณควรสร้างการปรับแต่งใหม่ แล้วตั้งค่า Epoch ให้มีค่าต่ำลง
ข้อจำกัดของโมเดลที่ปรับแต่ง
หมายเหตุ: โมเดลที่ปรับแต่งมีข้อจำกัดต่อไปนี้
- ขีดจํากัดของข้อมูลที่ป้อนของรุ่น Gemini 1.5 Flash ที่ปรับแต่งแล้วคือ 40,000 อักขระ
- โมเดลที่ปรับแต่งแล้วไม่รองรับโหมด JSON
- รองรับเฉพาะการป้อนข้อความ
ขั้นตอนถัดไป
เริ่มต้นใช้งานด้วยบทแนะนำการปรับแต่ง: