หน้าโมเดล: FunctionGemma
แหล่งข้อมูลและเอกสารประกอบทางเทคนิค
- ชุดเครื่องมือ Generative AI ที่มีความรับผิดชอบ
- FunctionGemma ใน Kaggle
- FunctionGemma ใน Vertex Model Garden
ข้อกำหนดในการใช้งาน: ข้อกำหนด
ผู้เขียน: Google DeepMind
ข้อมูลรุ่น
คำอธิบายสรุปและคำจำกัดความโดยย่อของอินพุตและเอาต์พุต
คำอธิบาย
หมายเหตุ: FunctionGemma ออกแบบมาเพื่อปรับแต่งสำหรับงานการเรียกใช้ฟังก์ชันที่เฉพาะเจาะจงของคุณ ซึ่งรวมถึงกรณีการใช้งานแบบหลายรอบ
FunctionGemma เป็นโมเดลแบบเปิดน้ำหนักเบาจาก Google ซึ่งสร้างขึ้นเป็นรากฐาน สำหรับการสร้างโมเดลการเรียกใช้ฟังก์ชันเฉพาะของคุณเอง FunctionGemma ไม่ได้มีไว้เพื่อใช้เป็นโมเดลการสนทนาโดยตรง และได้รับการออกแบบมาให้มีประสิทธิภาพสูงหลังจากปรับแต่งเพิ่มเติม ซึ่งเป็นลักษณะทั่วไปของโมเดลขนาดนี้ FunctionGemma สร้างขึ้นจากโมเดล Gemma 3 270M และใช้การวิจัยและเทคโนโลยีเดียวกันกับที่ใช้สร้างโมเดล Gemini โดยได้รับการฝึกมาเพื่อการเรียกใช้ฟังก์ชันโดยเฉพาะ โมเดลนี้มีสถาปัตยกรรมเดียวกับ Gemma 3 แต่ใช้รูปแบบการแชทที่แตกต่างกัน โมเดลนี้เหมาะสำหรับการเรียกใช้ฟังก์ชันแบบข้อความเท่านั้น ขนาดที่เล็กเป็นพิเศษทำให้สามารถติดตั้งใช้งานในสภาพแวดล้อมที่มีทรัพยากรจำกัด เช่น แล็ปท็อป เดสก์ท็อป หรือโครงสร้างพื้นฐานระบบคลาวด์ของคุณเอง ซึ่งจะช่วยให้ทุกคนเข้าถึงโมเดล AI ที่ล้ำสมัยและส่งเสริมการสร้างสรรค์นวัตกรรม ได้ นอกจากนี้ โมเดลยังได้รับการเพิ่มประสิทธิภาพให้มีความอเนกประสงค์สูง ทำงานได้ดีในฮาร์ดแวร์ที่หลากหลายในสถานการณ์แบบเทิร์นเดียว เช่นเดียวกับ Gemma 270M รุ่นพื้นฐาน แต่ควรมีการปรับแต่งแบบละเอียดในข้อมูลเฉพาะของงานแบบเทิร์นเดียวหรือหลายเทิร์นเพื่อให้ได้ความแม่นยำที่ดีที่สุดในโดเมนที่เฉพาะเจาะจง เพื่อแสดงให้เห็นว่าการปรับแต่งโมเดลพารามิเตอร์ 270 ล้านรายการให้มีความเชี่ยวชาญเฉพาะทางจะช่วยให้เวิร์กโฟลว์แบบเอเจนต์บางอย่างมีประสิทธิภาพสูงได้อย่างไร เราจึงได้ไฮไลต์กรณีการใช้งาน 2 กรณีในแอป Google AI Edge Gallery
Tiny Garden: โมเดลที่ได้รับการปรับแต่งอย่างละเอียดเพื่อขับเคลื่อนเกมแบบอินเทอร์แอคทีฟที่ควบคุมด้วยเสียง โดยจะจัดการตรรกะของเกมเพื่อจัดการแปลงที่ดินเสมือน แยกคำสั่งต่างๆ เช่น "ปลูกทานตะวันในแถวบนสุด" และ "รดน้ำ ดอกไม้ในแปลงที่ 1 และ 2" เป็นฟังก์ชันเฉพาะของแอป (เช่น plant_seed, water_plots) และประสานงานเป้าหมาย ซึ่งแสดงให้เห็นถึงความสามารถของโมเดล ในการขับเคลื่อนกลไกของแอปที่กำหนดเองโดยไม่ต้องเชื่อมต่อเซิร์ฟเวอร์
การดำเนินการบนอุปกรณ์เคลื่อนที่: เราได้เผยแพร่ชุดข้อมูลและสูตรการปรับแต่งเพื่อแสดงการปรับแต่ง FunctionGemma เพื่อช่วยให้นักพัฒนาแอปสร้างเอเจนต์ผู้เชี่ยวชาญของตนเองได้ แปลข้อมูลจากผู้ใช้ (เช่น "Create a calendar event for lunch" (สร้างกิจกรรมในปฏิทินสำหรับมื้อกลางวัน) "Turn on the flashlight" (เปิดไฟฉาย) เป็นการเรียกใช้ฟังก์ชันที่ทริกเกอร์เครื่องมือระบบปฏิบัติการ Android สมุดบันทึกแบบอินเทอร์แอกทีฟนี้แสดงวิธีใช้โมเดล FunctionGemma พื้นฐานและสร้างการปรับแต่ง "การดำเนินการบนอุปกรณ์เคลื่อนที่" ตั้งแต่ต้นเพื่อใช้ในแอปแกลเลอรี Google AI Edge กรณีการใช้งานนี้แสดงให้เห็นความสามารถของโมเดลในการทำหน้าที่เป็นเอเจนต์ส่วนตัวแบบออฟไลน์สำหรับงานในอุปกรณ์ส่วนตัว
อินพุตและเอาต์พุต
- อินพุต:
- สตริงข้อความ เช่น คำถาม พรอมต์ หรือเอกสารที่จะ สรุป
- บริบทอินพุตทั้งหมด 32,000 โทเค็น
- เอาต์พุต:
- ข้อความที่สร้างขึ้นเพื่อตอบสนองต่ออินพุต เช่น คำตอบของคำถาม หรือสรุปเอกสาร
- บริบทเอาต์พุตทั้งหมดสูงสุด 32, 000 โทเค็นต่อคำขอ โดยลบ โทเค็นอินพุตของคำขอ
ข้อมูลโมเดล
ข้อมูลที่ใช้ในการฝึกโมเดลและวิธีประมวลผลข้อมูล
ชุดข้อมูลการฝึก
โมเดลเหล่านี้ได้รับการฝึกจากชุดข้อมูลข้อความที่มีแหล่งที่มาหลากหลาย โมเดลได้รับการฝึกด้วยโทเค็น 6 ล้านล้านรายการ วันที่สิ้นสุดความรู้ สำหรับข้อมูลการฝึกคือเดือนสิงหาคม 2024 องค์ประกอบสำคัญมีดังนี้
- คำจำกัดความของเครื่องมือสาธารณะ - API ทั่วไปที่พบในเว็บ
- การโต้ตอบการใช้เครื่องมือ - การโต้ตอบเหล่านี้ประกอบด้วยพรอมต์ การเรียกใช้ฟังก์ชัน การตอบกลับฟังก์ชัน และการตอบกลับภาษาธรรมชาติจากโมเดลเพื่อ สรุปการตอบกลับการเรียกใช้ฟังก์ชัน หรือขอคำชี้แจงเมื่อ พรอมต์ไม่ชัดเจนหรือไม่สมบูรณ์
การประมวลผลข้อมูลเบื้องต้น
ต่อไปนี้คือวิธีการทำความสะอาดและกรองข้อมูลที่สำคัญซึ่งใช้กับข้อมูลการฝึก
- การกรอง CSAM: เราใช้การกรอง CSAM (สื่อที่มีการล่วงละเมิดทางเพศเด็ก) อย่างเข้มงวดในหลายขั้นตอนของกระบวนการเตรียมข้อมูลเพื่อให้มั่นใจว่าเนื้อหาที่เป็นอันตรายและผิดกฎหมายจะถูกยกเว้น
- การกรองข้อมูลที่ละเอียดอ่อน: ในการสร้างโมเดลที่ผ่านการฝึกมาก่อนของ Gemma ให้ปลอดภัยและเชื่อถือได้ เราได้ใช้เทคนิคอัตโนมัติเพื่อกรอง ข้อมูลส่วนบุคคลและข้อมูลที่ละเอียดอ่อนอื่นๆ บางอย่างออกจากชุดข้อมูลการฝึก
- วิธีเพิ่มเติม: กรองตามคุณภาพและความปลอดภัยของเนื้อหาตามนโยบายของเรา
ข้อมูลการติดตั้งใช้งาน
รายละเอียดเกี่ยวกับส่วนประกอบภายในของโมเดล
ฮาร์ดแวร์
Gemma ได้รับการฝึกโดยใช้ฮาร์ดแวร์ Tensor Processing Unit (TPU) (TPUv4p, TPUv5p และ TPUv5e) การฝึกโมเดลวิทัศน์ภาษา (VLM) ต้องใช้ กำลังประมวลผลจำนวนมาก TPU ออกแบบมาเพื่อการดำเนินการกับเมทริกซ์โดยเฉพาะ ซึ่งเป็นเรื่องปกติใน แมชชีนเลิร์นนิง จึงมีข้อดีหลายประการในโดเมนนี้
- ประสิทธิภาพ: TPU ออกแบบมาเพื่อจัดการการคำนวณจำนวนมากที่เกี่ยวข้องกับการฝึก VLM โดยเฉพาะ ซึ่งช่วยเร่งการฝึกได้ อย่างมากเมื่อเทียบกับ CPU
- หน่วยความจำ: TPU มักจะมีหน่วยความจำแบนด์วิดท์สูงจำนวนมาก ซึ่งช่วยให้จัดการโมเดลและขนาดกลุ่มงานขนาดใหญ่ได้ในระหว่างการฝึก ซึ่งอาจส่งผลให้โมเดลมีคุณภาพดีขึ้น
- ความสามารถในการปรับขนาด: TPU Pod (คลัสเตอร์ขนาดใหญ่ของ TPU) มีโซลูชันที่ปรับขนาดได้ เพื่อจัดการความซับซ้อนที่เพิ่มขึ้นของโมเดลพื้นฐานขนาดใหญ่ คุณสามารถกระจายการฝึกไปยังอุปกรณ์ TPU หลายเครื่องเพื่อการประมวลผลที่เร็วขึ้นและมีประสิทธิภาพมากขึ้น
- ความคุ้มค่า: ในหลายๆ สถานการณ์ TPU สามารถเป็นโซลูชันที่คุ้มค่ากว่าสำหรับการฝึกโมเดลขนาดใหญ่เมื่อเทียบกับโครงสร้างพื้นฐานที่ใช้ CPU โดยเฉพาะเมื่อพิจารณาถึงเวลาและทรัพยากรที่ประหยัดได้เนื่องจากการฝึกที่เร็วขึ้น
- ข้อดีเหล่านี้สอดคล้องกับความมุ่งมั่นของ Google ในการดำเนินงานอย่างยั่งยืน
ซอฟต์แวร์
การฝึกทำโดยใช้ JAX และ
ML Pathways
JAX ช่วยให้นักวิจัยใช้ประโยชน์จากฮาร์ดแวร์รุ่นล่าสุด
ซึ่งรวมถึง TPU เพื่อฝึกโมเดลขนาดใหญ่ได้เร็วขึ้นและมีประสิทธิภาพมากขึ้น ML
Pathways เป็นความพยายามล่าสุดของ Google ในการสร้างระบบปัญญาประดิษฐ์
ที่สามารถสรุปงานต่างๆ ได้ ซึ่งเหมาะอย่างยิ่งสำหรับ
โมเดลพื้นฐาน รวมถึงโมเดลภาษาขนาดใหญ่ เช่น โมเดลเหล่านี้
เราใช้ JAX และ ML Pathways ร่วมกันตามที่อธิบายไว้ในเอกสารเกี่ยวกับ
โมเดลตระกูล Gemini "รูปแบบการเขียนโปรแกรม 'ตัวควบคุมเดียว' ของ Jax และ Pathways ช่วยให้กระบวนการ Python เดียวสามารถประสานงานการฝึกทั้งหมด ซึ่งช่วยลดความซับซ้อนของเวิร์กโฟลว์การพัฒนาได้อย่างมาก"
การประเมิน
เมตริกและผลลัพธ์การประเมินโมเดล
ผลการเปรียบเทียบ
| Benchmark | n-shot | ฟังก์ชัน Gemma 270m |
|---|---|---|
| BFCL Simple | 0-Shot | 61.6 |
| BFCL Parallel | 0-Shot | 63.5 |
| BFCL Multiple | 0-Shot | 39 |
| BFCL Parallel Multiple | 0-Shot | 29.5 |
| BFCL Live Simple | 0-Shot | 36.2 |
| BFCL Live Parallel | 0-Shot | 25.7 |
| BFCL Live Multiple | 0-Shot | 22.9 |
| BFCL Live Parallel Multiple | 0-Shot | 20.8 |
| ความเกี่ยวข้องของ BFCL | 0-Shot | 61.1 |
| BFCL ไม่เกี่ยวข้อง | 0-Shot | 70.6 |
ผลกระทบต่อประสิทธิภาพหลังจากการปรับแต่งชุดข้อมูลการดำเนินการบนอุปกรณ์เคลื่อนที่
เพื่อแสดงให้เห็นถึงคุณค่าของการเชี่ยวชาญสำหรับโมเดลภาษาขนาดเล็ก เราได้
เปรียบเทียบโมเดลพื้นฐานของ FunctionGemma กับโมเดลที่ปรับแต่งแล้วโดยใช้
สูตร "การดำเนินการบนอุปกรณ์เคลื่อนที่"
การปรับแต่งช่วยเพิ่มความสามารถของโมเดล FunctionGemma ฐานในการระบุและจัดรูปแบบการเรียกใช้ระบบของอุปกรณ์เคลื่อนที่ได้อย่างถูกต้องอย่างมาก
โมเดล |
ผลการประเมินสำหรับการดำเนินการบนอุปกรณ์เคลื่อนที่ |
|---|---|
โมเดลฟังก์ชันพื้นฐานของ Gemma |
58% |
การปรับแต่งการดำเนินการบนอุปกรณ์เคลื่อนที่ |
85% |
ประสิทธิภาพบนอุปกรณ์ของกรณีการใช้งานที่ปรับแต่งอย่างละเอียดของ Gemma 270m
เราได้ประเมินกรณีการใช้งานที่ปรับแต่งอย่างละเอียดใน Samsung S25 Ultra เพื่อประเมินเวลาในการตอบสนองและร่องรอยหน่วยความจำบนอุปกรณ์
- บริบท: โทเค็นเติมข้อความล่วงหน้า 512 รายการและโทเค็นถอดรหัส 32 รายการ
- ฮาร์ดแวร์: CPU ของ S25 Ultra ใช้ LiteRT XNNPACK delegate ที่มี 4 เธรด
ประสิทธิภาพการดำเนินการบนอุปกรณ์เคลื่อนที่
แบ็กเอนด์ |
รูปแบบการหาปริมาณ |
ความยาวบริบท |
การเติมข้อความล่วงหน้า (โทเค็นต่อวินาที) |
ถอดรหัส (โทเค็นต่อวินาที) |
เวลาจนกว่าจะได้รับโทเค็นแรก (วินาที) |
ขนาดโมเดล (MB) |
หน่วยความจำ RSS สูงสุด (MB) |
|---|---|---|---|---|---|---|---|
CPU |
dynamic_int8 |
1024 |
1718 |
125.9 |
0.3 |
288 |
551 |
Tiny Garden On Device Performance
แบ็กเอนด์ |
รูปแบบการหาปริมาณ |
ความยาวบริบท |
การเติมข้อความล่วงหน้า (โทเค็นต่อวินาที) |
ถอดรหัส (โทเค็นต่อวินาที) |
เวลาจนกว่าจะได้รับโทเค็นแรก (วินาที) |
ขนาดโมเดล (MB) |
หน่วยความจำ RSS สูงสุด (MB) |
|---|---|---|---|---|---|---|---|
CPU |
dynamic_int8 |
1024 |
1743 |
125.7 |
0.3 |
288 |
549 |
จริยธรรมและความปลอดภัย
แนวทางและผลการประเมินด้านจริยธรรมและความปลอดภัย
แนวทางการประเมิน
วิธีการประเมินของเราประกอบด้วยการประเมินที่มีโครงสร้างและการทดสอบแบบเรดทีมภายใน ของนโยบายเนื้อหาที่เกี่ยวข้อง การทดสอบแบบเรดทีมดำเนินการโดยทีมต่างๆ จำนวนหนึ่ง ซึ่งแต่ละทีมมีเป้าหมายและเมตริกการประเมินโดยมนุษย์ที่แตกต่างกัน โมเดลเหล่านี้ได้รับการประเมินในหมวดหมู่ต่างๆ ที่เกี่ยวข้องกับ จริยธรรมและความปลอดภัย ซึ่งรวมถึง
- ความปลอดภัยของเด็ก: การประเมินพรอมต์ข้อความต่อข้อความและรูปภาพต่อข้อความ ที่ครอบคลุมนโยบายความปลอดภัยของเด็ก ซึ่งรวมถึงการล่วงละเมิดทางเพศและการแสวงหาประโยชน์จากเด็ก
- ความปลอดภัยของเนื้อหา: การประเมินพรอมต์ข้อความต่อข้อความและรูปภาพต่อข้อความ ที่ครอบคลุมนโยบายด้านความปลอดภัย ซึ่งรวมถึงการคุกคาม ความรุนแรงและภาพนองเลือด และวาจาสร้างความเกลียดชัง
- การสร้างความเสียหายด้านการเป็นตัวแทน: การประเมินพรอมต์ข้อความต่อข้อความและรูปภาพต่อข้อความ ที่ครอบคลุมนโยบายด้านความปลอดภัย ซึ่งรวมถึงอคติ การเหมารวม และการเชื่อมโยงหรือความไม่ถูกต้องที่เป็นอันตราย
ผลการประเมิน
สำหรับการทดสอบด้านความปลอดภัยทั้งหมด เราเห็นการปรับปรุงที่สำคัญในหมวดหมู่ ความปลอดภัยของเด็ก ความปลอดภัยของเนื้อหา และอันตรายจากการเป็นตัวแทน เมื่อเทียบกับโมเดล Gemma รุ่นก่อนหน้า การทดสอบทั้งหมดดำเนินการโดยไม่มีตัวกรองความปลอดภัยเพื่อประเมิน ความสามารถและลักษณะการทำงานของโมเดล โมเดลนี้ละเมิดนโยบายน้อยมาก และแสดงให้เห็นถึงการปรับปรุงประสิทธิภาพที่สำคัญเมื่อเทียบกับโมเดล Gemma รุ่นก่อนหน้า ในส่วนของการอนุมานที่ไม่มีมูล ข้อจำกัดของการประเมินของเราคือมีเฉพาะพรอมต์ภาษาอังกฤษ
การใช้งานและข้อจำกัด
โมเดลเหล่านี้มีข้อจำกัดบางอย่างที่ผู้ใช้ควรทราบ
การใช้งานที่ตั้งใจไว้
โมเดลนี้ไม่ได้มีไว้เพื่อใช้เป็นโมเดลการสนทนาโดยตรง
โมเดลภาษาขนาดใหญ่ (LLM) แบบเปิดมีการใช้งานที่หลากหลายใน
อุตสาหกรรมและโดเมนต่างๆ รายการการใช้งานที่เป็นไปได้ต่อไปนี้ไม่ครอบคลุมทั้งหมด จุดประสงค์ของรายการนี้คือการให้ข้อมูลตามบริบท
เกี่ยวกับ Use Case ที่เป็นไปได้ซึ่งผู้สร้างโมเดลพิจารณาเป็นส่วนหนึ่งของการฝึก
และการพัฒนาโมเดล
- การสร้างและการสื่อสารเนื้อหา
- การสร้างข้อความ: โมเดลเหล่านี้สามารถใช้เพื่อสร้างรูปแบบข้อความที่สร้างสรรค์ เช่น บทกวี สคริปต์ โค้ด ข้อความทางการตลาด และฉบับร่างอีเมล
- แชทบ็อตและ AI แบบสนทนา: ขับเคลื่อนอินเทอร์เฟซแบบสนทนา สำหรับฝ่ายบริการลูกค้า ผู้ช่วยเสมือน หรือแอปพลิเคชันแบบอินเทอร์แอกทีฟ
- การสรุปข้อความ: สร้างสรุปที่กระชับของคลังข้อความ เอกสารงานวิจัย หรือรายงาน
- การวิจัยและการศึกษา
- การวิจัยการประมวลผลภาษาธรรมชาติ (NLP): โมเดลเหล่านี้สามารถ เป็นรากฐานให้นักวิจัยได้ทดลองใช้เทคนิค NLP พัฒนาอัลกอริทึม และมีส่วนร่วมในการพัฒนาสาขานี้
- เครื่องมือการเรียนรู้ภาษา: รองรับประสบการณ์การเรียนรู้ภาษาแบบอินเทอร์แอกทีฟ ช่วยแก้ไขไวยากรณ์ หรือให้ฝึกเขียน
- การสำรวจความรู้: ช่วยนักวิจัยในการสำรวจข้อความจำนวนมากโดยการสร้างข้อมูลสรุปหรือตอบคำถามเกี่ยวกับหัวข้อที่เฉพาะเจาะจง
ข้อจำกัด
- ข้อมูลการฝึก
- คุณภาพและความหลากหลายของข้อมูลการฝึกมีผลต่อความสามารถของโมเดลอย่างมาก อคติหรือช่องว่างในข้อมูลการฝึก อาจทำให้คำตอบของโมเดลมีข้อจำกัด
- ขอบเขตของชุดข้อมูลการฝึกจะเป็นตัวกำหนดขอบเขตของหัวข้อ ที่โมเดลสามารถจัดการได้อย่างมีประสิทธิภาพ
- บริบทและความซับซ้อนของงาน
- โมเดลจะทำงานได้ดีกว่าในงานที่สามารถกำหนดกรอบด้วยพรอมต์และคำสั่งที่ชัดเจน งานที่เป็นปลายเปิดหรือมีความซับซ้อนสูงอาจเป็น เรื่องท้าทาย
- ประสิทธิภาพของโมเดลอาจได้รับผลกระทบจากปริมาณบริบท ที่ให้ (โดยทั่วไปบริบทที่ยาวขึ้นจะให้เอาต์พุตที่ดีขึ้นจนถึง จุดหนึ่ง)
- ความคลุมเครือและความแตกต่างของภาษา
- ภาษาธรรมชาติมีความซับซ้อนโดยธรรมชาติ โมเดลอาจเข้าใจความแตกต่างเล็กๆ น้อยๆ การประชดประชัน หรือภาษาเชิงอุปมาได้ยาก
- ความถูกต้องของข้อเท็จจริง
- โมเดลจะสร้างคำตอบตามข้อมูลที่เรียนรู้จากชุดข้อมูลการฝึก แต่ไม่ใช่ฐานความรู้ ซึ่งอาจสร้างข้อความที่เป็นข้อเท็จจริงที่ไม่ถูกต้องหรือล้าสมัย
- Common Sense
- โมเดลอาศัยรูปแบบทางสถิติในภาษา โมเดลอาจ ขาดความสามารถในการใช้เหตุผลตามสามัญสำนึกในบางสถานการณ์
ข้อควรพิจารณาด้านจริยธรรมและความเสี่ยง
การพัฒนาโมเดลภาษาขนาดใหญ่ (LLM) ทำให้เกิดข้อกังวลด้านจริยธรรมหลายประการ ในการสร้างโมเดลแบบเปิด เราได้พิจารณาสิ่งต่อไปนี้อย่างรอบคอบ
- อคติและความเป็นธรรม
- LLM ที่ฝึกกับข้อมูลข้อความขนาดใหญ่ในโลกแห่งความเป็นจริงอาจแสดงถึงอคติทางสังคมและวัฒนธรรมที่ฝังอยู่ในสื่อการฝึก โมเดลเหล่านี้ ได้รับการตรวจสอบอย่างละเอียด มีการอธิบายการประมวลผลข้อมูลนำเข้าล่วงหน้า และ การประเมินภายหลังที่รายงานในการ์ดนี้
- การให้ข้อมูลที่ไม่ถูกต้องและการละเมิดนโยบาย
- LLM อาจถูกนำไปใช้ในทางที่ผิดเพื่อสร้างข้อความที่เป็นเท็จ ทำให้เข้าใจผิด หรือเป็นอันตราย
- เรามีหลักเกณฑ์สำหรับการใช้งานโมเดลอย่างมีความรับผิดชอบ โปรดดูชุดเครื่องมือ Generative AI อย่างมีความรับผิดชอบ
- ความโปร่งใสและความรับผิดชอบ
- การ์ดโมเดลนี้สรุปรายละเอียดเกี่ยวกับสถาปัตยกรรม ความสามารถ ข้อจำกัด และกระบวนการประเมินของโมเดล
- โมเดลแบบเปิดที่พัฒนาขึ้นอย่างมีความรับผิดชอบจะช่วยให้เรามีโอกาส แชร์นวัตกรรมด้วยการทำให้เทคโนโลยี LLM เข้าถึงได้สำหรับนักพัฒนาซอฟต์แวร์และ นักวิจัยทั่วทั้งระบบนิเวศ AI
ความเสี่ยงที่พบและการลดความเสี่ยง
- การคงอยู่ของการให้น้ำหนักพิเศษ: ขอแนะนำให้ทำการตรวจสอบอย่างต่อเนื่อง (ใช้เมตริกการประเมิน การตรวจสอบโดยเจ้าหน้าที่) และการสำรวจเทคนิคการลดการให้น้ำหนักพิเศษระหว่างการฝึกโมเดล การปรับแต่ง และกรณีการใช้งานอื่นๆ
- การสร้างเนื้อหาที่เป็นอันตราย: กลไกและหลักเกณฑ์ด้านความปลอดภัยของเนื้อหาเป็นสิ่งสำคัญ เราขอแนะนำให้นักพัฒนาแอปใช้ความระมัดระวังและ ใช้มาตรการป้องกันความปลอดภัยของเนื้อหาที่เหมาะสมตามนโยบายผลิตภัณฑ์และกรณีการใช้งานแอปพลิเคชันที่เฉพาะเจาะจง
- การนำไปใช้ในทางที่ผิดเพื่อวัตถุประสงค์ที่เป็นอันตราย: ข้อจำกัดทางเทคนิคและการให้ความรู้แก่นักพัฒนาแอปและ ผู้ใช้ปลายทางจะช่วยลดการนำ LLM ไปใช้ในแอปพลิเคชันที่เป็นอันตรายได้ เรามีแหล่งข้อมูลด้านการศึกษาและกลไกการรายงานเพื่อให้ผู้ใช้แจ้งการละเมิด การใช้งานโมเดล Gemma ที่ไม่อนุญาตระบุไว้ในนโยบายการใช้งานที่ไม่อนุญาตสำหรับ Gemma
- การละเมิดความเป็นส่วนตัว: โมเดลได้รับการฝึกด้วยข้อมูลที่กรองเพื่อนำ PII (ข้อมูลส่วนบุคคลที่ระบุตัวบุคคลนั้นได้) ออก เราขอแนะนำให้นักพัฒนาแอป ปฏิบัติตามกฎระเบียบด้านความเป็นส่วนตัวด้วยเทคนิคการรักษาความเป็นส่วนตัว
ข้อดี
ในขณะที่เปิดตัว โมเดลกลุ่มนี้จะมีการใช้งานโมเดลภาษาขนาดใหญ่แบบเปิดที่มีประสิทธิภาพสูง ซึ่งออกแบบมาตั้งแต่ต้นเพื่อการพัฒนา AI อย่างมีความรับผิดชอบเมื่อเทียบกับโมเดลที่มีขนาดใกล้เคียงกัน