การ์ดโมเดล DiffusionGemma

Hugging Face | GitHub | บล็อกการเปิดตัว | เอกสารประกอบ
ใบอนุญาต: Apache 2.0 | ผู้เขียน: Google DeepMind

DiffusionGemma เป็นโมเดล Generative ที่สร้างโดย Google DeepMind DiffusionGemma สร้างโทเค็นโดยใช้การแพร่กระจายแบบไม่ต่อเนื่อง โดยอิงตามสถาปัตยกรรม Gemma 4 แบบ Mixture-of-Experts (MoE) ขนาด 26B A4B โมเดลแบบโอเพนเวตนี้เป็นโมเดลหลายรูปแบบที่รองรับอินพุตข้อความ รูปภาพ และวิดีโอเพื่อสร้างเอาต์พุตข้อความ

DiffusionGemma สร้างขึ้นบนรากฐาน MoE โดยออกแบบมาเพื่อปรับปรุงความเร็วในการสร้าง (โทเค็นต่อวินาที) ขณะเดียวกันก็ยังคงใช้งานได้ในสภาพแวดล้อมฮาร์ดแวร์ที่หลากหลาย DiffusionGemma ต่อยอดจากความก้าวหน้าด้านสถาปัตยกรรมและความสามารถของ Gemma 4 โดยเปิดตัวฟีเจอร์หลักหลายรายการ ดังนี้

• Discrete Text Diffusion - เปลี่ยนจากการถดถอยอัตโนมัติแบบทีละโทเค็นเป็นการสุ่มตัวอย่างแบบหลาย Canvas ที่มีการถดถอยอัตโนมัติแบบบล็อก โดยจะสร้างข้อความด้วยการลดนอยส์บล็อกของโทเค็น ("Canvas") ซ้ำๆ แบบขนาน ซึ่งช่วยเพิ่มความเร็วในการถอดรหัสได้อย่างมาก
• การประมวลผลอินพุตหลายรูปแบบ – ประมวลผลข้อความ รูปภาพ (รองรับสัดส่วนภาพและความละเอียดที่หลากหลาย) และอินพุตวิดีโอที่แทรกสลับกันเพื่อสร้างเอาต์พุตข้อความ
• สถาปัตยกรรม Encoder-Decoder – ใช้ Encoder แบบถดถอยอัตโนมัติเพื่อประมวลผลและแคชบริบทของพรอมต์ ควบคู่ไปกับ Decoder ที่ใช้ Attention แบบ 2 ทิศทาง (Bidirectional Attention) บน Canvas การสร้าง
• ประสิทธิภาพของ Mixture-of-Experts (MoE) – ใช้ประโยชน์จากการออกแบบ MoE แบบ Sparse (ผู้เชี่ยวชาญที่ทำงานอยู่ 8 คนจากทั้งหมด 128 คน) เพื่อให้มีความสามารถในการให้เหตุผลที่แข็งแกร่งในขณะที่ยังคงใช้หน่วยความจำที่ใช้น้อยซึ่งเหมาะสำหรับการดำเนินการในเครื่อง
• โหมดการคิด (การให้เหตุผล) – ออกแบบมาให้เป็นโมเดลการให้เหตุผลที่มีความสามารถสูง พร้อมโหมดการคิดที่กำหนดค่าได้
• เพิ่มประสิทธิภาพสำหรับการอนุมานขนาดกลุ่มเล็ก - ออกแบบมาเป็นพิเศษสำหรับการสร้างที่มีเวลาในการตอบสนองต่ำและความเร็วสูงบนตัวเร่งประมวลผลที่มีความสามารถเพียงตัวเดียว
• การรองรับพรอมต์ระบบแบบเนทีฟ – เช่นเดียวกับ Gemma 4 โมเดลนี้รองรับการอัปเดตบทบาท system ซึ่งช่วยให้การสนทนามีโครงสร้างและควบคุมได้มากขึ้น

ภาพรวมของโมเดล

DiffusionGemma ได้รับการออกแบบมาเพื่อลดปัญหาคอขวดตามลำดับของโมเดลภาษาเชิงเหตุผลมาตรฐาน โดยใช้สถาปัตยกรรม Encoder-Decoder ที่เพิ่มประสิทธิภาพเพื่อความเร็วในการอนุมานโดยเฉพาะ

ตัวเข้ารหัสจะทำงานในความสามารถแบบ Prefill โดยประมวลผลพรอมต์เริ่มต้นและสร้างแคช KV จากนั้นตัวถอดรหัสจะใช้ความสนใจแบบ 2 ทิศทางเพื่อประมวลผลบล็อกอินพุต ("Canvas") ของโทเค็น โดยเข้าถึงบริบทที่แคชไว้ผ่านความสนใจแบบข้าม

ในระหว่างการอนุมาน DiffusionGemma จะใช้ประโยชน์จากการสุ่มตัวอย่างแบบ Multi-Canvas แทนที่จะสร้างโทเค็นทีละรายการ โมเดลจะลดสัญญาณรบกวนของบล็อกโทเค็นทั้งหมดซ้ำๆ โดยใช้ตัวอย่างการกระจาย เมื่อ Canvas ได้รับการลดนอยส์อย่างสมบูรณ์แล้ว ระบบจะประมวลผลโดยโปรแกรมเปลี่ยนไฟล์และเพิ่มลงในแคช KV หลังจากนั้นโมเดลจะสร้าง Canvas ถัดไป แนวทางแบบ Block-Autoregressive นี้ช่วยให้สร้างข้อความได้เร็วขึ้น

DiffusionGemma

พร็อพเพอร์ตี้	DiffusionGemma 26B A4B
พารามิเตอร์ทั้งหมด	2.52 หมื่นล้าน
พารามิเตอร์ที่ทำงานอยู่	3.8 พันล้าน
เลเยอร์	30
หน้าต่างแบบเลื่อน	1,024 โทเค็น
ความยาวบริบท	สูงสุด 256,000 โทเค็น
ความยาวของ Canvas	256
ขนาดคำศัพท์	2.62 แสน
จำนวนผู้เชี่ยวชาญ	ใช้งานอยู่ 8 รายการ / ทั้งหมด 128 รายการ และแชร์ 1 รายการ
โมดัลที่รองรับ	ข้อความ รูปภาพ
พารามิเตอร์โปรแกรมเปลี่ยนไฟล์ภาพ	~550 ล้าน

ผลการเปรียบเทียบ

โมเดลเหล่านี้ได้รับการประเมินเทียบกับชุดข้อมูลและเมตริกต่างๆ จำนวนมากเพื่อให้ครอบคลุมแง่มุมต่างๆ ของการสร้างข้อความ ผลการประเมินที่ทำเครื่องหมายไว้ในตารางมีไว้สำหรับโมเดลที่ปรับแต่งตามคำสั่ง โดยมีตัวอย่าง Entropy Bound (EB) ที่แนะนำ (ดูแนวทางปฏิบัติแนะนำด้านล่าง)

เกณฑ์เปรียบเทียบ	DiffusionGemma 26B A4B	Gemma 4 26B A4B
MMLU Pro	77.6%	82.6%
AIME 2026 ไม่มีเครื่องมือ	69.1%	88.3%
LiveCodeBench v6	69.1%	77.1%
Codeforces ELO	1429	1718
GPQA Diamond	73.2%	82.3%
Tau2 (ค่าเฉลี่ยมากกว่า 3)	56.2%	68.2%
HLE no tools	11.0%	8.7%
HLE พร้อมการค้นหา	11.9%	17.2%
BigBench Extra Hard	47.6%	64.8%
MMMLU	81.5%	86.3%
การมองเห็น
MMMU Pro	54.3%	73.8%
OmniDocBench 1.5 (ระยะห่างในการแก้ไขโดยเฉลี่ย ยิ่งต่ำยิ่งดี)	0.319	0.149
MATH-Vision	70.5%	82.4%
MedXPertQA MM	49.0%	58.1%
บริบทแบบยาว
MRCR v2 8 needle 128k (average)	32.0%	44.1%

ความสามารถหลัก

DiffusionGemma จัดการงานที่หลากหลายทั้งในด้านข้อความและการมองเห็น ความสามารถหลักๆ ได้แก่

• การสร้างความเร็วสูง - การลดสัญญาณรบกวนแบบขนานของโทเค็น 256 รายการผ่านการสุ่มตัวอย่างแบบกระจายช่วยให้มีเวลาในการตอบสนองต่ำโดยการสร้างโทเค็น 15-20 รายการต่อการส่งต่อ 1 ครั้ง ซึ่งช่วยปลดล็อกความเร็วในการสร้างต่อผู้ใช้ที่เกิน 1,100 โทเค็นต่อวินาทีในการตั้งค่าขนาดกลุ่มต่ำ (H100, FP8)
• การคำนวณเวลาอนุมานแบบปรับเปลี่ยนได้ - พรอมต์ที่เรียบง่ายและงานที่มีโครงสร้าง เช่น โค้ด ต้องใช้ขั้นตอนการลดนอยส์น้อยลง ทำให้ความเร็วโทเค็นต่อวินาทีเป็นแบบไดนามิกตามความซับซ้อนของงาน
• การคิด – โหมดการให้เหตุผลในตัวที่ช่วยให้โมเดลคิดทีละขั้นตอนก่อนตอบ
• บริบทแบบยาว – หน้าต่างบริบทที่มีโทเค็นสูงสุด 256,000 รายการ
• การทำความเข้าใจรูปภาพ – การตรวจจับออบเจ็กต์, การแยกวิเคราะห์เอกสาร/PDF, การทำความเข้าใจหน้าจอและ UI, การทำความเข้าใจแผนภูมิ, OCR (รวมถึงหลายภาษา), การจดจำลายมือ และการชี้ตำแหน่ง ระบบสามารถประมวลผลรูปภาพที่มีสัดส่วนภาพและความละเอียดที่หลากหลายได้
• ความเข้าใจวิดีโอ – วิเคราะห์และอธิบายเนื้อหาวิดีโอโดยประมวลผลลำดับเฟรม
• อินพุตหลายรูปแบบที่แทรกสลับกัน - ผสมผสานรูปภาพ วิดีโอ และข้อความภายในพรอมต์เดียวเพื่อการให้เหตุผลที่อิงตามบริบทอย่างละเอียด
• การเรียกใช้ฟังก์ชัน – การรองรับการใช้เครื่องมือที่มีโครงสร้างในตัว ซึ่งช่วยให้เวิร์กโฟลว์แบบ Agentic ทำงานได้
• การเขียนโค้ดและการให้เหตุผล - สามารถสร้างโค้ด เติมโค้ด และให้เหตุผลเชิงตรรกะแบบทีละขั้นตอนได้
• หลายภาษา – รองรับภาษามากกว่า 35 ภาษาได้ทันที และได้รับการฝึกฝนล่วงหน้ามากกว่า 140 ภาษา

แนวทางปฏิบัติแนะนำ

ใช้การกำหนดค่าและแนวทางปฏิบัติแนะนำต่อไปนี้เพื่อให้ได้ประสิทธิภาพที่ดีที่สุด

1. การตั้งค่าการสุ่มตัวอย่างการแพร่กระจาย

ใช้การกำหนดค่าการสุ่มตัวอย่างที่ได้มาตรฐานต่อไปนี้ใน Use Case ทั้งหมด

• วิธีการ: การสุ่มตัวอย่างแบบกระจายด้วยการลดนอยส์แบบจำกัดเอนโทรปีและการหยุดแบบปรับอัตโนมัติ
• การกำหนดค่าการสุ่มตัวอย่าง:
  • จำนวนขั้นตอนการลดนอยส์สูงสุด = 48
  • กำหนดเวลาปรับอุณหภูมิ (สำหรับการปรับรูปร่าง Logit): การลดลงเชิงเส้นจาก 0.8 → 0.4
  • การเลือกโทเค็น: ในแต่ละขั้นตอน ตัวอย่างจะเลือกโทเค็นที่มีเอนโทรปีต่ำที่สุดเพื่อให้ขอบเขตข้อมูลร่วมกันอยู่ต่ำกว่าขอบเขตเอนโทรปี = 0.1
  • การสร้างนอยส์ใหม่ในโทเค็น: เครื่องมือสุ่มตัวอย่างจะสร้างนอยส์ใหม่ทั้งหมดในโทเค็นที่ไม่ได้เลือก
• การหยุดแบบปรับอัตโนมัติ: การสุ่มตัวอย่างจะสิ้นสุดก่อนกำหนดก็ต่อเมื่อเป็นไปตามเงื่อนไขทั้ง 2 ข้อต่อไปนี้พร้อมกัน
  • การคาดการณ์ที่เชื่อถือได้: เอนโทรปีของโมเดลโดยเฉลี่ยใน Canvas ต่ำกว่าเกณฑ์เอนโทรปี = 0.005
  • การคาดการณ์ที่เสถียร: การคาดการณ์โทเค็นที่มีความน่าจะเป็นสูงสุดจะยังคงเหมือนเดิมในขั้นตอนการลดสัญญาณรบกวน 2 ขั้นตอนติดต่อกัน

2. การกำหนดค่าโหมดการคิด

เราใช้บทบาท system, assistant และ user มาตรฐานเช่นเดียวกับโมเดล Gemma 4 หากต้องการจัดการกระบวนการคิดอย่างเหมาะสม ให้ใช้โทเค็นควบคุมต่อไปนี้

• ทริกเกอร์การคิด: การคิดจะเปิดใช้โดยการใส่โทเค็น <|think|> ไว้ที่จุดเริ่มต้นของพรอมต์ของระบบ หากต้องการปิดใช้การคิด ให้ลบโทเค็น (โปรดทราบว่าอาจยังมีการปล่อยช่องทางการคิดที่ว่างเปล่าอยู่)
• การสร้างมาตรฐาน: เมื่อเปิดใช้การคิด โมเดลจะแสดงผลการให้เหตุผลภายในตามด้วยคำตอบสุดท้ายโดยใช้โครงสร้างนี้: <|channel>thought\n[การให้เหตุผลภายใน]<channel|>
• ลักษณะการทำงานเมื่อปิดใช้การคิด: หากปิดใช้การคิด โมเดลจะยังคงสร้างแท็กแต่จะมีบล็อกความคิดที่ว่างเปล่า ดังนี้ <|channel>thought\n<channel|>[คำตอบสุดท้าย]

โปรดทราบว่าไลบรารีจำนวนมาก เช่น Transformers จะจัดการความซับซ้อนของเทมเพลตแชทให้คุณ

3. การสนทนาแบบหลายตา

• ไม่มีเนื้อหาการคิดในประวัติ: ในการสนทนาแบบหลายรอบ เอาต์พุตโมเดลที่ผ่านมาควรมีเฉพาะคำตอบสุดท้ายเท่านั้น ต้องไม่เพิ่มความคิดจากเทิร์นก่อนหน้าของโมเดลก่อนที่เทิร์นถัดไปของผู้ใช้จะเริ่มต้น

4. ลำดับรูปแบบ

• เพื่อให้ได้ประสิทธิภาพสูงสุดเมื่อใช้อินพุตแบบหลายโมดัล ให้วางเนื้อหารูปภาพไว้ก่อนข้อความในพรอมต์

5. ความละเอียดของรูปภาพแบบแปรผัน

นอกจากสัดส่วนภาพที่หลากหลายแล้ว DiffusionGemma ยังรองรับความละเอียดของรูปภาพที่หลากหลายผ่านงบประมาณโทเค็นภาพที่กำหนดค่าได้ ซึ่งจะควบคุมจำนวนโทเค็นที่ใช้เพื่อแสดงรูปภาพ งบประมาณโทเค็นที่สูงขึ้นจะช่วยรักษารายละเอียดภาพได้มากขึ้นโดยแลกกับการประมวลผลเพิ่มเติม ส่วนงบประมาณที่ต่ำลงจะช่วยให้การอนุมานเร็วขึ้นสำหรับงานที่ไม่ต้องใช้ความเข้าใจแบบละเอียด

• งบประมาณโทเค็นที่รองรับ ได้แก่ 70, 140, 280, 560 และ 1120
  • ใช้งบประมาณที่ต่ำลงสำหรับการจัดประเภท การใส่คำบรรยาย หรือการทำความเข้าใจวิดีโอ ซึ่งการอนุมานที่รวดเร็วและการประมวลผลหลายเฟรมมีความสำคัญมากกว่ารายละเอียดที่ละเอียด
  • ใช้งบประมาณที่สูงขึ้นสำหรับงานต่างๆ เช่น OCR, การแยกวิเคราะห์เอกสาร หรือการอ่านข้อความขนาดเล็ก

6. ความยาววิดีโอ

โมเดลทั้งหมดรองรับอินพุตรูปภาพและประมวลผลวิดีโอเป็นเฟรมได้ วิดีโอรองรับความยาวสูงสุด 60 วินาที โดยสมมติว่าระบบประมวลผลรูปภาพที่ 1 เฟรมต่อวินาที

ข้อมูลโมเดล

ข้อมูลที่ใช้สำหรับการฝึกโมเดลและวิธีประมวลผลข้อมูล

ชุดข้อมูลการฝึก

ชุดข้อมูลก่อนการฝึกของเราเป็นคอลเล็กชันข้อมูลขนาดใหญ่และหลากหลายซึ่งครอบคลุมโดเมนและรูปแบบต่างๆ มากมาย ซึ่งรวมถึงเอกสารบนเว็บ โค้ด รูปภาพ เสียง โดยมีวันที่สิ้นสุดคือเดือนมกราคม 2025 องค์ประกอบหลักมีดังนี้

• เอกสารบนเว็บ: คอลเล็กชันข้อความบนเว็บที่หลากหลายช่วยให้โมเดลได้สัมผัสกับสไตล์ภาษา หัวข้อ และคำศัพท์ที่หลากหลาย ชุดข้อมูลการฝึกประกอบด้วยเนื้อหามากกว่า 140 ภาษา
• โค้ด: การแสดงโค้ดให้โมเดลเห็นจะช่วยให้โมเดลเรียนรู้ไวยากรณ์และรูปแบบของภาษาโปรแกรม ซึ่งจะช่วยปรับปรุงความสามารถในการสร้างโค้ดและทำความเข้าใจคำถามที่เกี่ยวข้องกับโค้ด
• คณิตศาสตร์: การฝึกเกี่ยวกับข้อความทางคณิตศาสตร์ช่วยให้โมเดลเรียนรู้การให้เหตุผลเชิงตรรกะ การแสดงสัญลักษณ์ และตอบคำถามทางคณิตศาสตร์ได้
• รูปภาพ: รูปภาพที่หลากหลายช่วยให้โมเดลทำงานวิเคราะห์รูปภาพและการดึงข้อมูลภาพได้

การรวมแหล่งข้อมูลที่หลากหลายเหล่านี้เข้าด้วยกันเป็นสิ่งสำคัญสำหรับการฝึกโมเดลหลายรูปแบบที่มีประสิทธิภาพ ซึ่งสามารถจัดการกับงานและรูปแบบข้อมูลที่หลากหลายได้

การประมวลผลข้อมูลล่วงหน้า

วิธีการทำความสะอาดข้อมูลและการกรองข้อมูลที่สำคัญซึ่งใช้กับข้อมูลฝึกฝนมีดังนี้

• การกรอง CSAM: มีการใช้การกรอง CSAM (สื่อที่มีการล่วงละเมิดทางเพศเด็ก) อย่างเข้มงวดในหลายขั้นตอนของกระบวนการเตรียมข้อมูลเพื่อให้แน่ใจว่าไม่มีเนื้อหาที่เป็นอันตรายและผิดกฎหมาย
• การกรองข้อมูลที่ละเอียดอ่อน: ในการทำให้โมเดล Gemma ที่ผ่านการฝึกอบรมล่วงหน้าปลอดภัยและเชื่อถือได้ เราได้ใช้เทคนิคอัตโนมัติเพื่อกรองข้อมูลส่วนบุคคลบางอย่างและข้อมูลที่ละเอียดอ่อนอื่นๆ ออกจากชุดการฝึก
• วิธีการเพิ่มเติม: การกรองตามคุณภาพและความปลอดภัยของเนื้อหาตามนโยบายของเรา

จริยธรรมและความปลอดภัย

เมื่อโมเดลแบบเปิดกลายเป็นศูนย์กลางของโครงสร้างพื้นฐานขององค์กร แหล่งที่มาและ ความปลอดภัยจึงเป็นสิ่งสำคัญยิ่ง DiffusionGemma ได้รับการพัฒนาโดย Google DeepMind และผ่านการประเมินความปลอดภัยที่เข้มงวดเช่นเดียวกับโมเดล Gemini ที่เป็นกรรมสิทธิ์ของเรา

แนวทางการประเมิน

DiffusionGemma ได้รับการพัฒนาโดยความร่วมมือกับทีมความปลอดภัยภายในและทีม AI ที่มีความรับผิดชอบ เราได้ทำการประเมินทั้งแบบอัตโนมัติและแบบใช้เจ้าหน้าที่เพื่อช่วยปรับปรุงความปลอดภัยของโมเดล การประเมินเหล่านี้สอดคล้องกับหลักการเกี่ยวกับ AI ของ Google รวมถึงนโยบายความปลอดภัย ซึ่งมีจุดมุ่งหมายเพื่อป้องกันไม่ให้โมเดล Generative AI ของเราสร้างเนื้อหาที่เป็นอันตราย ซึ่งรวมถึงเนื้อหาต่อไปนี้

• เนื้อหาที่เกี่ยวข้องกับสื่อที่มีการล่วงละเมิดทางเพศเด็กและการแสวงหาประโยชน์จากเด็ก
• เนื้อหาที่เป็นอันตราย (เช่น ส่งเสริมการฆ่าตัวตาย หรือให้คำแนะนำเกี่ยวกับกิจกรรมที่อาจก่อให้เกิดอันตรายในชีวิตจริง)
• เนื้อหาเกี่ยวกับเรื่องเพศอย่างโจ่งแจ้ง
• วาจาสร้างความเกลียดชัง (เช่น การลดทอนคุณค่าความเป็นมนุษย์ของสมาชิกในกลุ่มที่ได้รับการคุ้มครอง)
• การคุกคาม (เช่น การส่งเสริมความรุนแรงต่อผู้อื่น)

ผลการประเมิน

สำหรับการทดสอบความปลอดภัยในทุกด้าน เราพบว่าความปลอดภัยของเนื้อหาทุกหมวดหมู่มีการปรับปรุงอย่างมากเมื่อเทียบกับโมเดล Gemma รุ่นก่อนหน้า โดยรวมแล้ว DiffusionGemma มีประสิทธิภาพเหนือกว่าโมเดล Gemma 3 และ 3n อย่างมากในการปรับปรุงความปลอดภัย เช่นเดียวกับโมเดล Gemma 4 โดยยังคงรักษาอัตราการปฏิเสธที่ไม่สมเหตุสมผลไว้ในระดับต่ำ การทดสอบทั้งหมดดำเนินการโดยเจตนาโดยไม่มีตัวกรองความปลอดภัยเพื่อประเมินความสามารถดิบและพฤติกรรมพื้นฐานของโมเดล ทั้งในด้านการแปลงข้อความเป็นข้อความและการแปลงรูปภาพเป็นข้อความ รวมถึงในโมเดลทุกขนาด โมเดลนี้มีการละเมิดนโยบายเพียงเล็กน้อย และแสดงให้เห็นถึงการปรับปรุงที่สำคัญเมื่อเทียบกับโมเดล Gemma รุ่นก่อนหน้า

การใช้งานและข้อจำกัด

โมเดลเหล่านี้มีข้อจำกัดบางอย่างที่ผู้ใช้ควรทราบ

วัตถุประสงค์การใช้งาน

โมเดลแบบหลายรูปแบบ (สามารถประมวลผลภาพ ภาษา และ/หรือเสียง) มีการใช้งานที่หลากหลายในอุตสาหกรรมและโดเมนต่างๆ รายการการใช้งานที่เป็นไปได้ต่อไปนี้เป็นเพียงตัวอย่างบางส่วนเท่านั้น วัตถุประสงค์ของรายการนี้คือการให้ข้อมูลเชิงบริบทเกี่ยวกับกรณีการใช้งานที่เป็นไปได้ซึ่งผู้สร้างโมเดลพิจารณาว่าเป็นส่วนหนึ่งของการฝึกและการพัฒนาโมเดล

• การสร้างคอนเทนต์และการสื่อสาร
  • การสร้างข้อความ: สร้างรูปแบบข้อความที่สร้างสรรค์ เช่น บทกวี สคริปต์ โค้ด ข้อความทางการตลาด และอีเมลฉบับร่าง
  • แชทบ็อตและ AI แบบสนทนา: ขับเคลื่อนอินเทอร์เฟซแบบสนทนาสำหรับการบริการลูกค้า ผู้ช่วยเสมือน หรือแอปพลิเคชันแบบอินเทอร์แอกทีฟ
  • การสรุปข้อความ: สร้างสรุปสั้นๆ ของคลังข้อความ เอกสารวิจัย หรือรายงาน
  • การดึงข้อมูลรูปภาพ: ดึงข้อมูล ตีความ และสรุปข้อมูลภาพสำหรับการสื่อสารด้วยข้อความ
• การวิจัยและการศึกษา
  • การวิจัยการประมวลผลภาษาธรรมชาติ (NLP) และ VLM: ทำหน้าที่เป็นรากฐานสำหรับนักวิจัยในการทดลองใช้เทคนิค VLM และ NLP, พัฒนาอัลกอริทึม และมีส่วนร่วมในการพัฒนาสาขานี้
  • เครื่องมือการเรียนรู้ภาษา: รองรับประสบการณ์การเรียนรู้ภาษาแบบอินเทอร์แอกทีฟ ช่วยแก้ไขไวยากรณ์หรือให้แบบฝึกหัดการเขียน
  • การสำรวจความรู้: ช่วยนักวิจัยในการสำรวจข้อความจำนวนมากโดยการสร้างสรุปหรือตอบคำถามเกี่ยวกับหัวข้อที่เฉพาะเจาะจง

ข้อจำกัด

• ข้อมูลฝึกฝน
  • คุณภาพและความหลากหลายของข้อมูลฝึกฝนส่งผลต่อความสามารถของโมเดลอย่างมาก อคติหรือช่องว่างในข้อมูลฝึกฝนอาจทำให้คำตอบของโมเดลมีข้อจำกัด
  • ขอบเขตของชุดข้อมูลการฝึกจะกำหนดสาขาวิชาที่โมเดลสามารถจัดการได้อย่างมีประสิทธิภาพ
• บริบทและความซับซ้อนของงาน
  • โมเดลนี้ทำงานได้ดีกับงานที่สามารถกำหนดกรอบด้วยพรอมต์และคำสั่งที่ชัดเจน งานปลายเปิดหรืองานที่มีความซับซ้อนสูงอาจเป็นเรื่องท้าทาย
  • ประสิทธิภาพของโมเดลอาจได้รับอิทธิพลจากปริมาณบริบทที่ให้ (โดยทั่วไปแล้วบริบทที่ยาวขึ้นจะนำไปสู่เอาต์พุตที่ดีขึ้นจนถึงจุดหนึ่ง)
• ความกำกวมและความแตกต่างเล็กน้อยของภาษา
  • ภาษาธรรมชาติมีความซับซ้อนโดยเนื้อแท้ โมเดลอาจเข้าใจความแตกต่างเล็กๆ น้อยๆ การประชดประชัน หรือภาษาเชิงเปรียบเทียบได้ยาก
• ความถูกต้องตามข้อเท็จจริง
  • โมเดลจะสร้างคำตอบโดยอิงตามข้อมูลที่ได้เรียนรู้จากชุดข้อมูลการฝึก แต่โมเดลไม่ใช่ฐานความรู้ ซึ่งอาจสร้างข้อความแสดงข้อเท็จจริงที่ไม่ถูกต้องหรือล้าสมัย
• Common Sense
  • โมเดลนี้อาศัยรูปแบบทางสถิติในภาษา โมเดลอาจขาดความสามารถในการใช้การให้เหตุผลตามสามัญสำนึกในบางสถานการณ์

ข้อควรพิจารณาด้านจริยธรรมและความเสี่ยง

ในการสร้างโมเดลภาษาและวิสัยทัศน์แบบเปิด เราได้พิจารณาสิ่งต่อไปนี้อย่างรอบคอบ

• อคติและความเป็นธรรม
  • VLM ที่ได้รับการฝึกด้วยข้อมูลข้อความและรูปภาพในโลกแห่งความเป็นจริงในวงกว้างอาจสะท้อนถึงอคติทางสังคมและวัฒนธรรมที่ฝังอยู่ในสื่อการฝึก DiffusionGemma ผ่านการตรวจสอบอย่างละเอียด การประมวลผลข้อมูลอินพุตล่วงหน้า และการประเมินหลังการฝึกตามที่รายงานในการ์ดนี้ เพื่อช่วยลดความเสี่ยงของอคติเหล่านี้
• การให้ข้อมูลที่ไม่ถูกต้องและการใช้ในทางที่ผิด
  • VLM อาจถูกนำไปใช้ในทางที่ผิดเพื่อสร้างข้อความที่สร้างขึ้นซึ่งเป็นเท็จ ทำให้เข้าใจผิด หรือเป็นอันตราย
  • เรามีหลักเกณฑ์สำหรับการใช้งานโมเดลอย่างมีความรับผิดชอบ โปรดดูชุดเครื่องมือ Generative AI ที่มีความรับผิดชอบ
• ความโปร่งใสและความรับผิดชอบ
  • การ์ดโมเดลนี้จะสรุปรายละเอียดเกี่ยวกับสถาปัตยกรรม ความสามารถ ข้อจำกัด และกระบวนการประเมินของโมเดล
  • โมเดลแบบเปิดที่พัฒนาขึ้นอย่างมีความรับผิดชอบจะเปิดโอกาสให้แชร์นวัตกรรมด้วยการทำให้เทคโนโลยี VLM เข้าถึงได้สำหรับนักพัฒนาซอฟต์แวร์และนักวิจัยในระบบนิเวศ AI

ความเสี่ยงที่ระบุและการลดความเสี่ยง:

• การสร้างเนื้อหาที่เป็นอันตราย: กลไกและหลักเกณฑ์ด้านความปลอดภัยของเนื้อหาเป็นสิ่งสำคัญ เราขอแนะนำให้นักพัฒนาแอปใช้ความระมัดระวังและใช้มาตรการป้องกันความปลอดภัยของเนื้อหาที่เหมาะสมตามนโยบายผลิตภัณฑ์และกรณีการใช้งานแอปพลิเคชันที่เฉพาะเจาะจง
• การใช้ในทางที่ผิดเพื่อวัตถุประสงค์ที่เป็นอันตราย: ข้อจำกัดทางเทคนิคและการให้ความรู้แก่นักพัฒนาซอฟต์แวร์และผู้ใช้ปลายทางสามารถช่วยลดการใช้งาน VLM ที่เป็นอันตรายได้ มีแหล่งข้อมูลด้านการศึกษาและกลไกการรายงานเพื่อให้ผู้ใช้แจ้งการใช้ในทางที่ผิด
• การละเมิดความเป็นส่วนตัว: โมเดลได้รับการฝึกด้วยข้อมูลที่กรองเพื่อนำข้อมูลส่วนบุคคลบางอย่างและข้อมูลที่ละเอียดอ่อนอื่นๆ ออก เราขอแนะนำให้นักพัฒนาแอปปฏิบัติตามกฎระเบียบด้านความเป็นส่วนตัวด้วยเทคนิคการรักษาความเป็นส่วนตัว
• การคงอยู่ของอคติ: เราขอแนะนำให้ทำการตรวจสอบอย่างต่อเนื่อง (โดยใช้เมตริกการประเมิน การตรวจสอบจากเจ้าหน้าที่) และการสำรวจเทคนิคการลดอคติในระหว่างการฝึกโมเดล การปรับแต่ง และกรณีการใช้งานอื่นๆ

ประโยชน์

ณ เวลาที่เปิดตัว โมเดลนี้เป็นโมเดลภาษาด้านการมองเห็นแบบเปิดที่มีเวลาในการตอบสนองต่ำและประสิทธิภาพสูง ซึ่งเป็นตัวเลือกที่น่าสนใจสำหรับนักพัฒนาซอฟต์แวร์และผู้ที่สนใจค้นคว้าเกี่ยวกับโมเดลภาษาแบบกระจาย โมเดลนี้ออกแบบมาตั้งแต่ต้นเพื่อการพัฒนา AI อย่างมีความรับผิดชอบเมื่อเทียบกับโมเดลขนาดใกล้เคียงกัน