การ์ดโมเดล CodeGemma

หน้าโมเดล: CodeGemma

แหล่งข้อมูลและเอกสารทางเทคนิค:

• รายงานทางเทคนิค
• ชุดเครื่องมือ Generative AI ที่มีความรับผิดชอบ
• CodeGemma ใน Kaggle

ข้อกำหนดในการใช้งาน: ข้อกำหนด

ผู้เขียน: Google

ข้อมูลรุ่น

สรุปโมเดล

คำอธิบาย

CodeGemma เป็นกลุ่มโมเดลโค้ดแบบเปิดที่มีน้ำหนักเบาซึ่งสร้างขึ้นจาก Gemma โมเดล CodeGemma เป็นโมเดลเฉพาะตัวแปลงข้อความเป็นข้อความและข้อความเป็นโค้ด และพร้อมใช้งานในรูปแบบตัวแปรที่ผ่านการฝึกล่วงหน้า 7 พันล้านรายการซึ่งเชี่ยวชาญในงานเติมโค้ดและการสร้างโค้ด ตัวแปรที่ปรับแต่งคำสั่ง 7 พันล้านรายการสำหรับแชทโค้ดและการปฏิบัติตามคำสั่ง และตัวแปรที่ผ่านการฝึกล่วงหน้า 2 พันล้านรายการสำหรับการเติมโค้ดอย่างรวดเร็ว

อินพุตและเอาต์พุต

• อินพุต: สำหรับตัวแปรของโมเดลที่ผ่านการฝึกล่วงหน้า: คำนำหน้าโค้ดและคำต่อท้าย (ไม่บังคับ) สำหรับสถานการณ์การเติมโค้ดและการสร้างโค้ด หรือข้อความ/พรอมต์ที่เป็นภาษาธรรมชาติ สําหรับตัวแปรโมเดลที่ปรับตามวิธีการ: ข้อความหรือพรอมต์ที่เป็นภาษาธรรมชาติ

• เอาต์พุต: สำหรับตัวแปรของโมเดลที่ผ่านการฝึกล่วงหน้า: การเติมโค้ดกลางประโยค การเติมโค้ด และภาษาธรรมชาติ สําหรับตัวแปรโมเดลที่ปรับตามวิธีการ ให้ใช้โค้ดและภาษาธรรมชาติ

การอ้างอิง

@article{codegemma_2024,
    title={CodeGemma: Open Code Models Based on Gemma},
    url={https://goo.gle/codegemma},
    author={ {CodeGemma Team} and Hartman, Ale Jakse and Hu, Andrea and Choquette-Choo, Christopher A. and Zhao, Heri and Fine, Jane and Hui,
    Jeffrey and Shen, Jingyue and Kelley, Joe and Howland, Joshua and Bansal, Kshitij and Vilnis, Luke and Wirth, Mateo and Nguyen, Nam, and Michel, Paul and Choy, Peter and Joshi, Pratik and Kumar, Ravin and Hashmi, Sarmad and Agrawal, Shubham and Zuo, Siqi and Warkentin, Tris and Gong, Zhitao et al.},
    year={2024}
}

ข้อมูลโมเดล

ชุดข้อมูลการฝึก

เมื่อใช้ Gemma เป็นโมเดลพื้นฐาน ตัวแปร CodeGemma 2B และ 7B ที่ผ่านการฝึกล่วงหน้าจะได้รับการฝึกเพิ่มเติมด้วยข้อมูลภาษาหลักๆ คือภาษาอังกฤษอีก 500-1, 000 พันล้านโทเค็นจากชุดข้อมูลคณิตศาสตร์แบบโอเพนซอร์สและโค้ดที่สร้างขึ้นจากการสังเคราะห์

การประมวลผลข้อมูลการฝึก

เทคนิคการเตรียมข้อมูลเบื้องต้นต่อไปนี้ใช้เพื่อฝึก CodeGemma

• FIM - โมเดล CodeGemma ที่ผ่านการฝึกล่วงหน้าจะมุ่งเน้นที่งานเติมคำกลางประโยค (FIM) โมเดลได้รับการฝึกให้ทำงานได้กับทั้งโหมด PSM และ SPM การตั้งค่า FIM ของเราคืออัตรา FIM 80-90% พร้อม PSM/SPM 50-50
• เทคนิคการจัดแพ็กตามกราฟ Dependency และการจัดแพ็กตามคําศัพท์ตามการทดสอบหน่วย: เราจัดโครงสร้างตัวอย่างการฝึกที่ระดับโปรเจ็กต์/ที่เก็บข้อมูลเพื่อจัดวางไฟล์ต้นฉบับที่เกี่ยวข้องมากที่สุดไว้ด้วยกันภายในที่เก็บข้อมูลแต่ละแห่ง เพื่อปรับปรุงการปรับแนวโมเดลให้สอดคล้องกับการใช้งานจริง โดยเฉพาะอย่างยิ่ง เราใช้เทคนิคการหาค่าประมาณ 2 เทคนิค ได้แก่ การแพ็กตามกราฟความเกี่ยวข้องและการแพ็กตามคลังคำที่ใช้ทดสอบหน่วย
• เราได้พัฒนาเทคนิคใหม่ในการแยกเอกสารออกเป็นส่วนนำหน้า ส่วนกลาง และส่วนต่อท้ายเพื่อให้ส่วนต่อท้ายเริ่มต้นในจุดที่เป็นไปตามหลักไวยากรณ์มากกว่าการกระจายแบบสุ่ม
• ความปลอดภัย: เช่นเดียวกับ Gemma เราได้ติดตั้งใช้งานการกรองเพื่อความปลอดภัยที่เข้มงวด ซึ่งรวมถึงการกรองข้อมูลส่วนบุคคล การกรอง CSAM และการกรองอื่นๆ ตามคุณภาพและความปลอดภัยของเนื้อหา ซึ่งสอดคล้องกับนโยบายของเรา

ข้อมูลการใช้งาน

ฮาร์ดแวร์และเฟรมเวิร์กที่ใช้ระหว่างการฝึกอบรม

เช่นเดียวกับ Gemma CodeGemma ได้รับการฝึกอบรมบนฮาร์ดแวร์ Tensor Processing Unit (TPU) รุ่นล่าสุด (TPUv5e) ใช้ JAX และ ML Pathways

ข้อมูลการประเมิน

ผลลัพธ์การเปรียบเทียบ

แนวทางการประเมิน

• เกณฑ์การเปรียบเทียบการเติมโค้ด: HumanEval (HE) (การเติมโค้ดแบบบรรทัดเดียวและหลายบรรทัด)
• การเปรียบเทียบการสร้างโค้ด: HumanEval, MBPP, BabelCode (BC) [C++, C#, Go, Java, JavaScript, Kotlin, Python, Rust]
• ถามและตอบ: BoolQ, PIQA, TriviaQA
• ภาษาธรรมชาติ: ARC-Challenge, HellaSwag, MMLU, WinoGrande
• เหตุผลเชิงคณิตศาสตร์: GSM8K, MATH

ผลลัพธ์การเปรียบเทียบการเขียนโค้ด

การเปรียบเทียบภาษาธรรมชาติ (ในโมเดล 7B)

จริยธรรมและความปลอดภัย

การประเมินด้านจริยธรรมและความปลอดภัย

แนวทางการประเมิน

วิธีการประเมินของเราประกอบด้วยการประเมินที่มีโครงสร้างและการทดสอบนโยบายเนื้อหาที่เกี่ยวข้องโดยทีมจำลองการโจมตีภายใน ทีมจำลองการโจมตีดำเนินการโดยทีมต่างๆ ซึ่งแต่ละทีมมีเป้าหมายและเมตริกการประเมินของมนุษย์แตกต่างกัน โมเดลเหล่านี้ได้รับการประเมินตามหมวดหมู่ต่างๆ ที่เกี่ยวข้องกับจริยธรรมและความปลอดภัย ซึ่งรวมถึงหมวดหมู่ต่อไปนี้

• การประเมินโดยเจ้าหน้าที่เกี่ยวกับพรอมต์ที่เกี่ยวข้องกับความปลอดภัยของเนื้อหาและอันตรายจากการนำเสนอ ดูรายละเอียดเพิ่มเติมเกี่ยวกับแนวทางการประเมินได้ที่การ์ดรูปแบบ Gemma

• การทดสอบความสามารถที่เฉพาะเจาะจงในการกระทําความผิดทางไซเบอร์ โดยมุ่งเน้นที่การทดสอบความสามารถในการแฮ็กแบบอัตโนมัติและตรวจสอบว่าอันตรายที่อาจเกิดขึ้นถูกจํากัด

ผลการประเมิน

ผลการประเมินด้านจริยธรรมและความปลอดภัยอยู่ในเกณฑ์ที่ยอมรับได้เพื่อปฏิบัติตามนโยบายภายในสำหรับหมวดหมู่ต่างๆ เช่น ความปลอดภัยของเด็ก ความปลอดภัยของเนื้อหา อันตรายจากการนำเสนอ การจดจำ อันตรายในวงกว้าง ดูรายละเอียดเพิ่มเติมได้ในการ์ดรูปแบบ Gemma

การใช้งานและข้อจํากัดของโมเดล

ข้อจำกัดที่ทราบ

โมเดลภาษาขนาดใหญ่ (LLM) มีข้อจำกัดตามข้อมูลการฝึกและข้อจำกัดโดยเนื้อแท้ของเทคโนโลยี ดูรายละเอียดเพิ่มเติมเกี่ยวกับข้อจํากัดของ LLM ได้ในการ์ดรูปแบบ Gemma

ข้อควรพิจารณาด้านจริยธรรมและความเสี่ยง

การพัฒนาโมเดลภาษาขนาดใหญ่ (LLM) ทำให้เกิดข้อกังวลด้านจริยธรรมหลายประการ เราได้พิจารณาหลายแง่มุมอย่างรอบคอบในการพัฒนารูปแบบเหล่านี้

โปรดดูรายละเอียดของโมเดลในการสนทนาเดียวกันในการ์ดโมเดล Gemma

วัตถุประสงค์การใช้งาน

แอปพลิเคชัน

โมเดล Code Gemma มีแอปพลิเคชันหลากหลายรูปแบบ ซึ่งแตกต่างกันไประหว่างโมเดล IT และ PT รายการการใช้งานที่เป็นไปได้ต่อไปนี้เป็นเพียงตัวอย่างบางส่วนเท่านั้น วัตถุประสงค์ของรายการนี้คือเพื่อให้ข้อมูลตามบริบทเกี่ยวกับกรณีการใช้งานที่เป็นไปได้ซึ่งครีเอเตอร์โมเดลได้พิจารณาไว้เป็นส่วนหนึ่งของการฝึกและพัฒนาโมเดล

• การเติมโค้ด: ใช้รูปแบบ PT เพื่อเติมโค้ดให้สมบูรณ์ด้วยส่วนขยาย IDE
• การสร้างโค้ด: โมเดลไอทีสามารถใช้สร้างโค้ดได้โดยมีหรือไม่มีส่วนขยาย IDE
• การสนทนาเกี่ยวกับโค้ด: โมเดลไอทีสามารถขับเคลื่อนอินเทอร์เฟซการสนทนาซึ่งพูดถึงโค้ด
• การศึกษาโค้ด: โมเดลไอทีรองรับประสบการณ์การเรียนรู้โค้ดแบบอินเทอร์แอกทีฟ ช่วยแก้ไขไวยากรณ์ หรือให้การฝึกเขียนโค้ด

ประโยชน์

ขณะเปิดตัว กลุ่มโมเดลนี้จะให้บริการโมเดลภาษาขนาดใหญ่ที่เน้นโค้ดแบบเปิดที่มีประสิทธิภาพสูง ซึ่งออกแบบมาตั้งแต่ต้นเพื่อการพัฒนา AI อย่างมีความรับผิดชอบเมื่อเทียบกับโมเดลขนาดใกล้เคียงกัน

เมื่อใช้เมตริกการประเมินการเปรียบเทียบการเขียนโค้ดที่อธิบายไว้ในเอกสารนี้ โมเดลเหล่านี้มีประสิทธิภาพดีกว่าโมเดลเปิดทางเลือกอื่นๆ ขนาดใกล้เคียงกัน