RecurrentGemma
RecurrentGemma คือโมเดลแบบเปิดที่อิงตาม Griffin ซึ่งเป็นสถาปัตยกรรมโมเดลแบบผสมที่ผสมผสานการเกิดซ้ำแบบเชิงเส้นที่มีรั้วล้อมรอบกับความสนใจของหน้าต่างเลื่อนในพื้นที่
RecurrentGemma เหมาะกับงานสร้างข้อความที่หลากหลาย เช่น การตอบคำถาม การสรุป และการให้เหตุผล เช่นเดียวกับ Gemma อย่างไรก็ตาม สถาปัตยกรรมที่เป็นเอกลักษณ์ของ RecurrentGemma มีข้อดีเพิ่มเติมดังต่อไปนี้
-
การใช้งานหน่วยความจำลดลง
ข้อกำหนดด้านหน่วยความจำที่ต่ำลงทำให้สามารถสร้างตัวอย่างที่ยาวขึ้นบนอุปกรณ์ที่มีหน่วยความจำที่จำกัด เช่น GPU หรือ CPU เดี่ยว -
อัตราการส่งข้อมูลสูงขึ้น
RecurrentGemma สามารถอนุมานได้ในกลุ่มขนาดที่สูงขึ้นอย่างมีนัยสำคัญ ซึ่งหมายความว่าจะสามารถสร้างโทเค็นต่อวินาทีได้มากขึ้นมาก โดยเฉพาะอย่างยิ่งเมื่อสร้างลำดับแบบยาว -
ประสิทธิภาพสูง
RecurrentGemma จับคู่กับประสิทธิภาพของ Gemma โดยใช้หน่วยความจำน้อยลงและใช้การอนุมานได้เร็วขึ้น
แหล่งข้อมูลเพิ่มเติม
ดูการ์ดโมเดล
การ์ดโมเดลของ RecurrentGemma ประกอบด้วยข้อมูลโดยละเอียดเกี่ยวกับโมเดล ข้อมูลการใช้งาน ข้อมูลการประเมิน การใช้โมเดลและข้อจำกัด และอื่นๆ
ดูใน Kaggle
ดูโค้ดเพิ่มเติม, สมุดบันทึก Colab, ข้อมูล และการสนทนาเกี่ยวกับ RecurrentGemma ใน Kaggle
เรียกใช้บน GitHub
เรียกใช้ตัวอย่างสมุดบันทึก Colab สำหรับ JAX และ PyTorch ใน GitHub