RecurrentGemma
RecurrentGemma là một mô hình mở dựa trên Griffin, một kiến trúc mô hình kết hợp kết hợp các lần lặp lại tuyến tính có kiểm soát với tính năng chú ý cửa sổ trượt cục bộ.
Giống như Gemma, RecurrentGemma rất phù hợp với nhiều công việc tạo văn bản, bao gồm trả lời câu hỏi, tóm tắt và lập luận. Tuy nhiên, kiến trúc độc đáo của RecurrentGemma mang lại thêm các lợi thế sau:
-
Giảm mức sử dụng bộ nhớ
Yêu cầu về bộ nhớ thấp hơn cho phép tạo các mẫu dài hơn trên các thiết bị có bộ nhớ giới hạn, chẳng hạn như GPU hoặc CPU đơn lẻ. -
Thông lượng cao hơn
RecurrentGemma có thể thực hiện dự đoán ở kích thước lô cao hơn đáng kể, nghĩa là có thể tạo nhiều mã thông báo hơn đáng kể mỗi giây – đặc biệt là khi tạo các chuỗi dài. -
Hiệu suất cao
RecurrentGemma khớp với hiệu suất của Gemma trong khi cần ít bộ nhớ hơn và đạt được suy luận nhanh hơn.