RecurrentGemma

RecurrentGemma là một mô hình mở dựa trên Griffin, một mô hình kết hợp kết hợp việc lặp lại tuyến tính có kiểm soát với tính năng chú ý đến cửa sổ trượt cục bộ.

Giống như Gemma, RecurrentGemma phù hợp với nhiều nhiệm vụ tạo văn bản, bao gồm cả trả lời câu hỏi, tóm tắt và lập luận. Tuy nhiên, kiến trúc độc đáo của RecurrentGemma mang lại thêm các ưu điểm sau:

  • Giảm mức sử dụng bộ nhớ

    Yêu cầu về bộ nhớ thấp hơn cho phép tạo các mẫu dài hơn trên các thiết bị có bộ nhớ giới hạn, chẳng hạn như GPU hoặc CPU đơn lẻ.

  • Thông lượng cao hơn

    RecurrentGemma có thể thực hiện dự đoán ở kích thước lô cao hơn đáng kể, nghĩa là có thể tạo nhiều mã thông báo hơn đáng kể mỗi giây – đặc biệt là khi tạo các chuỗi dài.

  • Hiệu suất cao

    RecurrentGemma khớp với hiệu suất của Gemma trong khi cần ít bộ nhớ hơn và đạt được suy luận nhanh hơn.

Tài nguyên khác

Thẻ mô hình của RecurrentGemma chứa thông tin chi tiết về mô hình, thông tin triển khai, thông tin đánh giá, cách sử dụng và các hạn chế của mô hình, v.v.
Xem thêm mã, sổ tay Colab, thông tin và nội dung thảo luận về RecurrentGemma trên Kaggle.
Chạy các sổ tay Colab mẫu cho JAX và PyTorch trên GitHub.