RecurrentGemma

RecurrentGemma là một mô hình mở dựa trên Griffin, một kiến trúc mô hình kết hợp kết hợp các lặp lại tuyến tính có cổng với sự chú ý cửa sổ trượt cục bộ.

Giống như Gemma, RecurrentGemma rất phù hợp với nhiều công việc tạo văn bản, bao gồm trả lời câu hỏi, tóm tắt và lập luận. Tuy nhiên, kiến trúc độc đáo của RecurrentGemma cung cấp thêm ưu điểm:

  • Giảm mức sử dụng bộ nhớ

    Yêu cầu về bộ nhớ thấp hơn cho phép tạo các mẫu dài hơn trên các thiết bị có bộ nhớ giới hạn, chẳng hạn như GPU hoặc CPU đơn lẻ.

  • Thông lượng cao hơn

    RecurrentGemma có thể thực hiện dự đoán ở kích thước lô cao hơn đáng kể, nghĩa là có thể tạo nhiều mã thông báo hơn đáng kể mỗi giây – đặc biệt là khi tạo các chuỗi dài.

  • Hiệu suất cao

    RecurrentGemma khớp với hiệu suất của Gemma trong khi cần ít bộ nhớ hơn và đạt được suy luận nhanh hơn.

Tài nguyên khác

Thẻ mô hình của RecurrentGemma chứa thông tin chi tiết về mô hình, thông tin triển khai, thông tin đánh giá, cách sử dụng và các hạn chế của mô hình, v.v.
Xem thêm mã, sổ tay Colab, thông tin và nội dung thảo luận về RecurrentGemma trên Kaggle.
Chạy các sổ tay Colab mẫu cho JAX và PyTorch trên GitHub.