RecurrentGemma

RecurrentGemma 是一种基于 Griffin 的开放模型，Griffin 是一种混合模型，它将门控线性递归与本地滑动窗口注意力混合在一起。

与 Gemma 一样，RecurrentGemma 非常适合各种文本生成任务，包括问答、摘要和推理。不过，RecurrentGemma 的独特架构具有以下额外优势：

  • 减少内存用量

    内存要求越低，就越能在内存有限的设备（例如单个 GPU 或 CPU）上生成较长的样本。

  • 吞吐量较高

    RecurrentGemma 能够以明显较高的批量大小执行推理，这意味着每秒可以生成更多令牌，尤其是在生成长序列时。

  • 高性能

    RecurrentGemma 与 Gemma 的性能相当，同时需要更少的内存和加快推断速度。

更多资源

RecurrentGemma 的模型卡片包含有关模型的详细信息、实现信息、评估信息、模型使用情况和限制等。
在 Kaggle 上查看有关 RecurrentGemma 的更多代码、Colab 笔记本、信息和讨论。
在 GitHub 上运行适用于 JAX 和 PyTorch 的 Colab 笔记本示例。