RecurrentGemma

RecurrentGemma 是一种基于 Griffin,这是一种混合模型架构, 将门控线性重复周期与局部滑动窗口注意力机制相结合。

和 Gemma 一样,RecurrentGemma 非常适合 各种文本生成任务,包括问题解答、摘要和 推理。不过,RecurrentGemma 独特的架构提供了以下额外功能 优点:

  • 内存要求越低,就越能在内存有限的设备(例如单个 GPU 或 CPU)上生成较长的样本。
  • RecurrentGemma 能够以明显较高的批量大小执行推理,这意味着每秒可以生成更多令牌,尤其是在生成长序列时。
  • RecurrentGemma 与 Gemma 的性能相当,同时需要更少的内存和加快推断速度。

更多资源

RecurrentGemma 的模型卡片包含有关模型的详细信息、实现信息、评估信息、模型使用情况和限制等。
在 Kaggle 上查看有关 RecurrentGemma 的更多代码、Colab 笔记本、信息和讨论。
在 GitHub 上运行适用于 JAX 和 PyTorch 的 Colab 笔记本示例。