RecurrentGemma

RecurrentGemma 是一种基于 Griffin，这是一种混合模型架构， 将门控线性重复周期与局部滑动窗口注意力机制相结合。

和 Gemma 一样，RecurrentGemma 非常适合 各种文本生成任务，包括问题解答、摘要和 推理。不过，RecurrentGemma 独特的架构提供了以下额外功能 优点：

  • 减少内存用量

    内存要求越低，就越能在内存有限的设备（例如单个 GPU 或 CPU）上生成较长的样本。

  • 吞吐量较高

    RecurrentGemma 能够以明显较高的批量大小执行推理，这意味着每秒可以生成更多令牌，尤其是在生成长序列时。

  • 高性能

    RecurrentGemma 与 Gemma 的性能相当，同时需要更少的内存和加快推断速度。

更多资源

RecurrentGemma 的模型卡片包含有关模型的详细信息、实现信息、评估信息、模型使用情况和限制等。
在 Kaggle 上查看有关 RecurrentGemma 的更多代码、Colab 笔记本、信息和讨论。
在 GitHub 上运行适用于 JAX 和 PyTorch 的 Colab 笔记本示例。