RecurrentGemma

RecurrentGemma は Griffin（ハイブリッド モデル アーキテクチャ）は、 ゲート付き線形繰り返しとローカル スライディング ウィンドウ アテンションをミックスします。

Gemma と同様に、RecurrentGemma は テキスト生成タスクにも使用できます。たとえば、質問応答、要約、 学習します。ただし、RecurrentGemma の独自のアーキテクチャには、次のような 利点:

  • メモリ使用量の削減

    メモリ要件が低ければ、単一の GPU や CPU など、メモリが限られているデバイスでより長いサンプルを生成できます。

  • スループットの向上

    RecurrentGemma は大幅に大きいバッチサイズで推論を実行できます。つまり、特に長いシーケンスを生成する場合に、1 秒あたりかなり多くのトークンを生成できます。

  • 高パフォーマンス

    RecurrentGemma は Gemma と同等のパフォーマンスを実現しながら、必要なメモリを減らし、推論を高速化します。

その他のリソース

RecurrentGemma のモデルカードには、モデルに関する詳細情報、実装情報、評価情報、モデルの使用状況と制限事項などが含まれています。
Kaggle で RecurrentGemma に関する他のコード、Colab ノートブック、情報、ディスカッションをご覧ください。
GitHub で JAX と PyTorch のサンプル Colab ノートブックを実行します。