Hugging Face |
GitHub |
リリースブログ |
ドキュメント
ライセンス: Apache 2.0 | 作成者: Google DeepMind
DiffusionGemma は、Google DeepMind が構築した生成モデルです。26B A4B Mixture-of-Experts（MoE）Gemma 4 アーキテクチャに基づく DiffusionGemma は、離散拡散を使用してトークンを生成します。このオープンウェイト モデルはマルチモーダルで、テキスト、画像、動画の入力を処理してテキスト出力を生成します。
MoE 基盤上に構築された DiffusionGemma は、さまざまなハードウェア環境にデプロイ可能な状態を維持しながら、生成速度（1 秒あたりのトークン数）を向上させるように設計されています。DiffusionGemma は、Gemma 4 のアーキテクチャと機能の進歩を基盤として、いくつかのコア機能を導入しています。
- 離散テキスト拡散 - トークンごとの自己回帰から、ブロック自己回帰マルチキャンバス サンプリングに移行します。トークンのブロック（「キャンバス」）を並列で繰り返しノイズ除去することでテキストを生成し、デコード速度を大幅に向上させます。
- マルチモーダル入力処理 - インターリーブされたテキスト、画像（可変アスペクト比と解像度をサポート）、動画入力を処理して、テキスト出力を生成します。
- Encoder-Decoder アーキテクチャ - 自己回帰エンコーダを使用してプロンプト コンテキストを処理してキャッシュに保存し、生成キャンバスに双方向アテンションを適用するデコーダと組み合わせます。
- Mixture-of-Experts（MoE）の効率性 - スパース MoE 設計（合計 128 のエキスパートのうち 8 つのアクティブなエキスパート）を活用して、ローカル実行に適した低メモリ使用量を維持しながら、強力な推論機能を提供します。
- 思考モード（推論） - 構成可能な思考モードを備えた、高性能な推論ツールとして設計されています。
- 小規模なバッチサイズの推論に最適化 - 1 つの高性能アクセラレータで低レイテンシ、高速生成を実現するように特別に設計されています。
- ネイティブ システム プロンプトのサポート - Gemma 4 と同様に、
systemロールの更新をサポートし、より構造化された制御可能な会話を実現します。
モデルの概要
DiffusionGemma は、標準的な因果言語モデルのシーケンシャルなボトルネックを軽減するように設計されています。推論速度に特化して最適化されたエンコーダ / デコーダ アーキテクチャを採用しています。
エンコーダはプレフィル容量で動作し、最初のプロンプトを処理して KV キャッシュを生成します。デコーダは、双方向アテンションを使用してトークンの入力ブロック（「キャンバス」）を処理し、クロスアテンションを介してキャッシュに保存されたコンテキストにアクセスします。
推論時に、DiffusionGemma はマルチキャンバス サンプリングを活用します。このモデルは、トークンを 1 つずつ生成するのではなく、拡散サンプラーを使用してトークンのブロック全体を繰り返しノイズ除去します。キャンバスのノイズ除去が完了すると、エンコーダによって処理され、KV キャッシュに追加されます。その後、モデルは次のキャンバスを生成します。このブロック自動回帰アプローチにより、テキスト生成が高速化されます。
DiffusionGemma
| プロパティ | DiffusionGemma 26B A4B |
|---|---|
| 合計パラメータ数 | 252 億 |
| 有効なパラメータ | 38 億 |
| レイヤ | 30 |
| スライディング ウィンドウ | 1,024 トークン |
| コンテキストの長さ | 最大 256,000 トークン |
| キャンバスの長さ | 256 |
| 語彙サイズ | 262,000 |
| エキスパートの数 | アクティブ 8 / 合計 128、共有 1 |
| サポートされているモダリティ | テキスト、画像 |
| ビジョン エンコーダのパラメータ | 約 5 億 5,000 万 |
ベンチマークの結果
これらのモデルは、テキスト生成のさまざまな側面をカバーするために、さまざまなデータセットと指標の大規模なコレクションに対して評価されました。表にマークされている評価結果は、推奨されるエントロピー境界（EB）サンプラーを使用した、指示調整済みモデルのものです（下記のベスト プラクティスを参照）。
| ベンチマーク | DiffusionGemma 26B A4B | Gemma 4 26B A4B |
|---|---|---|
| MMLU Pro | 77.6% | 82.6% |
| AIME 2026 ツールなし | 69.1% | 88.3% |
| LiveCodeBench v6 | 69.1% | 77.1% |
| Codeforces ELO | 1429 | 1718 |
| GPQA Diamond | 73.2% | 82.3% |
| Tau2（3 回の平均） | 56.2% | 68.2% |
| HLE ツールなし | 11.0% | 8.7% |
| 検索機能付き HLE | 11.9% | 17.2% |
| BigBench Extra Hard | 47.6% | 64.8% |
| MMMLU | 81.5% | 86.3% |
| 視覚 | ||
| MMMU Pro | 54.3% | 73.8% |
| OmniDocBench 1.5（平均編集距離、低いほど良い） | 0.319 | 0.149 |
| MATH-Vision | 70.5% | 82.4% |
| MedXPertQA MM | 49.0% | 58.1% |
| 長いコンテキスト | ||
| MRCR v2 8 ニードル 128k（平均） | 32.0% | 44.1% |
中核となる機能
DiffusionGemma は、テキストとビジョンにわたる幅広いタスクを処理します。主な機能は次のとおりです。
- 高速生成 - 拡散サンプリングによる 256 トークンの並列ノイズ除去により、フォワードパスあたり 15 ～ 20 トークンを生成して低レイテンシを実現し、低バッチサイズ設定（H100、FP8）で 1 秒あたり 1,100 トークンを超えるユーザーあたりの生成速度を実現します。
- 適応型推論時間計算 - シンプルなプロンプトやコードなどの構造化されたタスクでは、ノイズ除去ステップが少なくて済み、タスクの複雑さに応じて 1 秒あたりのトークン数を動的に調整できます。
- 思考 - 回答する前にモデルがステップバイステップで思考できるようにする組み込みの推論モード。
- 長いコンテキスト - 最大 256,000 トークンのコンテキスト ウィンドウ。
- 画像理解 – オブジェクト検出、ドキュメント / PDF の解析、画面と UI の理解、グラフの理解、OCR（多言語を含む）、手書き認識、ポインティング。画像は、さまざまなアスペクト比と解像度で処理できます。
- 動画の理解 - フレームのシーケンスを処理して、動画コンテンツを分析して説明します。
- インターリーブされたマルチモーダル入力 - 1 つのプロンプト内で画像、動画、テキストを組み合わせて、コンテキストを重視した推論を行います。
- 関数呼び出し - 構造化されたツールの使用をネイティブにサポートし、Agentic Workflows を可能にします。
- コーディングと推論 – コードの生成、補完、ステップバイステップの論理的推論が可能です。
- 多言語 – 35 以上の言語をすぐにサポート。140 以上の言語で事前トレーニング済み。
おすすめの方法
最適なパフォーマンスを得るには、次の構成とベスト プラクティスを使用します。
1. 拡散サンプリングの設定
すべてのユースケースで、次の標準化されたサンプリング構成を使用します。
- メソッド: エントロピー制限付きノイズ除去と適応型停止を使用した拡散サンプリング。
- サンプリング構成:
- ノイズ除去ステップの最大数 = 48
- 温度スケジュール（ロジット シェーピング用）: 0.8 から 0.4 への線形減衰
- トークンの選択: 各ステップで、サンプラーは、相互情報量の上限がエントロピーの上限（0.1）を下回るように、エントロピーが最も低いトークンを選択します。
- トークンの再ノイズ化: サンプラーは、選択されていないトークンを完全に再ノイズ化します。
- 適応型停止: 次の条件が両方とも同時に満たされた場合にのみ、サンプリングが早期に終了します。
- 信頼度の高い予測: キャンバス全体の平均モデル エントロピーがエントロピーしきい値（0.005）を下回っている
- 安定した予測: 2 つの連続するノイズ除去ステップで、最も確率の高いトークン予測が同じままです。
2. 思考モードの構成
Gemma 4 モデルと同様に、標準の system、assistant、user ロールを使用します。思考プロセスを適切に管理するには、次のコントロール トークンを使用します。
- 思考をトリガーする: 思考を有効にするには、システム プロンプトの先頭に
<|think|>トークンを含めます。思考を無効にするには、トークンを削除します（空の思考チャネルが引き続き出力される場合があります）。 - 標準生成: 思考が有効になっている場合、モデルは内部推論を出力し、その後に最終的な回答を出力します。この構造は
<|channel>thought\n[内部推論]<channel|>です。 - 思考動作が無効になっている場合: 思考が無効になっている場合でも、モデルはタグを生成しますが、思考ブロックは空になります。
<|channel>thought\n<channel|>[最終回答]。
transformers などの多くのライブラリは、チャット テンプレートの複雑な処理を自動的に行います。
3. マルチターンの会話
- 履歴に思考コンテンツがない: マルチターンの会話では、履歴モデルの出力に最終的なレスポンスのみが含まれている必要があります。以前のモデルターンの思考は、次のユーザーターンが始まる前に追加しないでください。
4. モダリティの順序
- マルチモーダル入力で最適なパフォーマンスを得るには、プロンプトのテキストの前に画像コンテンツを配置します。
5. 可変画像解像度
DiffusionGemma は、可変アスペクト比に加えて、構成可能なビジュアル トークン予算を介して可変画像解像度をサポートしています。これにより、画像の表現に使用されるトークン数を制御できます。トークン予算を増やすと、追加のコンピューティング費用がかかりますが、視覚的な詳細がより多く保持されます。一方、予算を減らすと、きめ細かい理解を必要としないタスクの推論を高速化できます。
- サポートされているトークン予算は、70、140、280、560、1120 です。
- 分類、キャプション、動画理解など、きめ細かい詳細よりも高速な推論と多数のフレームの処理が重要となる場合は、予算を低く設定します。
- OCR、ドキュメントの解析、小さなテキストの読み取りなどのタスクには、より高い予算を使用します。
6. 動画の長さ
すべてのモデルで画像入力がサポートされており、動画をフレームとして処理できます。動画は、画像が 1 秒あたり 1 フレームで処理されると想定して、最大 60 秒をサポートします。
モデルデータ
モデルのトレーニングに使用されたデータと、そのデータの処理方法。
トレーニング データセット
Google の事前トレーニング データセットは、ウェブ ドキュメント、コード、画像、音声など、幅広いドメインとモダリティを網羅する大規模で多様なデータのコレクションです。カットオフ日は 2025 年 1 月です。主なコンポーネントは次のとおりです。
- ウェブ ドキュメント: さまざまなウェブテキストを収集することで、モデルが幅広い言語スタイル、トピック、語彙に触れることができます。トレーニング データセットには、140 以上の言語のコンテンツが含まれています。
- コード: モデルをコードにさらすことで、プログラミング言語の構文とパターンを学習し、コードを生成してコード関連の質問を理解する能力を向上させます。
- 数学: 数学テキストでトレーニングすることで、モデルは論理的推論、記号表現、数学的なクエリへの対応を学習できます。
- 画像: 幅広い画像により、モデルは画像分析と視覚データの抽出タスクを実行できます。
これらの多様なデータソースの組み合わせは、さまざまなタスクやデータ形式を処理できる強力なマルチモーダル モデルをトレーニングするために不可欠です。
データの前処理
トレーニング データに適用される主なデータ クリーニングとフィルタリングの方法は次のとおりです。
- CSAM フィルタリング: データ準備プロセスの複数の段階で厳格な CSAM（児童性的虐待のコンテンツ）フィルタリングが適用され、有害なコンテンツや違法なコンテンツが除外されました。
- 機密データのフィルタリング: Gemma の事前トレーニング済みモデルを安全で信頼性の高いものにするため、自動化された手法を使用して、トレーニング セットから特定の個人情報やその他の機密データをフィルタリングしました。
- その他の方法: Google のポリシーに沿って、コンテンツの品質と安全性に基づいてフィルタリングします。
倫理と安全性
オープンモデルがエンタープライズ インフラストラクチャの中心となるにつれて、来歴とセキュリティが最も重要になります。Google DeepMind が開発した DiffusionGemma は、Google 独自の Gemini モデルと同じ厳格な安全性評価を受けています。
評価アプローチ
DiffusionGemma は、社内の安全性チームと責任ある AI チームとのパートナーシップのもとで開発されました。モデルの安全性を向上させるために、さまざまな自動評価と人間による評価が実施されました。これらの評価は、Google の AI に関する原則と、生成 AI モデルが有害なコンテンツを生成することを防ぐことを目的とした安全ポリシーに沿っています。
- 児童性的虐待のコンテンツや児童の搾取に関連するコンテンツ
- 危険なコンテンツ（自殺を助長するコンテンツ、現実の世界で危害を与える可能性がある行為を指示するコンテンツなど）
- 性的描写が露骨なコンテンツ
- ヘイトスピーチ（例: 保護対象グループのメンバーを非人間的に扱う）
- ハラスメント（例: 人々に対する暴力を助長する）
評価結果
安全性テストのすべての領域で、以前の世代の Gemma モデルと比較して、コンテンツの安全性のすべてのカテゴリで大幅な改善が見られました。全体として、DiffusionGemma は、Gemma 4 モデルと同様に、不当な拒否を低く抑えながら、安全性の向上において Gemma 3 モデルと Gemma 3n モデルを大幅に上回っています。すべてのテストは、モデルの生の機能とベースラインの動作を評価するために、意図的に安全フィルタなしで実施されました。テキストからテキストへの変換と画像からテキストへの変換の両方で、すべてのモデルサイズで、モデルはポリシー違反を最小限に抑え、以前の Gemma モデルよりも大幅に改善されました。
使用方法と制限事項
これらのモデルには、ユーザーが認識しておくべき制限事項があります。
使用目的
マルチモーダル モデル（ビジョン、言語、音声の処理が可能）は、さまざまな業界や分野で幅広く応用されています。以下の潜在的な用途のリストはすべてを網羅しているわけではありません。このリストの目的は、モデルの作成者がモデルのトレーニングと開発の一環として検討した、考えられるユースケースに関するコンテキスト情報を提供することです。
- コンテンツ作成とコミュニケーション
- テキスト生成: 詩、スクリプト、コード、マーケティング コピー、メールの下書きなど、クリエイティブなテキスト形式を生成します。
- chatbot と会話型 AI: カスタマー サービス、仮想アシスタント、インタラクティブ アプリケーションの会話型インターフェースを強化します。
- テキストの要約: テキスト コーパス、研究論文、レポートの簡潔な要約を生成します。
- 画像データ抽出: テキスト通信用のビジュアル データを抽出、解釈、要約します。
- 研究と教育
- 自然言語処理（NLP）と VLM の研究: 研究者が VLM と NLP の手法をテストし、アルゴリズムを開発して、この分野の発展に貢献するための基盤として機能します。
- 言語学習ツール: インタラクティブな言語学習体験をサポートし、文法の修正や作文の練習を支援します。
- 知識の探索: 特定のトピックに関する要約の生成や質問への回答により、研究者が大量のテキストを探索できるようにします。
制限事項
- トレーニング データ
- トレーニング データの品質と多様性は、モデルの機能に大きく影響します。トレーニング データにバイアスやギャップがあると、モデルの回答に制限が生じる可能性があります。
- トレーニング データセットのスコープによって、モデルが効果的に処理できる分野が決まります。
- コンテキストとタスクの複雑さ
- このモデルは、明確なプロンプトと指示で構成できるタスクで優れたパフォーマンスを発揮します。自由形式のタスクや非常に複雑なタスクは、困難な場合があります。
- モデルのパフォーマンスは、提供されるコンテキストの量に影響される可能性があります（一般に、コンテキストが長いほど、ある程度までは出力が向上します）。
- 言語の曖昧さとニュアンス
- 自然言語は本質的に複雑です。モデルは、微妙なニュアンス、皮肉、比喩的な表現を把握するのに苦労することがあります。
- 事実の正確性
- モデルは、トレーニング データセットから学習した情報に基づいて回答を生成しますが、ナレッジベースではありません。不正確な事実や古い事実が生成される可能性があります。
- 常識
- このモデルは、言語の統計パターンに依存しています。特定の状況で常識的な推論を適用する能力が欠けている可能性があります。
倫理的配慮とリスク
オープンなビジョン言語モデルを作成するにあたり、Google は次の点を慎重に検討しました。
- バイアスと公平性
- 大規模な実世界のテキストデータと画像データでトレーニングされた VLM は、トレーニング マテリアルに埋め込まれた社会文化的バイアスを反映する可能性があります。DiffusionGemma は、このカードに記載されているように、慎重な精査、入力データの前処理、トレーニング後の評価を経て、これらのバイアスのリスクを軽減しています。
- 誤った情報と不正使用
- VLM は、虚偽、誤解を招く、または有害なテキストを生成するために悪用される可能性があります。
- モデルを責任を持って使用するためのガイドラインについては、責任ある生成 AI ツールキットをご覧ください。
- 透明性と説明責任
- このモデルカードには、モデルのアーキテクチャ、機能、制限事項、評価プロセスの詳細がまとめられています。
- 責任を持って開発されたオープンモデルは、AI エコシステム全体のデベロッパーや研究者が VLM テクノロジーにアクセスできるようにすることで、イノベーションを共有する機会を提供します。
特定されたリスクと軽減策:
- 有害なコンテンツの生成: コンテンツの安全性に関するメカニズムとガイドラインが不可欠です。デベロッパーは、特定のプロダクト ポリシーとアプリケーションのユースケースに基づいて、注意を払い、適切なコンテンツ セーフティの安全保護対策を実装することをおすすめします。
- 悪意のある目的での不正使用: 技術的な制限と、デベロッパーとエンドユーザーの教育により、VLM の悪意のあるアプリケーションを軽減できます。不正使用を報告するための教育リソースと報告メカニズムがユーザーに提供されている。
- プライバシー侵害: モデルは、特定の個人情報やその他の機密データを削除するためにフィルタされたデータでトレーニングされています。デベロッパーは、プライバシーの保護技術を使用してプライバシーに関する規則を遵守することが推奨されます。
- バイアスの永続化: モデルのトレーニング、ファインチューニング、その他のユースケースでは、継続的なモニタリング（評価指標、人間によるレビューを使用）と、バイアス除去手法の探索を行うことをおすすめします。
メリット
リリース時点では、これは低レイテンシで高性能なオープン ビジョン言語モデルであり、デベロッパーや拡散言語モデルの研究に関心のあるユーザーにとって魅力的な選択肢となります。このモデルは、同等のサイズのモデルと比較して、責任ある AI 開発のためにゼロから設計されています。