DiffusionGemma 模型資訊卡

Hugging Face | GitHub | 推出網誌 | 說明文件
授權：Apache 2.0 | 作者：Google DeepMind

DiffusionGemma 是 Google DeepMind 打造的生成式模型，DiffusionGemma 採用 26B A4B 專家混合 (MoE) Gemma 4 架構，使用離散擴散生成詞元。這個開放權重模型為多模態模型，可處理文字、圖片和影片輸入內容，並生成文字輸出內容。

DiffusionGemma 以 MoE 為基礎，旨在提高生成速度 (每秒詞元數)，同時仍可部署在各種硬體環境中。DiffusionGemma 以 Gemma 4 的架構和功能進展為基礎，並導入多項核心功能：

  • 離散文字擴散：從逐一符記自動迴歸，轉為區塊自動迴歸多畫布取樣。這項技術會平行處理，反覆去除權杖區塊 (「畫布」) 的雜訊，藉此生成文字，大幅提升解碼速度。
  • 多模態輸入處理：處理交錯的文字、圖片 (支援可變顯示比例和解析度) 和影片輸入，生成文字輸出。
  • 編碼器-解碼器架構：使用自動迴歸編碼器處理及快取提示詞脈絡，並搭配解碼器，在生成畫布上套用雙向注意力機制。
  • 混合專家模型 (MoE) 效率：採用稀疏 MoE 設計 (128 位專家中有 8 位活躍專家)，提供強大的推論能力，同時維持低記憶體用量，適合在本機執行。
  • 思考模式 (推論)：具備強大的推論能力，並提供可設定的思考模式。
  • 針對小批次推論最佳化：專為在單一加速器上實現低延遲、高速生成而設計。
  • 原生系統提示支援：與 Gemma 4 相同，支援更新 system 角色，讓對話更有結構且可控。

模型總覽

DiffusionGemma 旨在減少標準因果語言模型的依序瓶頸。採用編碼器-解碼器架構，特別針對推論速度進行最佳化。

編碼器會以預先填充容量運作，處理初始提示並生成 KV 快取。接著，解碼器會利用雙向注意力機制處理輸入區塊 (「畫布」) 的詞元，並透過交叉注意力機制存取快取的脈絡。

DiffusionGemma 在推論時會使用多畫布取樣。模型不會一次生成一個詞元，而是使用擴散取樣器，反覆去除整個詞元區塊的雜訊。畫布完全去噪後，會由編碼器處理並附加至 KV 快取，接著模型會生成下一個畫布。這種區塊自動迴歸方法可加快文字生成速度。

DiffusionGemma

屬性 DiffusionGemma 26B A4B
參數總數 252 億
有效參數 38 億
圖層 30
滑動式時間區間 1024 個詞元
脈絡長度 最多 25.6 萬個詞元
Canvas 長度 256
詞彙表大小 26.2 萬
專家數量 8 個有效/128 個總計和 1 個共用
支援的模態 文字、圖片
視覺編碼器參數 ~5.5 億

基準測試結果

我們使用大量不同的資料集和指標評估這些模型，涵蓋文字生成的不同面向。表格中標示的評估結果適用於指令調整模型，並採用建議的 Entropy Bound (EB) 取樣器 (請參閱下方的「最佳做法」)。

基準 DiffusionGemma 26B A4B Gemma 4 26B A4B
MMLU Pro 77.6% 82.6%
AIME 2026 no tools 69.1% 88.3%
LiveCodeBench v6 69.1% 77.1%
Codeforces ELO 1429 1718
GPQA Diamond 73.2% 82.3%
Tau2 (3 次平均值) 56.2% 68.2%
HLE no tools 11.0% 8.7%
HLE 搭配搜尋 11.9% 17.2%
BigBench Extra Hard 47.6% 64.8%
MMMLU 81.5% 86.3%
視覺輔助
MMMU Pro 54.3% 73.8%
OmniDocBench 1.5 (平均編輯距離，越低越好) 0.319 0.149
MATH-Vision 70.5% 82.4%
MedXPertQA MM 49.0% 58.1%
長脈絡窗口
MRCR v2 8 needle 128k (平均) 32.0% 44.1%

核心功能

DiffusionGemma 可處理各種文字和視覺任務，主要功能包括：

  • 高速生成：透過擴散取樣平行去噪 256 個詞元，每次前向傳遞生成 15 到 20 個詞元，實現低延遲。在低批次大小設定 (H100、FP8) 下，每位使用者的生成速度可超過每秒 1100 個詞元。
  • 自動調整推論時間運算：較簡單的提示和結構化任務 (例如程式碼) 需要較少的去噪步驟，因此可根據任務複雜度動態調整每秒權杖速度。
  • 思考：內建推論模式，可讓模型在回答前逐步思考。
  • 長脈絡窗口：脈絡窗口最多可達 25.6 萬個詞元。
  • 圖片理解：物件偵測、文件/PDF 剖析、螢幕和 UI 理解、圖表理解、OCR (包括多語言)、手寫辨識和指向。圖片可以不同的顯示比例和解析度處理。
  • Video Understanding：處理影格序列，分析及描述影片內容。
  • 交錯多模態輸入：在單一提示中混合圖片、影片和文字，進行高度仰賴脈絡的推論。
  • 呼叫函式：原生支援結構化工具，可啟用 Agentic Workflows。
  • 程式設計和推論：可生成及補全程式碼，並逐步進行邏輯推論。
  • 多語言：現成支援超過 35 種語言，預先訓練超過 140 種語言。

最佳做法

為獲得最佳成效，請採用下列設定和最佳做法：

1. 擴散取樣設定

請在所有用途中，使用下列標準化取樣設定：

  • 方法：採用 Entropy-Bounded Denoising 和 Adaptive Stopping 的擴散取樣。
  • 取樣設定：
    • 雜訊去除步數上限 = 48
    • 溫度參數時間表 (用於 logit 調整)：從 0.8 線性衰減至 0.4
    • 選取詞元：在每個步驟中，取樣器會選取熵最低的詞元，使互資訊界限維持在熵界限 0.1 以下
    • 權杖重新加入雜訊：取樣器會完全重新加入雜訊至未選取的權杖
  • 自動調整停止：只有在同時符合下列兩項條件時，取樣才會提早終止：
    • 可信預測：畫布上的平均模型熵低於熵門檻 = 0.005
    • 穩定預測：在連續兩個去噪步驟中，最高機率的符記預測結果保持不變

2. 思考模式設定

與 Gemma 4 模型類似，我們使用標準 system、assistant 和 user 角色。如要妥善管理思考程序，請使用下列控制權杖：

  • 觸發思考：在系統提示詞開頭加入 <|think|> 詞元，即可啟用思考功能。如要停用思考功能，請移除權杖 (請注意，系統可能仍會發出空白的思考管道)。
  • 標準生成：啟用思考功能後，模型會輸出內部推論，然後使用下列結構輸出最終答案：<|channel>thought\n[內部推論]<channel|>。
  • 停用思考行為：如果停用思考功能，模型仍會生成標記，但思考區塊會留空：<|channel>thought\n<channel|>[最終答案]。

請注意，許多程式庫 (例如 transformers) 會為您處理對話範本的複雜問題。

3. 多輪對話

  • 歷史記錄中不含思考內容：在多輪對話中，歷史模型輸出內容應僅包含最終回覆。在下一個使用者回合開始前，不得加入先前模型回合的想法。

4. 模態順序

  • 為確保多模態輸入內容發揮最佳效能，請將圖片內容放在提示詞中的文字之前。

5. 可變圖片解析度

除了可變顯示比例，DiffusionGemma 還支援可變圖片解析度，可透過設定視覺權杖預算，控制用於代表圖片的權杖數量。詞元預算越高，保留的視覺細節越多，但會耗用更多運算資源；預算越低，推論速度越快，適合不需要精細理解的工作。

  • 支援的權杖預算為：70、140、280、560 和 1120。
    • 如果需要分類、加上字幕或理解影片，請使用較低的預算，因為快速推論和處理多個影格比精細細節更重要。
    • 如要執行 OCR、文件剖析或閱讀小字等工作，請使用較高的預算。

6. 影片長度

所有模型都支援圖片輸入，並能將影片視為影格處理。假設圖片以每秒一個影格的速度處理，影片最長可達 60 秒。

模型資料

用於模型訓練的資料，以及資料的處理方式。

訓練資料集

我們的預先訓練資料集是大型、多元的資料集合，涵蓋廣泛的領域和模態，包括網頁文件、程式碼、圖片、音訊，截止日期為 2025 年 1 月。以下是關鍵要素：

  • 網路文件：多元的網路文字集合，確保模型能接觸到廣泛的語言風格、主題和詞彙。訓練資料集包含超過 140 種語言的內容。
  • 程式碼：讓模型接觸程式碼，有助於學習程式設計語言的語法和模式，進而提升生成程式碼和理解程式碼相關問題的能力。
  • 數學：透過數學文字訓練，模型可學習邏輯推理、符號表示法，並解決數學問題。
  • 圖片：提供多種圖片，讓模型執行圖片分析和視覺資料擷取工作。

如要訓練強大的多模態模型，能處理各種工作和資料格式，就必須結合這些不同的資料來源。

資料預先處理

以下是訓練資料採用的主要資料清理和篩選方法：

  • 兒少性虐待內容篩選：在資料準備過程的多個階段，嚴格篩選兒少性虐待內容，確保排除有害和非法內容。
  • 機密資料篩選：為確保 Gemma 預先訓練模型的安全性和可靠性，我們採用自動化技術，從訓練集中篩除特定個人資訊和其他機密資料。
  • 其他方法：根據我們的政策，依內容品質和安全性進行篩選。

倫理與安全

隨著開放模型成為企業基礎架構的核心，來源和安全性至關重要。DiffusionGemma 由 Google DeepMind 開發，與 Google 專屬的 Gemini 模型一樣，都經過嚴格的安全評估。

評估方法

DiffusionGemma 是與內部安全和負責任 AI 團隊合作開發。我們進行了一系列自動和人工評估，以提升模型安全性。這些評估符合 Google 的 AI 開發原則和安全政策，旨在防止生成式 AI 模型生成有害內容，包括：

  • 兒少性虐待內容和剝削相關內容
  • 危險內容 (例如宣傳自殺，或教導可能造成實際危害的活動)
  • 情色露骨內容
  • 仇恨言論 (例如貶抑受保護團體的成員)
  • 騷擾 (例如鼓吹對他人施暴)

評估結果

在所有安全測試領域中，相較於前幾代 Gemma 模型，我們在所有內容安全類別中都看到重大改善。整體而言，DiffusionGemma 與 Gemma 4 模型一樣，在提升安全性方面顯著優於 Gemma 3 和 3n 模型，同時保持較低的不合理拒絕率。所有測試均刻意在未啟用安全篩選器的情況下進行，以便評估模型的原始能力和基準行為。無論是文字轉文字還是圖片轉文字，在所有模型大小中，模型違反政策的次數都極少，且比先前的 Gemma 模型有顯著改善。

用量和限制

這些模型有特定限制，使用者應多加留意。

預定用途

多模態模型 (可處理影像、語言和/或音訊) 廣泛應用於各行各業和領域。下列潛在用途清單並未涵蓋所有情況。這份清單旨在提供背景資訊，說明模型建立者在訓練和開發模型時，考量了哪些可能用途。

  • 內容創作與溝通
    • 生成文字：生成詩詞、劇本、程式碼、行銷文案和電子郵件草稿等創意文字格式。
    • 聊天機器人和對話式 AI：為客戶服務、虛擬助理或互動式應用程式提供對話介面。
    • 文字摘要：生成語料庫、研究論文或報告的精簡摘要。
    • 圖片資料擷取：擷取、解讀及摘要視覺資料，用於文字通訊。
  • 研究與教育
    • 自然語言處理 (NLP) 和 VLM 研究：研究人員可運用這項技術，實驗 VLM 和 NLP 技術、開發演算法，並推動該領域的發展。
    • 語言學習工具：支援互動式語言學習體驗，協助修正文法或提供寫作練習。
    • 知識探索：生成摘要或回答特定主題的問題，協助研究人員探索大量文字。

限制

  • 訓練資料
    • 訓練資料的品質和多樣性會大幅影響模型的能力。訓練資料中的偏誤或缺漏，可能會導致模型回覆受限。
    • 訓練資料集的範圍決定了模型能有效處理的學科領域。
  • 背景資訊和工作複雜度
    • 如果任務能以明確的提示和指令來架構，模型就能妥善執行。開放式或高度複雜的工作可能較具挑戰性。
    • 模型效能可能會受到提供的背景資訊量影響 (背景資訊越長，輸出內容通常越好，但有一定限度)。
  • 語言歧義和細微差異
    • 自然語言本來就很複雜。模型可能難以理解細微差異、諷刺或比喻性語言。
  • 事實準確性
    • 模型會根據從訓練資料集學到的資訊生成回覆，但這些資料集並非知識庫。可能會生成錯誤或過時的事實陳述。
  • Common Sense
    • 模型會根據語言的統計模式運作，在某些情況下，可能無法運用常識推理。

倫理考量和風險

在建立開放式視覺語言模型時，我們仔細考量了下列事項：

  • 偏誤和公平性
    • VLM 是以大規模的真實世界文字和圖片資料訓練而成，因此可能會反映訓練資料中固有的社會文化偏誤。DiffusionGemma 經過仔細審查、輸入資料預先處理和訓練後評估 (如本資訊卡所述)，有助於降低這些偏誤的風險。
  • 錯誤資訊和濫用行為
  • 資訊公開與當責
    • 這張模型資訊卡概述了模型架構、功能、限制和評估程序。
    • 以負責任的方式開發開放原始碼模型，可讓 AI 生態系統中的開發人員和研究人員使用 VLM 技術，進而分享創新成果。

識別出的風險和緩解措施：

  • 生成有害內容：必須建立內容安全機制和指南。建議開發人員謹慎行事，並根據特定產品政策和應用程式用途，實施適當的內容安全防護措施。
  • 惡意濫用：技術限制、開發人員和使用者教育，有助於減少 VLM 的惡意應用。提供教育資源和檢舉機制，讓使用者檢舉濫用行為。
  • 侵犯隱私權：訓練模型時，資料會經過篩選，移除特定個人資訊和其他機密資料。建議開發人員採用隱私權保護技術，遵守隱私權法規。
  • 偏誤持續存在：建議您在模型訓練、微調和其他用途中，持續監控 (使用評估指標、人工審查) 並探索去偏誤技術。

優點

這款開放式視覺語言模型在推出時，就具備低延遲、高效能的特性，對於開發人員和有興趣研究擴散語言模型的人來說，是相當吸引人的選擇。與同等大小的模型相比，這款模型從一開始就以負責任的 AI 開發為設計理念。