Modellkarte für DiffusionGemma

Hugging Face | GitHub | Launch-Blog | Dokumentation
Lizenz: Apache 2.0 | Autoren: Google DeepMind

DiffusionGemma ist ein generatives Modell, das von Google DeepMind entwickelt wurde. DiffusionGemma basiert auf der 26B-A4B-MoE-Architektur (Mixture of Experts) von Gemma 4 und generiert Tokens mithilfe von diskreter Diffusion. Dieses Modell mit offenen Gewichtungen ist multimodal und verarbeitet Text-, Bild- und Videoeingaben, um Textausgaben zu generieren.

DiffusionGemma basiert auf einer MoE-Grundlage und wurde entwickelt, um die Generierungsgeschwindigkeit (Tokens pro Sekunde) zu verbessern, während es gleichzeitig in verschiedenen Hardwareumgebungen bereitgestellt werden kann. DiffusionGemma baut auf den architektonischen und funktionalen Fortschritten von Gemma 4 auf und bietet mehrere wichtige Funktionen:

  • Discrete Text Diffusion: Wechselt von der tokenweisen Autoregression zur blockautoregressiven Multi-Canvas-Stichprobenerhebung. Es generiert Text, indem es iterativ Tokenblöcke (einen „Canvas“) parallel entrauscht, was die Decodiergeschwindigkeit erheblich erhöht.
  • Multimodale Eingabeverarbeitung: Verarbeitet verschachtelte Text-, Bild- (mit Unterstützung für variable Seitenverhältnisse und Auflösungen) und Videoeingaben, um Textausgaben zu generieren.
  • Encoder-Decoder-Architektur: Verwendet einen autoregressiven Encoder, um den Prompt-Kontext zu verarbeiten und im Cache zu speichern, kombiniert mit einem Decoder, der bidirektionale Aufmerksamkeit auf den Generierungsbereich anwendet.
  • Effizienz durch Mixture of Experts (MoE): Nutzt ein dünnbesetztes MoE-Design (8 aktive Experten von insgesamt 128), um starke logische Fähigkeiten zu bieten und gleichzeitig einen geringen Speicherbedarf zu gewährleisten, der für die lokale Ausführung geeignet ist.
  • Thinking Mode (Reasoning): Ein leistungsstarkes Modell für logisches Schlussfolgern mit konfigurierbaren Denkmodi.
  • Optimiert für die Inferenz mit kleinen Batchgrößen: Speziell für die schnelle Generierung mit niedriger Latenz auf einem einzelnen leistungsstarken Beschleuniger entwickelt.
  • Native Unterstützung für System-Prompts: Wie bei Gemma 4 wird die Aktualisierung der Rolle system unterstützt, was strukturiertere und besser steuerbare Unterhaltungen ermöglicht.

Modellübersicht

DiffusionGemma wurde entwickelt, um die sequenziellen Engpässe von standardmäßigen kausalen Sprachmodellen zu reduzieren. Es verwendet eine Encoder-Decoder-Architektur, die speziell für die Inferenzgeschwindigkeit optimiert ist.

Der Encoder arbeitet in einer Vorfüllkapazität, verarbeitet den ursprünglichen Prompt und generiert den KV-Cache. Der Decoder verwendet dann bidirektionale Aufmerksamkeit, um einen Eingabeblock (eine „Canvas“) von Tokens zu verarbeiten, und greift über Cross-Attention auf den im Cache gespeicherten Kontext zu.

Während der Inferenz nutzt DiffusionGemma Multi-Canvas-Sampling. Anstatt ein Token nach dem anderen zu generieren, entfernt das Modell iterativ das Rauschen aus einem vollständigen Tokenblock mithilfe eines Diffusionssamplers. Sobald ein Canvas vollständig entrauscht ist, wird er vom Encoder verarbeitet und an den KV-Cache angehängt. Anschließend generiert das Modell den nächsten Canvas. Dieser blockautoregressive Ansatz ermöglicht eine schnellere Textgenerierung.

DiffusionGemma

Attribut DiffusionGemma 26B A4B
Parameter insgesamt 25,2 Mrd.
Aktive Parameter 3,8 Mrd.
Ebenen 30
Gleitendes Fenster 1024 Tokens
Kontextlänge Bis zu 256.000 Tokens
Canvas-Länge 256
Vokabulargröße 262.000
Anzahl der Experten 8 aktiv / 128 insgesamt und 1 geteilt
Unterstützte Modalitäten Text, Bild
Vision-Encoder-Parameter ~550 Mio.

Benchmark-Ergebnisse

Diese Modelle wurden anhand einer großen Sammlung verschiedener Datasets und Messwerte bewertet, um verschiedene Aspekte der Textgenerierung abzudecken. Die in der Tabelle markierten Bewertungsergebnisse beziehen sich auf anweisungsoptimierte Modelle mit dem empfohlenen EB-Sampler (Entropy Bound) (siehe Best Practices unten).

Benchmark DiffusionGemma 26B A4B Gemma 4 26B A4B
MMLU Pro 77,6 % 82,6 %
AIME 2026 ohne Tools 69,1 % 88,3 %
LiveCodeBench v6 69,1 % 77,1 %
Codeforces ELO 1429 1718
GPQA Diamond 73,2 % 82,3 %
Tau2 (Durchschnitt über 3) 56,2 % 68,2 %
HLE keine Tools 11,0 % 8,7 %
HLE mit Suche 11,9 % 17,2 %
BigBench Extra Hard 47,6 % 64,8 %
MMMLU 81,5 % 86,3 %
Hilfen bei eingeschränktem Sehvermögen
MMMU Pro 54,3 % 73,8 %
OmniDocBench 1.5 (durchschnittliche Editierdistanz, niedriger ist besser) 0,319 0,149
MATH-Vision 70,5 % 82,4 %
MedXPertQA MM 49,0 % 58,1 %
Großes Kontextfenster
MRCR v2 8 Needle 128k (Durchschnitt) 32,0 % 44,1 %

Hauptfunktionen

DiffusionGemma kann eine Vielzahl von Aufgaben im Bereich Text und Bild verarbeiten. Zu den wichtigsten Funktionen gehören:

  • Hochgeschwindigkeitsgenerierung: Durch paralleles Entrauschen von 256 Tokens über Diffusionsstichproben wird eine niedrige Latenz erreicht, da 15–20 Tokens pro Vorwärtsdurchlauf generiert werden. Dadurch werden pro Nutzer Generierungsgeschwindigkeiten von über 1.100 Tokens pro Sekunde in Einstellungen mit geringer Batchgröße (H100, FP8) ermöglicht.
  • Adaptive Inferenzzeitberechnung: Einfachere Prompts und strukturierte Aufgaben wie Code erfordern weniger Schritte zur Rauschunterdrückung, was dynamische Token-pro-Sekunde-Geschwindigkeiten basierend auf der Aufgabenkomplexität ermöglicht.
  • Thinking: Integrierter Reasoning-Modus, mit dem das Modell vor der Beantwortung Schritt für Schritt nachdenken kann.
  • Großes Kontextfenster: Kontextfenster mit bis zu 256.000 Tokens.
  • Bildverständnis: Objekterkennung, Dokument-/PDF-Parsing, Bildschirm- und UI-Verständnis, Diagrammverständnis, OCR (einschließlich mehrsprachig), Handschrifterkennung und Zeigen. Bilder können mit variablen Seitenverhältnissen und Auflösungen verarbeitet werden.
  • Video Understanding: Analysiert und beschreibt Videoinhalte durch die Verarbeitung von Bildsequenzen.
  • Verschachtelte multimodale Eingabe: Sie können Bilder, Videos und Text in einem einzigen Prompt kombinieren, um kontextbezogene Schlussfolgerungen zu ziehen.
  • Funktionsaufrufe: Native Unterstützung für die strukturierte Toolnutzung, die agentische Workflows ermöglicht.
  • Programmieren und logisches Denken: Kann Code generieren, vervollständigen und schrittweise logische Schlussfolgerungen ziehen.
  • Mehrsprachig: Sofortige Unterstützung für mehr als 35 Sprachen, vortrainiert für mehr als 140 Sprachen.

Best Practices

Für eine optimale Leistung sollten Sie die folgenden Konfigurationen und Best Practices beachten:

1. Einstellungen für die Diffusion-Stichprobenerhebung

Verwenden Sie für alle Anwendungsfälle die folgende standardisierte Stichprobenkonfiguration:

  • Methode: Diffusionsstichprobenerhebung mit entropiebegrenzter Rauschunterdrückung und adaptivem Stoppen.
  • Stichprobenkonfiguration:
    • Maximale Anzahl der Schritte zum Entrauschen = 48
    • Temperaturprogramm (für Logit-Shaping): Linearer Abfall von 0,8 → 0,4
    • Tokenauswahl: Bei jedem Schritt wählt der Sampler die Tokens mit der niedrigsten Entropie aus, sodass die Grenze für die gegenseitigen Informationen unter der Entropiegrenze von 0,1 bleibt.
    • Token-Renoising: Der Sampler fügt den nicht ausgewählten Tokens vollständig Rauschen hinzu.
  • Adaptives Beenden: Die Stichprobenerhebung wird nur dann vorzeitig beendet, wenn beide der folgenden Bedingungen gleichzeitig erfüllt sind:
    • Sichere Vorhersagen: Die durchschnittliche Modellentropie über den Canvas liegt unter dem Entropieschwellenwert von 0,005.
    • Stabile Vorhersagen: Die Tokenvorhersagen mit der höchsten Wahrscheinlichkeit bleiben über zwei aufeinanderfolgende Entrauschungsschritte hinweg identisch.

2. Konfiguration des Thinking-Modus

Ähnlich wie bei Gemma 4-Modellen verwenden wir die Standardrollen system, assistant und user. Verwenden Sie die folgenden Steuerungstokens, um den Denkprozess richtig zu verwalten:

  • Thinking-Modus auslösen: Der Thinking-Modus wird aktiviert, indem das Token <|think|> am Anfang des System-Prompts eingefügt wird. Wenn Sie das Nachdenken deaktivieren möchten, entfernen Sie das Token. Beachten Sie, dass möglicherweise trotzdem ein leerer Nachdenkkanal ausgegeben wird.
  • Standardgenerierung: Wenn das Thinking aktiviert ist, gibt das Modell seine interne Argumentation aus, gefolgt von der endgültigen Antwort. Dabei wird diese Struktur verwendet: <|channel>thought\n[Interne Argumentation]<channel|>.
  • Deaktiviertes Thinking-Verhalten: Wenn Thinking deaktiviert ist, generiert das Modell die Tags trotzdem, aber mit einem leeren Thought-Block: <|channel>thought\n<channel|>[Endgültige Antwort].

Viele Bibliotheken wie „transformers“ übernehmen die komplexen Aufgaben der Chatvorlage für Sie.

3. Multi-Turn-Unterhaltungen

  • Keine Thinking-Inhalte im Verlauf: In Multi-Turn-Unterhaltungen sollte die bisherige Modellausgabe nur die endgültige Antwort enthalten. Gedanken aus vorherigen Modellrunden dürfen nicht hinzugefügt werden, bevor die nächste Nutzerrunde beginnt.

4. Reihenfolge der Modalitäten

  • Für eine optimale Leistung bei multimodalen Eingaben sollten Sie Bildinhalte vor dem Text in Ihrem Prompt platzieren.

5. Variable Bildauflösung

Neben variablen Seitenverhältnissen unterstützt DiffusionGemma auch variable Bildauflösungen über ein konfigurierbares Budget für visuelle Tokens, mit dem gesteuert wird, wie viele Tokens zur Darstellung eines Bildes verwendet werden. Ein höheres Tokenbudget erhält mehr visuelle Details, erfordert aber zusätzliche Rechenleistung. Ein niedrigeres Budget ermöglicht eine schnellere Inferenz für Aufgaben, die kein detailliertes Verständnis erfordern.

  • Die unterstützten Tokenbudgets sind: 70, 140, 280, 560 und 1120.
    • Verwenden Sie niedrigere Budgets für Klassifizierung, Untertitelung oder Videoverständnis, wenn eine schnellere Inferenz und die Verarbeitung vieler Frames wichtiger sind als feine Details.
    • Verwenden Sie höhere Budgets für Aufgaben wie OCR, Dokumentparsing oder das Lesen von kleinem Text.

6. Videolänge

Alle Modelle unterstützen Bildeingaben und können Videos als Frames verarbeiten. Videos dürfen maximal 60 Sekunden lang sein, wenn die Bilder mit einem Frame pro Sekunde verarbeitet werden.

Modelldaten

Daten, die für das Modelltraining verwendet wurden, und wie die Daten verarbeitet wurden.

Trainings-Dataset

Unser Pre-Training-Dataset ist eine umfangreiche, vielfältige Sammlung von Daten, die ein breites Spektrum an Bereichen und Modalitäten abdeckt, darunter Webdokumente, Code, Bilder und Audio. Der Stichtag ist Januar 2025. Hier sind die wichtigsten Komponenten:

  • Webdokumente: Eine vielfältige Sammlung von Webtexten sorgt dafür, dass das Modell mit einer breiten Palette von Sprachstilen, Themen und Vokabeln in Berührung kommt. Das Trainings-Dataset enthält Inhalte in über 140 Sprachen.
  • Code: Wenn das Modell mit Code trainiert wird, lernt es die Syntax und Muster von Programmiersprachen. Dadurch kann es besser Code generieren und codebezogene Fragen verstehen.
  • Mathematik: Durch das Training mit mathematischen Texten lernt das Modell logisches Denken, symbolische Darstellung und die Beantwortung mathematischer Fragen.
  • Bilder: Eine große Auswahl an Bildern ermöglicht es dem Modell, Aufgaben zur Bildanalyse und visuellen Datenextraktion auszuführen.

Die Kombination dieser verschiedenen Datenquellen ist entscheidend für das Training eines leistungsstarken multimodalen Modells, das eine Vielzahl von Aufgaben und Datenformaten verarbeiten kann.

Datenvorverarbeitung

Hier sind die wichtigsten Methoden zur Datenbereinigung und -filterung, die auf die Trainingsdaten angewendet werden:

  • Filtern von Darstellungen des sexuellen Missbrauchs von Kindern: In mehreren Phasen der Datenvorbereitung wurden strenge Filter für Darstellungen des sexuellen Missbrauchs von Kindern angewendet, um schädliche und illegale Inhalte auszuschließen.
  • Filterung sensibler Daten: Um die vortrainierten Gemma-Modelle sicher und zuverlässig zu machen, wurden automatisierte Techniken verwendet, um bestimmte personenbezogene Daten und andere sensible Daten aus Trainings-Datasets herauszufiltern.
  • Zusätzliche Methoden: Filtern nach Inhaltsqualität und Sicherheit gemäß unseren Richtlinien.

Ethik und Sicherheit

Da offene Modelle immer wichtiger für die Unternehmensinfrastruktur werden, sind Herkunft und Sicherheit von entscheidender Bedeutung. DiffusionGemma wurde von Google DeepMind entwickelt und durchläuft dieselben strengen Sicherheitsbewertungen wie unsere proprietären Gemini-Modelle.

Bewertungsansatz

DiffusionGemma wurde in Zusammenarbeit mit internen Teams für Sicherheit und verantwortungsbewusste KI entwickelt. Es wurden verschiedene automatisierte und manuelle Bewertungen durchgeführt, um die Modellsicherheit zu verbessern. Diese Bewertungen entsprechen den KI-Grundsätzen von Google sowie den Sicherheitsrichtlinien, die verhindern sollen, dass unsere generativen KI-Modelle schädliche Inhalte generieren, darunter:

  • Inhalte, die mit Darstellungen des sexuellen Missbrauchs von Kindern und Ausbeutung in Zusammenhang stehen
  • Gefährliche Inhalte (z.B. Inhalte, die Suizid fördern oder Anleitungen für Aktivitäten enthalten, die im wirklichen Leben zu Schäden und Verletzungen führen könnten)
  • Sexuell explizite Inhalte
  • Hassrede (z.B. Entmenschlichung von Mitgliedern geschützter Gruppen)
  • Belästigung (z.B. Aufruf zu Gewalt gegen Personen)

Bewertungsergebnisse

In allen Bereichen der Sicherheitstests haben wir im Vergleich zu früheren Generationen von Gemma-Modellen erhebliche Verbesserungen in allen Kategorien der Inhaltssicherheit festgestellt. Insgesamt übertrifft DiffusionGemma, ähnlich wie die Gemma 4-Modelle, die Gemma 3- und 3n-Modelle deutlich, wenn es darum geht, die Sicherheit zu verbessern und gleichzeitig ungerechtfertigte Ablehnungen gering zu halten. Alle Tests wurden absichtlich ohne Sicherheitsfilter durchgeführt, um die Rohfunktionen und das grundlegende Verhalten des Modells zu bewerten. Sowohl bei Text-zu-Text als auch bei Bild-zu-Text und über alle Modellgrößen hinweg gab es nur minimale Richtlinienverstöße und deutliche Verbesserungen gegenüber früheren Gemma-Modellen.

Nutzung und Einschränkungen

Diese Modelle haben bestimmte Einschränkungen, die Nutzer kennen sollten.

Vorgesehene Verwendung

Multimodale Modelle (die Bild-, Sprach- und/oder Audiodaten verarbeiten können) haben ein breites Anwendungsspektrum in verschiedenen Branchen und Bereichen. Die folgende Liste potenzieller Verwendungszwecke ist nicht vollständig. Diese Liste soll Kontextinformationen zu den möglichen Anwendungsfällen liefern, die die Modellentwickler beim Training und der Entwicklung des Modells berücksichtigt haben.

  • Erstellung von Inhalten und Kommunikation
    • Textgenerierung: Generiert kreative Textformate wie Gedichte, Skripts, Code, Marketingtexte und E-Mail-Entwürfe.
    • Chatbots und konversationelle KI: Ermöglicht konversationelle Oberflächen für den Kundenservice, virtuelle Assistenten oder interaktive Anwendungen.
    • Textzusammenfassung: Generiert prägnante Zusammenfassungen eines Textkorpus, von Forschungsarbeiten oder Berichten.
    • Bilddatenextraktion: Extrahiert, interpretiert und fasst visuelle Daten für die Textkommunikation zusammen.
  • Forschung und Bildung
    • Forschung zu Natural Language Processing (NLP) und VLM: Dient als Grundlage für Forscher, um mit VLM- und NLP-Techniken zu experimentieren, Algorithmen zu entwickeln und zur Weiterentwicklung des Bereichs beizutragen.
    • Tools zum Sprachenlernen: Unterstützt interaktives Sprachenlernen, hilft bei der Grammatikkorrektur oder bietet Schreibübungen.
    • Wissenserkundung: Unterstützt Forscher beim Durchsuchen großer Textmengen, indem Zusammenfassungen erstellt oder Fragen zu bestimmten Themen beantwortet werden.

Einschränkungen

  • Trainingsdaten
    • Die Qualität und Vielfalt der Trainingsdaten beeinflussen die Fähigkeiten des Modells erheblich. Verzerrungen oder Lücken in den Trainingsdaten können zu Einschränkungen bei den Antworten des Modells führen.
    • Der Umfang des Trainings-Datasets bestimmt die Fachgebiete, die das Modell effektiv verarbeiten kann.
  • Kontext und Komplexität der Aufgabe
    • Das Modell eignet sich gut für Aufgaben, die mit klaren Prompts und Anweisungen formuliert werden können. Aufgaben mit offenem Ende oder hochkomplexe Aufgaben können eine Herausforderung sein.
    • Die Leistung des Modells kann durch die Menge des bereitgestellten Kontexts beeinflusst werden. Ein längerer Kontext führt bis zu einem gewissen Punkt im Allgemeinen zu besseren Ausgaben.
  • Mehrdeutigkeit und Nuancen in der Sprache
    • Natürliche Sprache ist von Natur aus komplex. Das Modell hat möglicherweise Schwierigkeiten, subtile Nuancen, Sarkasmus oder bildhafte Sprache zu verstehen.
  • Sachliche Richtigkeit
    • Das Modell generiert Antworten auf der Grundlage von Informationen, die es aus seinen Trainings-Datasets gelernt hat. Es handelt sich jedoch nicht um Wissensdatenbanken. Es kann falsche oder veraltete Tatsachenbehauptungen generieren.
  • Common Sense
    • Das Modell basiert auf statistischen Mustern in der Sprache. In bestimmten Situationen kann es sein, dass es nicht in der Lage ist, den gesunden Menschenverstand anzuwenden.

Ethische Überlegungen und Risiken

Bei der Erstellung eines offenen Vision-Language-Modells haben wir die folgenden Punkte sorgfältig berücksichtigt:

  • Bias und Fairness
    • VLMs, die mit umfangreichen, realen Text- und Bilddaten trainiert wurden, können soziokulturelle Verzerrungen widerspiegeln, die in den Trainingsmaterialien enthalten sind. DiffusionGemma wurde sorgfältig geprüft, die Eingabedaten wurden vorverarbeitet und es wurden Bewertungen nach dem Training durchgeführt, wie in dieser Karte beschrieben, um das Risiko dieser Verzerrungen zu minimieren.
  • Fehlinformationen und Missbrauch
  • Transparenz und Rechenschaftspflicht
    • Diese Modellkarte enthält Details zur Architektur, zu den Funktionen, Einschränkungen und Bewertungsverfahren des Modells.
    • Ein verantwortungsvoll entwickeltes offenes Modell bietet die Möglichkeit, Innovationen zu teilen, indem die VLM-Technologie für Entwickler und Forscher im gesamten KI-Ökosystem zugänglich gemacht wird.

Identifizierte Risiken und Maßnahmen zur Risikominderung:

  • Generierung schädlicher Inhalte: Mechanismen und Richtlinien für die Inhaltssicherheit sind unerlässlich. Entwickler sollten vorsichtig sein und geeignete Sicherheitsvorkehrungen für Inhalte implementieren, die auf ihren spezifischen Produktrichtlinien und Anwendungsfällen basieren.
  • Missbrauch für böswillige Zwecke: Technische Einschränkungen und die Aufklärung von Entwicklern und Endnutzern können dazu beitragen, böswillige Anwendungen von VLMs zu verhindern. Es werden Informationsmaterialien und Meldeverfahren bereitgestellt, mit denen Nutzer Missbrauch melden können.
  • Datenschutzverletzungen: Die Modelle wurden mit Daten trainiert, die gefiltert wurden, um bestimmte personenbezogene Daten und andere sensible Daten zu entfernen. Entwickler werden ermutigt, sich an Datenschutzbestimmungen zu halten und datenschutzfreundliche Techniken zu verwenden.
  • Fortbestehen von Verzerrungen: Es wird empfohlen, während des Modelltrainings, der Feinabstimmung und anderer Anwendungsfälle eine kontinuierliche Überwachung (mithilfe von Bewertungsmesswerten und manueller Überprüfung) durchzuführen und Techniken zur Vermeidung von Verzerrungen zu untersuchen.

Vorteile

Zum Zeitpunkt der Veröffentlichung ist dies ein leistungsstarkes Open-Vision-Language-Modell mit niedriger Latenz, das eine überzeugende Option für Entwickler und alle darstellt, die sich für die Erforschung von Diffusions-Language-Modellen interessieren. Das Modell wurde von Grund auf für die verantwortungsbewusste KI-Entwicklung konzipiert, im Vergleich zu Modellen ähnlicher Größe.