Scheda del modello DiffusionGemma

Hugging Face | GitHub | Blog di lancio | Documentazione
Licenza: Apache 2.0 | Autori: Google DeepMind

DiffusionGemma è un modello generativo creato da Google DeepMind. Basato sull'architettura Gemma 4 Mixture of Experts (MoE) 26B A4B, DiffusionGemma genera token utilizzando la diffusione discreta. Questo modello con pesi aperti è multimodale e gestisce input di testo, immagini e video per generare output di testo.

Basato su una base MoE, DiffusionGemma è progettato per migliorare la velocità di generazione (token al secondo), pur rimanendo implementabile in vari ambienti hardware. DiffusionGemma si basa sui progressi architettonici e delle funzionalità di Gemma 4, introducendo diverse funzionalità principali:

  • Discrete Text Diffusion: passa dall'autoregressione token per token al campionamento multicanvas autoregressivo a blocchi. Genera testo rimuovendo in modo iterativo il rumore dai blocchi di token (un "canvas") in parallelo, aumentando in modo significativo la velocità di decodifica.
  • Elaborazione di input multimodali: elabora input di testo, immagini (con supporto di risoluzione e proporzioni variabili) e video alternati per generare output di testo.
  • Architettura encoder-decoder: utilizza un encoder autoregressivo per elaborare e memorizzare nella cache il contesto del prompt, abbinato a un decoder che applica l'attenzione bidirezionale al canvas di generazione.
  • Efficienza della Mixture of Experts (MoE): sfrutta un design MoE sparse (8 esperti attivi su 128 totali) per fornire solide capacità di ragionamento, mantenendo al contempo un footprint della memoria ridotto adatto all'esecuzione locale.
  • Modalità di ragionamento: progettata come un ragionatore altamente capace, con modalità di ragionamento configurabili.
  • Ottimizzato per l'inferenza con batch di piccole dimensioni: progettato specificamente per la generazione ad alta velocità e a bassa latenza su un singolo acceleratore con capacità adeguata.
  • Supporto nativo dei prompt di sistema: come per Gemma 4, supporta l'aggiornamento del ruolo system, consentendo conversazioni più strutturate e controllabili.

Panoramica del modello

DiffusionGemma è progettato per ridurre i colli di bottiglia sequenziali dei modelli linguistici causali standard. Utilizza un'architettura encoder-decoder ottimizzata specificamente per la velocità di inferenza.

L'encoder opera in una capacità di precompilazione, elaborando il prompt iniziale e generando la cache KV. Il decoder utilizza quindi l'attenzione bidirezionale per elaborare un blocco di input (una "canvas") di token, accedendo al contesto memorizzato nella cache tramite l'attenzione incrociata.

Durante l'inferenza, DiffusionGemma sfrutta il campionamento multi-canvas. Anziché generare un token alla volta, il modello elimina in modo iterativo il rumore da un intero blocco di token utilizzando un campionatore di diffusione. Una volta che un canvas è stato completamente privato del rumore, viene elaborato dall'encoder e aggiunto alla cache KV, dopodiché il modello genera il canvas successivo. Questo approccio autoregressivo a blocchi facilita la generazione di testo a velocità più elevate.

DiffusionGemma

Proprietà DiffusionGemma 26B A4B
Parametri totali 25,2 MLD
Parametri attivi 3,8 Mld
Livelli 30
Finestra temporale mobile 1024 token
Finestra contestuale Fino a 256.000 token
Lunghezza canvas 256
Dimensioni del vocabolario 262.000
Numero di esperti 8 attivi/128 totali e 1 condiviso
Modalità supportate Testo, immagine
Parametri del codificatore visivo ~550 mln

Risultati benchmark

Questi modelli sono stati valutati rispetto a una vasta raccolta di set di dati e metriche diversi per coprire vari aspetti della generazione di testo. I risultati della valutazione contrassegnati nella tabella si riferiscono ai modelli ottimizzati per le istruzioni, con il campionatore Entropy Bound (EB) consigliato (vedi le best practice di seguito).

Benchmark DiffusionGemma 26B A4B Gemma 4 26B A4B
MMLU Pro 77,6% 82,6%
AIME 2026 no tools 69,1% 88,3%
LiveCodeBench v6 69,1% 77,1%
Codeforces ELO 1429 1718
GPQA Diamond 73,2% 82,3%
Tau2 (media su 3) 56,2% 68,2%
HLE no tools 11,0% 8,7%
HLE con ricerca 11,9% 17,2%
BigBench Extra Hard 47,6% 64,8%
MMMLU 81,5% 86,3%
Vista
MMMU Pro 54,3% 73,8%
OmniDocBench 1.5 (distanza di modifica media, più bassa è, meglio è) 0,319 0,149
MATH-Vision 70,5% 82,4%
MedXPertQA MM 49,0% 58,1%
Contesto lungo
MRCR v2 8 needle 128k (average) 32,0% 44,1%

Funzionalità principali

DiffusionGemma gestisce un'ampia gamma di attività relative a testo e visione artificiale. Le sue funzionalità principali includono:

  • Generazione ad alta velocità: il denoising parallelo di 256 token tramite il campionamento della diffusione ottiene una bassa latenza generando 15-20 token per passaggio in avanti, sbloccando velocità di generazione per utente superiori a 1100 token al secondo in impostazioni di dimensioni di batch ridotte (H100, FP8).
  • Calcolo del tempo di inferenza adattivo: i prompt più semplici e le attività strutturate come il codice richiedono meno passaggi di denoising, consentendo velocità dinamiche di token al secondo in base alla complessità dell'attività.
  • Ragionamento: modalità di ragionamento integrata che consente al modello di pensare passo dopo passo prima di rispondere.
  • Contesto lungo: finestre contestuali fino a 256.000 token.
  • Comprensione delle immagini: rilevamento di oggetti, analisi di documenti/PDF, comprensione di schermate e UI, comprensione di grafici, OCR (anche multilingue), riconoscimento della scrittura a mano libera e puntamento. Le immagini possono essere elaborate con proporzioni e risoluzioni variabili.
  • Comprensione dei video: analizza e descrive i contenuti video elaborando sequenze di frame.
  • Input multimodale intercalato: combina immagini, video e testo in un unico prompt per un ragionamento ricco di contesto.
  • Chiamata di funzione: supporto nativo per l'utilizzo di strumenti strutturati, che consente workflow agentici.
  • Programmazione e ragionamento: in grado di generare e completare il codice e di eseguire un ragionamento logico passo passo.
  • Multilingue: supporto immediato per oltre 35 lingue, preaddestrato su oltre 140 lingue.

Best practice

Per prestazioni ottimali, utilizza queste configurazioni e best practice:

1. Impostazioni di campionamento della diffusione

Utilizza la seguente configurazione di campionamento standardizzata per tutti i casi d'uso:

  • Metodo: campionamento di diffusione con riduzione del rumore con limiti di entropia e arresto adattivo.
  • Configurazione del campionamento:
    • Numero massimo di passaggi per la riduzione del rumore = 48
    • Programmazione della temperatura (per la modellazione dei logit): decadimento lineare da 0,8 → 0,4
    • Selezione dei token: in ogni passaggio, il campionatore seleziona i token con l'entropia più bassa in modo che il loro limite di informazioni reciproche rimanga al di sotto del limite di entropia = 0,1
    • Token Renoising: il campionatore aggiunge nuovamente rumore ai token non selezionati
  • Arresto adattivo: il campionamento termina in anticipo se e solo se entrambe le seguenti condizioni sono soddisfatte contemporaneamente:
    • Previsioni affidabili: l'entropia media del modello sul canvas è inferiore alla soglia di entropia = 0,005
    • Previsioni stabili: le previsioni dei token con la probabilità più alta rimangono identiche in due passaggi di denoising consecutivi

2. Configurazione della modalità di ragionamento

Analogamente ai modelli Gemma 4, utilizziamo i ruoli standard system, assistant e user. Per gestire correttamente il processo di ragionamento, utilizza i seguenti token di controllo:

  • Attiva il ragionamento: il ragionamento viene attivato includendo il token <|think|> all'inizio del prompt di sistema. Per disattivare il ragionamento, rimuovi il token (tieni presente che potrebbe comunque essere emesso un canale di ragionamento vuoto).
  • Generazione standard: quando il ragionamento è attivo, il modello restituisce il suo ragionamento interno seguito dalla risposta finale utilizzando questa struttura: <|channel>thought\n[Ragionamento interno]<channel|>.
  • Comportamento di ragionamento disattivato: se il ragionamento è disattivato, il modello genererà comunque i tag, ma con un blocco di deduzioni vuoto: <|channel>thought\n<channel|>[Risposta finale].

Tieni presente che molte librerie, come i transformer, gestiscono le complessità del modello di chat per te.

3. Conversazioni a più turni

  • Nessun contenuto di ragionamento nella cronologia: nelle conversazioni multi-turno, l'output del modello storico deve includere solo la risposta finale. I pensieri dei turni precedenti del modello non devono essere aggiunti prima dell'inizio del turno successivo dell'utente.

4. Ordine delle modalità

  • Per prestazioni ottimali con input multimodali, posiziona i contenuti delle immagini prima del testo nel prompt.

5. Risoluzione delle immagini variabile

Oltre alle proporzioni variabili, DiffusionGemma supporta la risoluzione delle immagini variabile tramite un budget di token visivi configurabile, che controlla il numero di token utilizzati per rappresentare un'immagine. Un budget di token più elevato preserva un maggior numero di dettagli visivi a scapito di un calcolo aggiuntivo, mentre un budget inferiore consente un'inferenza più rapida per le attività che non richiedono una comprensione dettagliata.

  • I budget di token supportati sono: 70, 140, 280, 560 e 1120.
    • Utilizza budget inferiori per la classificazione, i sottotitoli codificati o la comprensione dei video, dove l'inferenza più rapida e l'elaborazione di molti frame superano i dettagli granulari.
    • Utilizza budget più elevati per attività come l'OCR, l'analisi dei documenti o la lettura di testi di piccole dimensioni.

6. Durata del video

Tutti i modelli supportano gli input di immagini e possono elaborare i video come fotogrammi. Il video supporta un massimo di 60 secondi, supponendo che le immagini vengano elaborate a un frame al secondo.

Dati del modello

Dati utilizzati per l'addestramento del modello e modalità di elaborazione dei dati.

Set di dati di addestramento

Il nostro set di dati di pre-addestramento è una raccolta di dati su larga scala e diversificata che comprende un'ampia gamma di domini e modalità, tra cui documenti web, codice, immagini e audio, con una data limite di gennaio 2025. Ecco i componenti chiave:

  • Documenti web: una raccolta diversificata di testi web garantisce che il modello sia esposto a un'ampia gamma di stili linguistici, argomenti e vocaboli. Il set di dati di addestramento include contenuti in oltre 140 lingue.
  • Codice: l'esposizione del modello al codice lo aiuta ad apprendere la sintassi e i pattern dei linguaggi di programmazione, migliorando la sua capacità di generare codice e comprendere le domande relative al codice.
  • Matematica: l'addestramento su testi matematici aiuta il modello ad apprendere il ragionamento logico, la rappresentazione simbolica e a rispondere a domande matematiche.
  • Immagini: un'ampia gamma di immagini consente al modello di eseguire attività di analisi delle immagini e di estrazione dei dati visivi.

La combinazione di queste diverse origini dati è fondamentale per l'addestramento di un potente modello multimodale in grado di gestire un'ampia varietà di attività e formati di dati diversi.

Pre-elaborazione dei dati

Ecco i principali metodi di pulizia e filtro dei dati applicati ai dati di addestramento:

  • Filtro del materiale pedopornografico: è stato applicato un filtro rigoroso del materiale pedopornografico in più fasi del processo di preparazione dei dati per garantire l'esclusione di contenuti dannosi e illegali.
  • Filtro dei dati sensibili: per rendere i modelli pre-addestrati di Gemma sicuri e affidabili, sono state utilizzate tecniche automatizzate per filtrare determinate informazioni personali e altri dati sensibili dai set di addestramento.
  • Metodi aggiuntivi: filtraggio in base alla qualità e alla sicurezza dei contenuti in linea con le nostre norme.

Etica e sicurezza

Man mano che i modelli aperti diventano centrali per l'infrastruttura aziendale, la provenienza e la sicurezza sono fondamentali. Sviluppato da Google DeepMind, DiffusionGemma viene sottoposto alle stesse rigorose valutazioni della sicurezza dei nostri modelli Gemini proprietari.

Approccio alla valutazione

DiffusionGemma è stato sviluppato in collaborazione con i team interni di sicurezza e AI responsabile. Sono state condotte una serie di valutazioni automatiche e umane per contribuire a migliorare la sicurezza del modello. Queste valutazioni sono in linea con i principi dell'AI di Google e con le norme di sicurezza, che mirano a impedire ai nostri modelli di AI generativa di generare contenuti dannosi, tra cui:

  • Contenuti relativi a materiale pedopornografico e sfruttamento sessuale di minori
  • Contenuti pericolosi (ad es. promozione del suicidio o istruzioni per attività che potrebbero causare danni nel mondo reale)
  • Contenuti sessualmente espliciti
  • Incitamento all'odio (ad es. deumanizzazione dei membri di gruppi protetti)
  • Molestie (ad es. incoraggiamento alla violenza contro le persone)

Risultati della valutazione

Per tutte le aree dei test di sicurezza, abbiamo riscontrato miglioramenti significativi in tutte le categorie di sicurezza dei contenuti rispetto alle generazioni precedenti dei modelli Gemma. Nel complesso, DiffusionGemma, come i modelli Gemma 4, supera in modo significativo i modelli Gemma 3 e 3n nel migliorare la sicurezza, mantenendo al contempo bassi i rifiuti ingiustificati. Tutti i test sono stati condotti intenzionalmente senza filtri di sicurezza per valutare le capacità grezze e i comportamenti di base del modello. Sia per la conversione da testo a testo che per quella da immagine a testo, e per tutte le dimensioni del modello, il modello ha prodotto violazioni minime delle norme e ha mostrato miglioramenti significativi rispetto ai modelli Gemma precedenti.

Utilizzo e limitazioni

Questi modelli presentano alcune limitazioni di cui gli utenti devono essere consapevoli.

Utilizzo previsto

I modelli multimodali (in grado di elaborare visione, linguaggio e/o audio) hanno un'ampia gamma di applicazioni in vari settori e domini. Il seguente elenco di potenziali utilizzi non è esaustivo. Lo scopo di questo elenco è fornire informazioni contestuali sui possibili casi d'uso che i creatori del modello hanno preso in considerazione nell'ambito dell'addestramento e dello sviluppo del modello.

  • Creazione di contenuti e comunicazione
    • Generazione di testo: genera formati di testo creativi come poesie, script, codice, testi di marketing e bozze di email.
    • Chatbot e AI conversazionale: supporta le interfacce di conversazione per il servizio clienti, gli assistenti virtuali o le applicazioni interattive.
    • Riassunto di testi: genera riassunti concisi di un corpus di testo, di articoli di ricerca o di report.
    • Estrazione dati dalle immagini: estrae, interpreta e riassume i dati visivi per le comunicazioni di testo.
  • Ricerca e istruzione
    • Elaborazione del linguaggio naturale (NLP) e ricerca sui VLM: funge da base per i ricercatori per sperimentare tecniche di VLM e NLP, sviluppare algoritmi e contribuire al progresso del campo.
    • Strumenti per l'apprendimento delle lingue: supportano esperienze di apprendimento delle lingue interattive, aiutano nella correzione grammaticale o forniscono esercitazioni di scrittura.
    • Esplorazione delle conoscenze: aiuta i ricercatori a esplorare grandi quantità di testo generando riepiloghi o rispondendo a domande su argomenti specifici.

Limitazioni

  • Dati di addestramento
    • La qualità e la diversità dei dati di addestramento influenzano in modo significativo le capacità del modello. Bias o lacune nei dati di addestramento possono portare a limitazioni nelle risposte del modello.
    • L'ambito del set di dati di addestramento determina i campi di studio che il modello può gestire in modo efficace.
  • Contesto e complessità dell'attività
    • Il modello offre prestazioni ottimali per le attività che possono essere inquadrate con prompt e istruzioni chiari. Le attività aperte o molto complesse potrebbero essere difficili.
    • Le prestazioni del modello possono essere influenzate dalla quantità di contesto fornito (un contesto più lungo generalmente porta a risultati migliori, fino a un certo punto).
  • Ambiguità e sfumature del linguaggio
    • Il linguaggio naturale è intrinsecamente complesso. Il modello potrebbe avere difficoltà a cogliere sfumature sottili, sarcasmo o linguaggio figurato.
  • Accuratezza oggettiva
    • Il modello genera risposte in base alle informazioni apprese dai set di dati di addestramento, ma non sono knowledge base. Potrebbe generare affermazioni oggettive errate o obsolete.
  • Common Sense
    • Il modello si basa su pattern statistici nel linguaggio. Potrebbe non essere in grado di applicare il ragionamento di buon senso in determinate situazioni.

Considerazioni e rischi etici

Durante la creazione di un modello linguistico-visivo aperto, abbiamo considerato attentamente quanto segue:

  • Bias ed equità
    • I VLM addestrati su dati di testo e immagini reali su larga scala possono riflettere i bias socio-culturali incorporati nel materiale di addestramento. DiffusionGemma è stato sottoposto a un attento esame, alla pre-elaborazione dei dati di input e a valutazioni post-addestramento, come riportato in questa scheda, per contribuire a mitigare il rischio di questi bias.
  • Disinformazione e uso improprio
    • I VLM possono essere utilizzati in modo improprio per generare testo falso, fuorviante o dannoso.
    • Per un utilizzo responsabile del modello, consulta le linee guida fornite nel Toolkit per l'AI generativa responsabile.
  • Trasparenza e responsabilità
    • Questa scheda del modello riassume i dettagli sull'architettura, le funzionalità, le limitazioni e i processi di valutazione del modello.
    • Un modello aperto sviluppato in modo responsabile offre l'opportunità di condividere l'innovazione rendendo la tecnologia VLM accessibile a sviluppatori e ricercatori in tutto l'ecosistema dell'AI.

Rischi identificati e mitigazioni:

  • Generazione di contenuti dannosi: i meccanismi e le linee guida per la sicurezza dei contenuti sono essenziali. Gli sviluppatori sono invitati a prestare attenzione e a implementare misure di salvaguardia della sicurezza dei contenuti appropriate in base alle norme specifiche dei loro prodotti e ai casi d'uso delle applicazioni.
  • Uso improprio per scopi dannosi: le limitazioni tecniche e la formazione di sviluppatori e utenti finali possono contribuire a mitigare le applicazioni dannose dei VLM. Vengono fornite risorse didattiche e meccanismi di segnalazione per consentire agli utenti di segnalare un uso improprio.
  • Violazioni della privacy: i modelli sono stati addestrati su dati filtrati per la rimozione di alcune informazioni personali e altri dati sensibili. Gli sviluppatori sono incoraggiati a rispettare le normative sulla privacy con tecniche che tutelano la privacy.
  • Perpetuazione dei bias: è consigliabile eseguire un monitoraggio continuo (utilizzando metriche di valutazione, revisione umana) ed esplorare tecniche di eliminazione dei bias durante l'addestramento, l'ottimizzazione e altri casi d'uso del modello.

Vantaggi

Al momento del rilascio, si tratta di un modello linguistico visivo aperto a bassa latenza e ad alte prestazioni che offre un'opzione interessante per gli sviluppatori e per chi è interessato alla ricerca sui modelli linguistici di diffusione. Il modello è progettato da zero per uno sviluppo dell'AI responsabile rispetto a modelli di dimensioni simili.