Fiche du modèle DiffusionGemma

Hugging Face | GitHub | Blog de lancement | Documentation
Licence : Apache 2.0 | Auteurs : Google DeepMind

DiffusionGemma est un modèle génératif développé par Google DeepMind. Basé sur l'architecture Gemma 4 26B A4B Mixture-of-Experts (MoE), DiffusionGemma génère des jetons à l'aide de la diffusion discrète. Ce modèle à pondération ouverte est multimodal. Il gère les entrées de texte, d'image et de vidéo pour générer une sortie textuelle.

Basé sur une fondation MoE, DiffusionGemma est conçu pour améliorer la vitesse de génération (jetons par seconde) tout en restant déployable dans divers environnements matériels. DiffusionGemma s'appuie sur les avancées architecturales et fonctionnelles de Gemma 4, en introduisant plusieurs fonctionnalités essentielles :

  • Diffusion de texte discret : passe de l'autorégression jeton par jeton à l'échantillonnage multi-canevas autorégressif par bloc. Il génère du texte en supprimant de manière itérative le bruit des blocs de jetons (un "canevas") en parallèle, ce qui augmente considérablement la vitesse de décodage.
  • Traitement des entrées multimodales : traite les entrées de texte, d'image (avec prise en charge de différents formats et résolutions) et de vidéo entrelacées pour générer des sorties textuelles.
  • Architecture encodeur/décodeur : utilise un encodeur autorégressif pour traiter et mettre en cache le contexte de la requête, associé à un décodeur qui applique une attention bidirectionnelle sur le canevas de génération.
  • Efficacité du modèle Mixture-of-Experts (MoE) : exploite une conception MoE sparse (8 experts actifs sur 128 au total) pour fournir de solides capacités de raisonnement tout en maintenant un faible espace mémoire utilisé adapté à l'exécution locale.
  • Mode de réflexion (raisonnement) : conçu comme un raisonneur très performant, avec des modes de réflexion configurables.
  • Optimisé pour l'inférence de petite taille de lot : spécialement conçu pour une génération à faible latence et à grande vitesse sur un seul accélérateur compatible.
  • Compatibilité native avec les requêtes système : comme avec Gemma 4, il est possible de mettre à jour le rôle system, ce qui permet d'avoir des conversations plus structurées et contrôlables.

Présentation du modèle

DiffusionGemma est conçu pour réduire les goulots d'étranglement séquentiels des modèles de langage causaux standards. Il utilise une architecture encodeur/décodeur spécialement optimisée pour la vitesse d'inférence.

L'encodeur fonctionne en mode préremplissage, en traitant la requête initiale et en générant le cache KV. Le décodeur utilise ensuite l'attention bidirectionnelle pour traiter un bloc d'entrée (un "canevas") de jetons, en accédant au contexte mis en cache via l'attention croisée.

Pendant l'inférence, DiffusionGemma exploite l'échantillonnage multi-canevas. Plutôt que de générer un jeton à la fois, le modèle supprime de manière itérative le bruit d'un bloc complet de jetons à l'aide d'un échantillonneur de diffusion. Une fois qu'un canevas est entièrement débruité, il est traité par l'encodeur et ajouté au cache KV, après quoi le modèle génère le canevas suivant. Cette approche autorégressive par bloc facilite la génération de texte à des vitesses plus élevées.

DiffusionGemma

Propriété DiffusionGemma 26B A4B
Nombre total de paramètres 25,2 Mds
Paramètres actifs 3,8 Md
Calques 30
Fenêtre glissante 1 024 jetons
Longueur de contexte Jusqu'à 256 000 jetons
Longueur du canevas 256
Taille du vocabulaire 262 k
Nombre d'experts 8 actifs/128 au total et 1 partagé
Modalités compatibles Texte, image
Paramètres de l'encodeur de vision ~550 M

Résultats du benchmark

Ces modèles ont été évalués par rapport à une vaste collection d'ensembles de données et de métriques différents afin de couvrir différents aspects de la génération de texte. Les résultats d'évaluation marqués dans le tableau concernent les modèles réglés par instructions, avec l'échantillonneur EB (Entropy Bound) recommandé (voir les bonnes pratiques ci-dessous).

Benchmark DiffusionGemma 26B A4B Gemma 4 26B A4B
MMLU Pro 77,6 % 82,6 %
AIME 2026 no tools 69,1 % 88,3 %
LiveCodeBench v6 69,1 % 77,1 %
ELO Codeforces 1429 1718
GPQA Diamond 73,2 % 82,3 %
Tau2 (moyenne sur 3) 56,2 % 68,2 %
HLE no tools 11,0 % 8,7 %
HLE avec recherche 11,9 % 17,2 %
BigBench Extra Hard 47,6 % 64.8%
MMMLU 81,5 % 86,3 %
Vision
MMMU Pro 54,3 % 73,8 %
OmniDocBench 1.5 (distance d'édition moyenne, plus elle est faible, mieux c'est) 0,319 0,149
MATH-Vision 70,5 % 82,4 %
MedXPertQA MM 49,0 % 58,1 %
Contexte long
MRCR v2 8 aiguilles 128 k (moyenne) 32,0 % 44,1 %

Fonctionnalités de base

DiffusionGemma gère un large éventail de tâches liées au texte et à la vision. Voici ses principales fonctionnalités :

  • Génération à grande vitesse : la suppression parallèle du bruit de 256 jetons via l'échantillonnage par diffusion permet d'obtenir une faible latence en générant 15 à 20 jetons par passe avant, ce qui permet d'atteindre des vitesses de génération par utilisateur supérieures à 1 100 jetons par seconde dans les paramètres de petite taille de lot (H100, FP8).
  • Calcul adaptatif du temps d'inférence : les requêtes plus simples et les tâches structurées comme le code nécessitent moins d'étapes de débruitage, ce qui permet d'adapter le nombre de jetons par seconde en fonction de la complexité de la tâche.
  • Raisonnement : mode de raisonnement intégré qui permet au modèle de réfléchir étape par étape avant de répondre.
  • Contexte long : fenêtres de contexte de 256 000 jetons maximum.
  • Compréhension d'images : détection d'objets, analyse de documents/PDF, compréhension d'écrans et d'UI, compréhension de graphiques, OCR (y compris multilingue), reconnaissance de l'écriture manuscrite et pointage. Les images peuvent être traitées avec des formats et des résolutions variables.
  • Compréhension des vidéos : analyse et décrit le contenu vidéo en traitant des séquences d'images.
  • Entrée multimodale entrelacée : mélangez des images, des vidéos et du texte dans une seule requête pour un raisonnement contextuel approfondi.
  • Appel de fonction : compatibilité native avec l'utilisation d'outils structurés, permettant des workflows agentiques.
  • Codage et raisonnement : capable de générer et de compléter du code, et de suivre un raisonnement logique étape par étape.
  • Multilingue : compatibilité prête à l'emploi avec plus de 35 langues, pré-entraînement sur plus de 140 langues.

Bonnes pratiques

Pour des performances optimales, utilisez les configurations et les bonnes pratiques suivantes :

1. Paramètres d'échantillonnage de diffusion

Utilisez la configuration d'échantillonnage standardisée suivante pour tous les cas d'utilisation :

  • Méthode : échantillonnage de diffusion avec suppression du bruit limitée par l'entropie et arrêt adaptatif.
  • Configuration de l'échantillonnage :
    • Nombre maximal d'étapes de suppression du bruit = 48
    • Planification de la température (pour la mise en forme des logits) : décroissance linéaire de 0,8 à 0,4
    • Sélection des jetons : à chaque étape, l'échantillonneur sélectionne les jetons à entropie la plus faible de sorte que leur limite d'informations mutuelles reste inférieure à la limite d'entropie = 0,1.
    • Réintroduction du bruit dans les jetons : l'échantillonneur réintroduit entièrement le bruit dans les jetons non sélectionnés.
  • Arrêt adaptatif : l'échantillonnage se termine de manière anticipée si et seulement si les deux conditions suivantes sont remplies simultanément :
    • Prédictions fiables : l'entropie moyenne du modèle sur le canevas est inférieure au seuil d'entropie = 0,005
    • Prédictions stables : les prédictions de jetons ayant la probabilité la plus élevée restent identiques sur deux étapes de débruitage consécutives.

2. Configuration du mode Raisonnement

Comme pour les modèles Gemma 4, nous utilisons les rôles standards system, assistant et user. Pour gérer correctement le processus de réflexion, utilisez les jetons de contrôle suivants :

  • Déclencher le raisonnement : le raisonnement est activé en incluant le jeton <|think|> au début du prompt système. Pour désactiver la réflexion, supprimez le jeton (notez qu'un canal de réflexion vide peut toujours être émis).
  • Génération standard : lorsque la réflexion est activée, le modèle affiche son raisonnement interne, suivi de la réponse finale, en utilisant la structure suivante : <|channel>thought\n[Raisonnement interne]<channel|>.
  • Comportement de raisonnement désactivé : si le raisonnement est désactivé, le modèle génère toujours les balises, mais avec un bloc de raisonnement vide : <|channel>thought\n<channel|>[Réponse finale].

Notez que de nombreuses bibliothèques, comme transformers, gèrent pour vous les complexités du modèle de chat.

3. Conversations multitours

  • Pas de contenu de raisonnement dans l'historique : dans les conversations multitours, l'historique des sorties du modèle ne doit inclure que la réponse finale. Les pensées des tours de modèle précédents ne doivent pas être ajoutées avant le début du tour d'utilisateur suivant.

4. Ordre des modalités

  • Pour des performances optimales avec des entrées multimodales, placez le contenu de l'image avant le texte dans votre requête.

5. Résolution d'image variable

Outre les formats variables, DiffusionGemma accepte une résolution d'image variable via un budget de jetons visuels configurable, qui contrôle le nombre de jetons utilisés pour représenter une image. Un budget de jetons plus élevé préserve davantage de détails visuels au détriment d'un calcul supplémentaire, tandis qu'un budget plus faible permet une inférence plus rapide pour les tâches qui ne nécessitent pas une compréhension détaillée.

  • Les budgets de jetons acceptés sont les suivants : 70, 140, 280, 560 et 1120.
    • Utilisez des budgets inférieurs pour la classification, le sous-titrage ou la compréhension vidéo, où l'inférence plus rapide et le traitement de nombreuses images l'emportent sur les détails précis.
    • Utilisez des budgets plus élevés pour des tâches telles que l'OCR, l'analyse de documents ou la lecture de petits textes.

6. Durée de la vidéo

Tous les modèles acceptent les images en entrée et peuvent traiter les vidéos sous forme d'images. La vidéo accepte une durée maximale de 60 secondes, en supposant que les images sont traitées à une fréquence d'une image par seconde.

Données du modèle

Données utilisées pour l'entraînement du modèle et mode de traitement des données.

Ensemble de données d'entraînement

Notre ensemble de données de pré-entraînement est une collection de données diversifiée et à grande échelle, qui englobe un large éventail de domaines et de modalités, y compris des documents Web, du code, des images et de l'audio, avec une date limite fixée à janvier 2025. Voici les principaux composants :

  • Documents Web : une collection diversifiée de textes Web permet d'exposer le modèle à un large éventail de styles linguistiques, de sujets et de vocabulaire. L'ensemble de données d'entraînement inclut du contenu dans plus de 140 langues.
  • Code : l'exposition du modèle au code l'aide à apprendre la syntaxe et les modèles des langages de programmation, ce qui améliore sa capacité à générer du code et à comprendre les questions liées au code.
  • Mathématiques : l'entraînement sur des textes mathématiques aide le modèle à apprendre le raisonnement logique, la représentation symbolique et à répondre aux requêtes mathématiques.
  • Images : un large éventail d'images permet au modèle d'effectuer des tâches d'analyse d'images et d'extraction de données visuelles.

La combinaison de ces différentes sources de données est essentielle pour entraîner un modèle multimodal puissant capable de gérer une grande variété de tâches et de formats de données.

Prétraitement des données

Voici les principales méthodes de nettoyage et de filtrage des données appliquées aux données d'entraînement :

  • Filtrage des contenus d'abus sexuels sur mineurs : un filtrage rigoureux des contenus d'abus sexuels sur mineurs a été appliqué à plusieurs étapes du processus de préparation des données afin d'exclure les contenus nuisibles et illégaux.
  • Filtrage des données sensibles : pour que les modèles pré-entraînés Gemma soient sûrs et fiables, des techniques automatisées ont été utilisées pour filtrer certaines informations personnelles et d'autres données sensibles des ensembles d'entraînement.
  • Méthodes supplémentaires : filtrage basé sur la qualité et la sécurité du contenu conformément à nos règles.

Éthique et sécurité

À mesure que les modèles ouverts deviennent essentiels à l'infrastructure d'entreprise, la provenance et la sécurité sont primordiales. Développé par Google DeepMind, DiffusionGemma est soumis aux mêmes évaluations de sécurité rigoureuses que nos modèles Gemini propriétaires.

Approche d'évaluation

DiffusionGemma a été développé en partenariat avec les équipes internes chargées de la sécurité et de l'IA responsable. Une série d'évaluations automatisées et humaines ont été effectuées pour améliorer la sécurité du modèle. Ces évaluations sont conformes aux principes de Google concernant l'IA, ainsi qu'aux règles de sécurité, qui visent à empêcher nos modèles d'IA générative de générer des contenus nuisibles, y compris :

  • Contenus liés à l'exploitation et aux abus sexuels sur mineurs
  • Contenus dangereux (par exemple, incitant au suicide ou expliquant comment réaliser des activités pouvant causer des dommages réels)
  • Contenu à caractère sexuel explicite
  • Incitation à la haine (par exemple, déshumanisation des membres de groupes protégés)
  • Harcèlement (par exemple, incitation à la violence contre des personnes)

Résultats de l'évaluation

Pour tous les domaines de tests de sécurité, nous avons constaté des améliorations majeures dans toutes les catégories de sécurité du contenu par rapport aux générations précédentes de modèles Gemma. Dans l'ensemble, DiffusionGemma, comme les modèles Gemma 4, surpasse largement les modèles Gemma 3 et 3n en termes d'amélioration de la sécurité, tout en maintenant un faible taux de refus injustifiés. Tous les tests ont été intentionnellement effectués sans filtres de sécurité afin d'évaluer les capacités brutes et les comportements de référence du modèle. Pour les tâches de conversion de texte en texte et d'image en texte, et pour toutes les tailles de modèle, le modèle a généré un nombre minimal de cas de non-respect des règles et a montré des améliorations significatives par rapport aux modèles Gemma précédents.

Utilisation et limites

Ces modèles présentent certaines limites dont les utilisateurs doivent être conscients.

Utilisation prévue

Les modèles multimodaux (capables de traiter la vision, le langage et/ou l'audio) ont un large éventail d'applications dans divers secteurs et domaines. La liste suivante des utilisations potentielles n'est pas exhaustive. Cette liste vise à fournir des informations contextuelles sur les cas d'utilisation possibles que les créateurs du modèle ont pris en compte lors de l'entraînement et du développement du modèle.

  • Création de contenu et communication
    • Génération de texte : génère des formats de texte créatifs tels que des poèmes, des scripts, du code, des textes marketing et des brouillons d'e-mails.
    • Chatbots et IA conversationnelle : alimente les interfaces conversationnelles pour le service client, les assistants virtuels ou les applications interactives.
    • Synthèse de texte : génère des résumés concis d'un corpus textuel, d'articles de recherche ou de rapports.
    • Extraction de données d'image : extrait, interprète et résume les données visuelles pour les communications textuelles.
  • Recherche et éducation
    • Recherche sur le traitement du langage naturel (TLN) et les VLM : sert de base aux chercheurs pour tester les techniques de VLM et de TLN, développer des algorithmes et contribuer à l'avancement du domaine.
    • Outils d'apprentissage des langues : permet des expériences d'apprentissage des langues interactives, en aidant à corriger la grammaire ou en proposant des exercices d'écriture.
    • Exploration des connaissances : aide les chercheurs à explorer de grands volumes de texte en générant des résumés ou en répondant à des questions sur des sujets spécifiques.

Limites

  • Données d'entraînement
    • La qualité et la diversité des données d'entraînement ont une influence significative sur les capacités du modèle. Les biais ou les lacunes dans les données d'entraînement peuvent limiter les réponses du modèle.
    • Le champ d'application de l'ensemble de données d'entraînement détermine les domaines que le modèle peut gérer efficacement.
  • Contexte et complexité de la tâche
    • Le modèle est performant pour les tâches qui peuvent être définies avec des requêtes et des instructions claires. Les tâches ouvertes ou très complexes peuvent être difficiles.
    • Les performances du modèle peuvent être influencées par la quantité de contexte fournie (un contexte plus long conduit généralement à de meilleurs résultats, jusqu'à un certain point).
  • Ambiguïté et nuances du langage
    • Le langage naturel est intrinsèquement complexe. Le modèle peut avoir du mal à saisir les nuances subtiles, le sarcasme ou le langage figuré.
  • Précision factuelle
    • Le modèle génère des réponses en fonction des informations qu'il a apprises à partir de ses ensembles de données d'entraînement, mais il ne s'agit pas de bases de connaissances. Il peut générer des affirmations factuelles incorrectes ou obsolètes.
  • Common Sense
    • Le modèle s'appuie sur des schémas statistiques dans le langage. Il peut ne pas être en mesure d'appliquer un raisonnement de bon sens dans certaines situations.

Considérations éthiques et risques

Lors de la création d'un modèle vision-langage ouvert, nous avons soigneusement pris en compte les éléments suivants :

  • Biais et équité
    • Les VLM entraînés sur des données textuelles et d'images réelles à grande échelle peuvent refléter les biais socioculturels intégrés dans les supports d'entraînement. DiffusionGemma a fait l'objet d'un examen minutieux, d'un prétraitement des données d'entrée et d'évaluations post-entraînement, comme indiqué dans cette fiche, afin d'atténuer le risque de ces biais.
  • Informations incorrectes et utilisation abusive
    • Les VLM peuvent être utilisés de manière abusive pour générer du texte faux, trompeur ou nuisible.
    • Des consignes sont fournies pour une utilisation responsable du modèle. Consultez le kit d'IA générative responsable.
  • Transparence et responsabilité
    • Cette fiche de modèle résume les détails de l'architecture, des capacités, des limites et des processus d'évaluation du modèle.
    • Un modèle ouvert développé de manière responsable permet de partager l'innovation en rendant la technologie VLM accessible aux développeurs et aux chercheurs de l'écosystème de l'IA.

Risques identifiés et stratégies d'atténuation :

  • Génération de contenus nuisibles : il est essentiel de mettre en place des mécanismes et des consignes pour assurer la sécurité des contenus. Nous encourageons les développeurs à faire preuve de prudence et à mettre en œuvre des mesures de protection appropriées pour la sécurité du contenu, en fonction de leurs règles spécifiques concernant les produits et des cas d'utilisation de l'application.
  • Utilisation abusive à des fins malveillantes : les limites techniques et la formation des développeurs et des utilisateurs finaux peuvent aider à limiter les applications malveillantes des VLM. Des ressources éducatives et des mécanismes de signalement permettant aux utilisateurs de signaler une utilisation abusive sont fournis.
  • Atteintes à la vie privée : les modèles ont été entraînés sur des données filtrées pour supprimer certaines informations personnelles et d'autres données sensibles. Les développeurs sont encouragés à respecter les réglementations sur la confidentialité en utilisant des techniques protégeant la confidentialité.
  • Perpétuation des biais : il est recommandé d'effectuer une surveillance continue (à l'aide de métriques d'évaluation et d'une révision humaine) et d'explorer les techniques de suppression des biais lors de l'entraînement, de l'affinage et d'autres cas d'utilisation du modèle.

Avantages

Au moment de sa sortie, il s'agit d'un modèle vision-langage ouvert à faible latence et hautes performances qui constitue une option intéressante pour les développeurs et les personnes intéressées par la recherche sur les modèles de langage de diffusion. Le modèle est conçu dès le départ pour un développement d'IA responsable par rapport aux modèles de taille similaire.