Ficha del modelo DiffusionGemma

Hugging Face | GitHub | Blog de lanzamiento | Documentación
Licencia: Apache 2.0 | Autores: Google DeepMind

DiffusionGemma es un modelo generativo creado por Google DeepMind. Basado en la arquitectura de Gemma 4 de mezcla de expertos (MoE) de A4B de 26B, DiffusionGemma genera tokens con difusión discreta. Este modelo de pesos abiertos es multimodal y controla entradas de texto, imágenes y video para generar salidas de texto.

DiffusionGemma se basa en una base de MoE y está diseñado para mejorar la velocidad de generación (tokens por segundo) y, al mismo tiempo, se puede implementar en varios entornos de hardware. DiffusionGemma se basa en los avances arquitectónicos y de capacidad de Gemma 4, y presenta varias funciones principales:

  • Difusión de texto discreto: Cambia de la autorregresión token por token al muestreo de varios lienzos autorregresivo por bloques. Genera texto eliminando el ruido de forma iterativa en bloques de tokens (un "lienzo") en paralelo, lo que aumenta significativamente la velocidad de decodificación.
  • Procesamiento de entradas multimodales: Procesa entradas de texto, imágenes (con compatibilidad con resolución y relación de aspecto variables) y videos intercalados para generar salidas de texto.
  • Arquitectura de codificador-decodificador: Utiliza un codificador autorregresivo para procesar y almacenar en caché el contexto de la instrucción, junto con un decodificador que aplica atención bidireccional sobre el lienzo de generación.
  • Eficiencia de la mezcla de expertos (MoE): Aprovecha un diseño de MoE disperso (8 expertos activos de un total de 128) para proporcionar capacidades de razonamiento sólidas y, al mismo tiempo, mantener un espacio en memoria bajo adecuado para la ejecución local.
  • Modo de pensamiento (razonamiento): Se diseñó como un razonador de alta capacidad, con modos de pensamiento configurables.
  • Optimizado para la inferencia de lotes pequeños: Se diseñó específicamente para la generación de baja latencia y alta velocidad en un solo acelerador capaz.
  • Compatibilidad con instrucciones del sistema nativas: Al igual que con Gemma 4, admite la actualización del rol system, lo que permite conversaciones más estructuradas y controlables.

Descripción general del modelo

DiffusionGemma está diseñado para reducir los cuellos de botella secuenciales de los modelos de lenguaje causales estándar. Emplea una arquitectura de codificador-decodificador optimizada específicamente para la velocidad de inferencia.

El codificador opera en una capacidad de precompletado, procesa la instrucción inicial y genera la caché de KV. Luego, el decodificador utiliza la atención bidireccional para procesar un bloque de entrada (un "lienzo") de tokens y acceder al contexto almacenado en caché a través de la atención cruzada.

Durante la inferencia, DiffusionGemma aprovecha el muestreo de varios lienzos. En lugar de generar un token a la vez, el modelo elimina el ruido de un bloque completo de tokens de forma iterativa con un muestreador de difusión. Una vez que se elimina por completo el ruido de un lienzo, el codificador lo procesa y lo agrega a la caché de KV, después de lo cual el modelo genera el siguiente lienzo. Este enfoque autorregresivo por bloques facilita la generación de texto a velocidades más altas.

DiffusionGemma

Propiedad DiffusionGemma 26B A4B
Total de parámetros 25,200 millones
Parámetros activos 3,800 millones
Capas 30
Ventana variable 1024 tokens
Longitud de contexto Hasta 256,000 tokens
Longitud del lienzo 256
Tamaño del vocabulario 262,000
Recuento de expertos 8 activas/128 en total y 1 compartida
Modalidades compatibles Texto, imagen
Parámetros del codificador de visión ~550 millones

Resultados de comparativas

Estos modelos se evaluaron con una gran colección de diferentes conjuntos de datos y métricas para abarcar diferentes aspectos de la generación de texto. Los resultados de la evaluación marcados en la tabla corresponden a modelos ajustados por instrucciones, con el muestreador de límite de entropía (EB) recomendado (consulta las Prácticas recomendadas a continuación).

Comparativa DiffusionGemma 26B A4B Gemma 4 26B A4B
MMLU Pro 77.6% 82.6%
AIME 2026 sin herramientas 69.1% 88.3%
LiveCodeBench v6 69.1% 77.1%
ELO de Codeforces 1429 1718
GPQA Diamond 73,2% 82.3%
Tau2 (promedio de 3) 56.2% 68.2%
HLE no tools 11.0% 8.7%
HLE con la búsqueda 11.9% 17.2%
BigBench Extra Hard 47.6% 64.8%
MMMLU 81.5% 86.3%
Visión
MMMU Pro 54.3% 73.8%
OmniDocBench 1.5 (distancia de edición promedio, cuanto más baja, mejor) 0.319 0.149
MATH-Vision 70.5% 82.4%
MedXPertQA MM 49.0% 58.1%
Contexto ampliado
MRCR v2 8 needle 128k (promedio) 32% 44.1%

Funciones principales

DiffusionGemma controla una amplia variedad de tareas de texto y visión. Estas son algunas de las funciones clave:

  • Generación de alta velocidad: La eliminación de ruido paralela de 256 tokens a través del muestreo de difusión logra una latencia baja, ya que genera entre 15 y 20 tokens por pase hacia adelante, lo que desbloquea velocidades de generación por usuario que superan los 1,100 tokens por segundo en parámetros de configuración de tamaño de lote bajo (H100, FP8).
  • Cálculo adaptativo del tiempo de inferencia: Las instrucciones más sencillas y las tareas estructuradas, como el código, requieren menos pasos de eliminación de ruido, lo que permite velocidades dinámicas de tokens por segundo según la complejidad de la tarea.
  • Pensar: Es un modo de razonamiento integrado que permite que el modelo piense paso a paso antes de responder.
  • Contexto largo: Ventanas de contexto de hasta 256,000 tokens.
  • Comprensión de imágenes: Detección de objetos, análisis de documentos y archivos PDF, comprensión de pantallas y IU, comprensión de gráficos, OCR (incluido el multilingüe), reconocimiento de escritura a mano y señalamiento. Las imágenes se pueden procesar con relaciones de aspecto y resoluciones variables.
  • Comprensión de videos: Analiza y describe el contenido de video procesando secuencias de fotogramas.
  • Entrada multimodal intercalada: Mezcla imágenes, videos y texto en una sola instrucción para un razonamiento con mucho contexto.
  • Llamada a funciones: Es la compatibilidad nativa con el uso de herramientas estructuradas, lo que habilita los flujos de trabajo de agentes.
  • Programación y razonamiento: Capaz de generar y completar código, y de realizar razonamientos lógicos paso a paso.
  • Multilingüe: Compatibilidad inmediata con más de 35 idiomas, entrenado previamente en más de 140 idiomas.

Prácticas recomendadas

Para obtener el mejor rendimiento, usa estos parámetros de configuración y prácticas recomendadas:

1. Configuración del muestreo de difusión

Usa la siguiente configuración de muestreo estandarizada en todos los casos de uso:

  • Método: Muestreo de difusión con reducción de ruido limitada por entropía y detención adaptativa.
  • Configuración del muestreo:
    • Cantidad máxima de pasos de reducción de ruido = 48
    • Programa de temperatura (para la conformación de logits): Decaimiento lineal de 0.8 → 0.4
    • Selección de tokens: En cada paso, el muestreador selecciona los tokens con la entropía más baja, de modo que su límite de información mutua se mantenga por debajo del límite de entropía = 0.1
    • Agregado de ruido a los tokens: El muestreador agrega ruido por completo a los tokens no seleccionados.
  • Detención adaptable: El muestreo finaliza antes de tiempo si se cumplen las siguientes dos condiciones de forma simultánea:
    • Predicciones confiables: La entropía promedio del modelo en el lienzo es inferior al umbral de entropía = 0.005
    • Predicciones estables: Las predicciones de tokens con la probabilidad más alta siguen siendo idénticas en dos pasos de eliminación de ruido consecutivos.

2. Configuración del modo de pensamiento

Al igual que con los modelos de Gemma 4, usamos los roles estándar system, assistant y user. Para administrar correctamente el proceso de pensamiento, usa los siguientes tokens de control:

  • Activa el pensamiento: El pensamiento se habilita incluyendo el token <|think|> al comienzo de la instrucción del sistema. Para inhabilitar el pensamiento, quita el token (ten en cuenta que es posible que se emita un canal de pensamiento vacío).
  • Generación estándar: Cuando el pensamiento está habilitado, el modelo generará su razonamiento interno seguido de la respuesta final con esta estructura: <|channel>thought\n[Razonamiento interno]<channel|>.
  • Comportamiento de pensamiento inhabilitado: Si el pensamiento está inhabilitado, el modelo seguirá generando las etiquetas, pero con un bloque de pensamiento vacío: <|channel>thought\n<channel|>[Respuesta final].

Ten en cuenta que muchas bibliotecas, como transformers, controlan las complejidades de la plantilla de chat por ti.

3. Conversaciones de varios turnos

  • No hay contenido de razonamiento en el historial: En las conversaciones de varios turnos, el resultado del modelo histórico solo debe incluir la respuesta final. Los pensamientos de los turnos anteriores del modelo no se deben agregar antes de que comience el siguiente turno del usuario.

4. Orden de las modalidades

  • Para obtener un rendimiento óptimo con entradas multimodales, coloca el contenido de la imagen antes del texto en la instrucción.

5. Resolución de imagen variable

Además de las relaciones de aspecto variables, DiffusionGemma admite una resolución de imagen variable a través de un presupuesto de tokens visuales configurable, que controla cuántos tokens se usan para representar una imagen. Un presupuesto de tokens más alto conserva más detalles visuales a costa de un procesamiento adicional, mientras que un presupuesto más bajo permite una inferencia más rápida para tareas que no requieren una comprensión detallada.

  • Los presupuestos de tokens admitidos son los siguientes: 70, 140, 280, 560 y 1120.
    • Usa presupuestos más bajos para la clasificación, los subtítulos o la comprensión de videos, en los que la inferencia más rápida y el procesamiento de muchos fotogramas superan los detalles detallados.
    • Usa presupuestos más altos para tareas como OCR, análisis de documentos o lectura de texto pequeño.

6. Duración del video

Todos los modelos admiten entradas de imágenes y pueden procesar videos como fotogramas. El video admite un máximo de 60 segundos, suponiendo que las imágenes se procesen a un fotograma por segundo.

Datos del modelo

Los datos que se usaron para entrenar el modelo y cómo se procesaron.

Conjunto de datos de entrenamiento

Nuestro conjunto de datos de entrenamiento previo es una colección de datos diversa y a gran escala que abarca una amplia gama de dominios y modalidades, que incluye documentos web, código, imágenes y audio, con una fecha límite de enero de 2025. Estos son los componentes clave:

  • Documentos web: Una colección diversa de texto web garantiza que el modelo esté expuesto a una amplia variedad de estilos lingüísticos, temas y vocabulario. El conjunto de datos de entrenamiento incluye contenido en más de 140 idiomas.
  • Código: Exponer el modelo al código lo ayuda a aprender la sintaxis y los patrones de los lenguajes de programación, lo que mejora su capacidad para generar código y comprender las preguntas relacionadas con el código.
  • Matemáticas: El entrenamiento con texto matemático ayuda al modelo a aprender el razonamiento lógico, la representación simbólica y a abordar las consultas matemáticas.
  • Imágenes: Una amplia variedad de imágenes permite que el modelo realice tareas de análisis de imágenes y extracción de datos visuales.

La combinación de estas diversas fuentes de datos es fundamental para entrenar un modelo multimodal potente que pueda controlar una amplia variedad de tareas y formatos de datos diferentes.

Procesamiento previo de datos

Estos son los métodos clave de limpieza y filtrado de datos que se aplican a los datos de entrenamiento:

  • Filtrado de CSAM: Se aplicó un filtrado riguroso de CSAM (material de abuso sexual infantil) en varias etapas del proceso de preparación de datos para garantizar la exclusión de contenido dañino e ilegal.
  • Filtrado de datos sensibles: Como parte de la iniciativa para que los modelos entrenados previamente de Gemma sean seguros y confiables, se usaron técnicas automatizadas para filtrar cierta información personal y otros datos sensibles de los conjuntos de entrenamiento.
  • Métodos adicionales: Filtrado según la calidad y la seguridad del contenido de acuerdo con nuestras políticas.

Ética y seguridad

A medida que los modelos abiertos se vuelven fundamentales para la infraestructura empresarial, la procedencia y la seguridad son primordiales. DiffusionGemma, desarrollado por Google DeepMind, se somete a las mismas evaluaciones de seguridad rigurosas que nuestros modelos de Gemini de propiedad exclusiva.

Enfoque de la evaluación

DiffusionGemma se desarrolló en asociación con equipos internos de seguridad y de IA responsable. Se realizaron evaluaciones automáticas y humanas para mejorar la seguridad del modelo. Estas evaluaciones se alinean con los principios de la IA de Google, así como con las políticas de seguridad, que tienen como objetivo evitar que nuestros modelos de IA generativa generen contenido dañino, incluido lo siguiente:

  • Contenido relacionado con material de abuso sexual infantil y explotación
  • Contenido peligroso (p.ej., que fomente el suicidio o que brinde instrucciones para realizar actividades que podrían causar daños en el mundo real)
  • Contenido sexual explícito
  • Incitación al odio o a la violencia (p.ej., deshumanizar a miembros de grupos protegidos)
  • Hostigamiento (p.ej., incitar a la violencia contra las personas)

Resultados de la evaluación

En todas las áreas de pruebas de seguridad, observamos mejoras importantes en todas las categorías de seguridad del contenido en comparación con las generaciones anteriores de modelos de Gemma. En general, DiffusionGemma, al igual que los modelos de Gemma 4, supera significativamente a los modelos de Gemma 3 y 3n en cuanto a la mejora de la seguridad, a la vez que mantiene bajas las denegaciones injustificadas. Todas las pruebas se realizaron de forma intencional sin filtros de seguridad para evaluar las capacidades sin procesar y los comportamientos de referencia del modelo. Tanto para texto a texto como para imagen a texto, y en todos los tamaños de modelo, el modelo produjo incumplimientos de política mínimos y mostró mejoras significativas en comparación con los modelos de Gemma anteriores.

Uso y limitaciones

Estos modelos tienen ciertas limitaciones que los usuarios deben tener en cuenta.

Uso previsto

Los modelos multimodales (capaces de procesar visión, lenguaje o audio) tienen una amplia gama de aplicaciones en varias industrias y dominios. La siguiente lista de usos potenciales no es exhaustiva. El propósito de esta lista es proporcionar información contextual sobre los posibles casos de uso que los creadores del modelo consideraron como parte del entrenamiento y desarrollo del modelo.

  • Creación de contenido y comunicación
    • Generación de texto: Genera formatos de texto creativos, como poemas, guiones, código, textos de marketing y borradores de correos electrónicos.
    • Chatbots y IA conversacional: Potencia las interfaces conversacionales para la atención al cliente, los asistentes virtuales o las aplicaciones interactivas.
    • Resumen de texto: Genera resúmenes concisos de un corpus lingüístico, artículos de investigación o informes.
    • Extracción de datos de imágenes: Extrae, interpreta y resume datos visuales para comunicaciones de texto.
  • Investigación y educación
    • Investigación de procesamiento de lenguaje natural (PLN) y VLM: Sirve como base para que los investigadores experimenten con técnicas de VLM y PLN, desarrollen algoritmos y contribuyan al avance del campo.
    • Herramientas de aprendizaje de idiomas: Admite experiencias interactivas de aprendizaje de idiomas, ayuda con la corrección gramatical o proporciona práctica de escritura.
    • Exploración de conocimientos: Ayuda a los investigadores a explorar grandes volúmenes de texto generando resúmenes o respondiendo preguntas sobre temas específicos.

Limitaciones

  • Datos de Entrenamiento
    • La calidad y la diversidad de los datos de entrenamiento influyen de forma significativa en las capacidades del modelo. Los sesgos o las lagunas en los datos de entrenamiento pueden generar limitaciones en las respuestas del modelo.
    • El alcance del conjunto de datos de entrenamiento determina las áreas temáticas que el modelo puede manejar de forma eficaz.
  • Contexto y complejidad de la tarea
    • El modelo tiene un buen rendimiento en tareas que se pueden enmarcar con instrucciones y mensajes claros. Las tareas abiertas o muy complejas pueden ser difíciles.
    • El rendimiento del modelo puede verse influenciado por la cantidad de contexto proporcionado (un contexto más largo suele generar mejores resultados, hasta cierto punto).
  • Ambigüedad y matices del lenguaje
    • El lenguaje natural es inherentemente complejo. Es posible que el modelo tenga dificultades para comprender matices sutiles, sarcasmo o lenguaje figurativo.
  • Precisión fáctica
    • El modelo genera respuestas basadas en la información que aprendió de sus conjuntos de datos de entrenamiento, pero no son bases de conocimiento. Puede generar declaraciones fácticas incorrectas o desactualizadas.
  • Common Sense
    • El modelo se basa en patrones estadísticos del lenguaje. Es posible que no tenga la capacidad de aplicar el razonamiento de sentido común en ciertas situaciones.

Consideraciones y riesgos éticos

Cuando creamos un modelo de lenguaje visual abierto, consideramos cuidadosamente lo siguiente:

  • Sesgo y equidad
    • Los VLM entrenados con datos de texto e imágenes del mundo real a gran escala pueden reflejar sesgos socioculturales incorporados en el material de entrenamiento. DiffusionGemma se sometió a un análisis minucioso, un procesamiento previo de los datos de entrada y evaluaciones posteriores al entrenamiento, como se indica en esta tarjeta, para ayudar a mitigar el riesgo de estos sesgos.
  • Información errónea y uso inadecuado
  • Transparencia y responsabilidad
    • En esta tarjeta de modelo, se resumen los detalles sobre la arquitectura, las capacidades, las limitaciones y los procesos de evaluación del modelo.
    • Un modelo abierto desarrollado de forma responsable ofrece la oportunidad de compartir la innovación, ya que hace que la tecnología de VLM sea accesible para los desarrolladores y los investigadores de todo el ecosistema de IA.

Riesgos identificados y mitigaciones:

  • Generación de contenido dañino: Los mecanismos y los lineamientos para la seguridad del contenido son esenciales. Se recomienda a los desarrolladores que tengan cuidado y que implementen protecciones de seguridad de contenido adecuadas según sus políticas de productos y casos de uso de aplicaciones específicos.
  • Uso inadecuado con fines maliciosos: Las limitaciones técnicas y la educación de los desarrolladores y usuarios finales pueden ayudar a mitigar las aplicaciones maliciosas de los VLM. Se proporcionan recursos educativos y mecanismos de denuncia para que los usuarios marquen el uso inadecuado.
  • Incumplimientos de la privacidad: Los modelos se entrenaron con datos filtrados para quitar cierta información personal y otros datos sensibles. Se recomienda a los desarrolladores que cumplan con las reglamentaciones de privacidad con técnicas que preserven la privacidad.
  • Perpetuación de sesgos: Se recomienda realizar una supervisión continua (con métricas de evaluación y revisión humana) y explorar técnicas de eliminación de sesgos durante el entrenamiento, el ajuste fino y otros casos de uso del modelo.

Beneficios

En el momento del lanzamiento, este es un modelo de lenguaje visual abierto de baja latencia y alto rendimiento que proporciona una opción atractiva para los desarrolladores y las personas interesadas en investigar modelos de lenguaje de difusión. El modelo se diseñó desde cero para el desarrollo de IA responsable en comparación con modelos de tamaño similar.