Card de modelo do DiffusionGemma

Hugging Face | GitHub | Blog de lançamento | Documentação
Licença: Apache 2.0 | Autores: Google DeepMind

O DiffusionGemma é um modelo generativo criado pelo Google DeepMind. Com base na arquitetura do Gemma 4 de Mix de Especialistas (MoE) A4B de 26B, o DiffusionGemma gera tokens usando difusão discreta. Esse modelo de pesos abertos é multimodal, processando entradas de texto, imagem e vídeo para gerar saídas de texto.

Criado com base em uma MoE, o DiffusionGemma foi projetado para melhorar a velocidade de geração (tokens por segundo) e, ao mesmo tempo, permanecer implantável em vários ambientes de hardware. O DiffusionGemma se baseia nos avanços de arquitetura e capacidade do Gemma 4, introduzindo vários recursos principais:

  • Difusão de texto discreto: muda da autorregressão token por token para a amostragem de várias telas autorregressiva em bloco. Ele gera texto removendo o ruído de blocos de tokens (uma "tela") em paralelo, o que aumenta significativamente a velocidade de decodificação.
  • Processamento de entrada multimodal: processa entradas de texto, imagem (com suporte a proporção e resolução variáveis) e vídeo intercaladas para gerar saídas de texto.
  • Arquitetura de codificador-decodificador: usa um codificador autorregressivo para processar e armazenar em cache o contexto do comando, combinado com um decodificador que aplica atenção bidirecional sobre a tela de geração.
  • Eficiência do Mix de Especialistas (MoE): usa um design de MoE esparso (8 especialistas ativos de um total de 128) para oferecer recursos de raciocínio avançados, mantendo um baixo consumo de memória adequado para execução local.
  • Modo de pensamento (raciocínio): projetado como um raciocinador altamente capaz, com modos de pensamento configuráveis.
  • Otimizado para inferência de tamanho de lote pequeno: projetado especificamente para geração de baixa latência e alta velocidade em um único acelerador capaz.
  • Suporte nativo a comandos do sistema: assim como o Gemma 4, ele permite atualizar o papel system, possibilitando conversas mais estruturadas e controláveis.

Visão geral do modelo

O DiffusionGemma foi projetado para reduzir os gargalos sequenciais dos modelos de linguagem causais padrão. Ele usa uma arquitetura de codificador-decodificador otimizada especificamente para velocidade de inferência.

O codificador opera em uma capacidade de preenchimento, processando o comando inicial e gerando o cache de KV. Em seguida, o decodificador usa a atenção bidirecional para processar um bloco de entrada (uma "tela") de tokens, acessando o contexto armazenado em cache por meio da atenção cruzada.

Durante a inferência, o DiffusionGemma usa a amostragem de várias telas. Em vez de gerar um token por vez, o modelo remove o ruído de um bloco inteiro de tokens de forma iterativa usando um amostrador de difusão. Depois que uma tela é totalmente limpa, ela é processada pelo codificador e anexada ao cache de KV. Em seguida, o modelo gera a próxima tela. Essa abordagem de bloco autorregressivo facilita a geração de texto em velocidades mais altas.

DiffusionGemma

Propriedade DiffusionGemma 26B A4B
Total de parâmetros 25,2 bilhões
Parâmetros ativos 3,8 bilhões
Camadas 30
Janela deslizante 1.024 tokens
Tamanho do contexto Até 256 mil tokens
Comprimento da tela 256
Tamanho do vocabulário 262 mil
Contagem de especialistas 8 ativos / 128 no total e 1 compartilhado
Modalidades compatíveis Texto, imagem
Parâmetros do codificador de visão ~550 milhões

Resultados do benchmark

Esses modelos foram avaliados em uma grande coleção de diferentes conjuntos de dados e métricas para abranger diferentes aspectos da geração de texto. Os resultados da avaliação marcados na tabela são para modelos ajustados por instruções, com o amostrador de limite de entropia (EB, na sigla em inglês) recomendado (consulte as práticas recomendadas abaixo).

Comparativo de mercado DiffusionGemma 26B A4B Gemma 4 26B A4B
MMLU Pro 77,6% 82,6%
AIME 2026 sem ferramentas 69,1% 88,3%
LiveCodeBench v6 69,1% 77,1%
ELO do Codeforces 1429 1718
GPQA Diamond 73,2% 82,3%
Tau2 (média acima de 3) 56,2% 68,2%
HLE sem ferramentas 11,0% 8,7%
HLE com pesquisa 11,9% 17,2%
BigBench Extra Hard 47,6% 64,8%
MMMLU 81,5% 86,3%
Visão
MMMU Pro 54,3% 73,8%
OmniDocBench 1.5 (distância de edição média, quanto menor, melhor) 0,319 0,149
MATH-Vision 70,5% 82,4%
MedXPertQA MM 49,0% 58,1%
Contexto longo
MRCR v2 8 needle 128k (média) 32,0% 44,1%

Recursos principais

O DiffusionGemma lida com uma ampla variedade de tarefas de texto e visão. Os principais recursos incluem:

  • Geração de alta velocidade: a remoção de ruído paralela de 256 tokens por amostragem de difusão alcança baixa latência gerando de 15 a 20 tokens por passagem direta, desbloqueando velocidades de geração por usuário que excedem 1.100 tokens por segundo em configurações de tamanho de lote baixo (H100, FP8).
  • Cálculo de tempo de inferência adaptável: comandos mais simples e tarefas estruturadas, como código, exigem menos etapas de remoção de ruído, permitindo velocidades dinâmicas de tokens por segundo com base na complexidade da tarefa.
  • Raciocínio: modo de raciocínio integrado que permite que o modelo pense passo a passo antes de responder.
  • Contexto longo: janelas de contexto de até 256 mil tokens.
  • Compreensão de imagens: detecção de objetos, análise de documentos/PDFs, compreensão de telas e interfaces, compreensão de gráficos, OCR (incluindo multilíngue), reconhecimento de escrita à mão e apontamento. As imagens podem ser processadas em proporções e resoluções variáveis.
  • Compreensão de vídeo: analisa e descreve o conteúdo de vídeo processando sequências de frames.
  • Entrada multimodal intercalada: misture imagens, vídeos e textos em um único comando para raciocínio com contexto pesado.
  • Chamada de função: suporte nativo para o uso de ferramentas estruturadas, permitindo Agentic Workflows.
  • Programação e raciocínio: capaz de gerar e completar códigos, além de fazer raciocínios lógicos detalhados.
  • Multilíngue: suporte pronto para mais de 35 idiomas, pré-treinado em mais de 140 idiomas.

Práticas recomendadas

Para melhorar o desempenho, use estas configurações e práticas recomendadas:

1. Configurações de amostragem de difusão

Use a seguinte configuração de amostragem padronizada em todos os casos de uso:

  • Método: amostragem de difusão com remoção de ruído limitada por entropia e parada adaptativa.
  • Configuração de amostragem:
    • Número máximo de etapas de remoção de ruído = 48
    • Programação de temperatura (para modelagem de logit): decaimento linear de 0,8 → 0,4
    • Seleção de tokens: em cada etapa, o amostrador seleciona os tokens de menor entropia, de modo que o limite de informações mútuas permaneça abaixo do limite de entropia = 0,1.
    • Remoção de ruído de tokens: o amostrador remove totalmente o ruído dos tokens não selecionados.
  • Parada adaptativa: a amostragem é encerrada antecipadamente se e somente se as duas condições a seguir forem atendidas simultaneamente:
    • Previsões confiáveis: a entropia média do modelo na tela está abaixo do limite de entropia = 0,005
    • Previsões estáveis: as previsões de token de maior probabilidade permanecem idênticas em duas etapas consecutivas de remoção de ruído.

2. Configuração do Modo de Raciocínio

Assim como nos modelos do Gemma 4, usamos os papéis padrão system, assistant e user. Para gerenciar o processo de pensamento, use os seguintes tokens de controle:

  • Ativar o raciocínio: o raciocínio é ativado ao incluir o token <|think|> no início do comando do sistema. Para desativar o pensamento, remova o token (um canal de pensamento vazio ainda pode ser emitido).
  • Geração padrão: quando o pensamento está ativado, o modelo gera o raciocínio interno seguido pela resposta final usando esta estrutura: <|channel>thought\n[Raciocínio interno]<channel|>.
  • Comportamento de raciocínio desativado: se o raciocínio estiver desativado, o modelo ainda vai gerar as tags, mas com um bloco de pensamento vazio: <|channel>thought\n<channel|>[Resposta final].

Muitas bibliotecas, como transformers, lidam com as complexidades do modelo de chat para você.

3. Conversas multiturno

  • Sem conteúdo de raciocínio no histórico: em conversas multiturno, a saída do modelo histórico deve incluir apenas a resposta final. As reflexões de turnos anteriores do modelo não podem ser adicionadas antes do início do próximo turno do usuário.

4. Ordem de modalidade

  • Para otimizar o desempenho com entradas multimodais, coloque o conteúdo da imagem antes do texto no comando.

5. Resolução de imagem variável

Além das proporções variáveis, o DiffusionGemma oferece suporte a resoluções de imagem variáveis por meio de um orçamento de tokens visuais configurável, que controla quantos tokens são usados para representar uma imagem. Um orçamento de tokens maior preserva mais detalhes visuais ao custo de computação adicional, enquanto um orçamento menor permite inferência mais rápida para tarefas que não exigem compreensão detalhada.

  • As cotas de token aceitas são: 70, 140, 280, 560 e 1120.
    • Use orçamentos menores para classificação, legendagem ou compreensão de vídeo, em que a inferência mais rápida e o processamento de muitos frames superam os detalhes refinados.
    • Use orçamentos mais altos para tarefas como OCR, análise de documentos ou leitura de textos pequenos.

6. Duração do vídeo

Todos os modelos aceitam entradas de imagem e podem processar vídeos como frames. O vídeo aceita um máximo de 60 segundos, supondo que as imagens sejam processadas a um quadro por segundo.

Dados do modelo

Dados usados para o treinamento do modelo e como eles foram processados.

Conjunto de dados de treinamento

Nosso conjunto de dados de pré-treinamento é uma coleção de dados em grande escala e diversificada, que abrange uma ampla variedade de domínios e modalidades, incluindo documentos da Web, códigos, imagens e áudios, com data limite de janeiro de 2025. Estes são os principais componentes:

  • Documentos da Web: uma coleção diversificada de textos da Web garante que o modelo seja exposto a uma ampla variedade de estilos linguísticos, tópicos e vocabulário. O conjunto de dados de treinamento inclui conteúdo em mais de 140 idiomas.
  • Código: expor o modelo ao código ajuda a aprender a sintaxe e os padrões das linguagens de programação, o que melhora a capacidade de gerar código e entender perguntas relacionadas a código.
  • Matemática: o treinamento com textos matemáticos ajuda o modelo a aprender raciocínio lógico, representação simbólica e a responder a consultas matemáticas.
  • Imagens: uma ampla variedade de imagens permite que o modelo realize tarefas de análise de imagens e extração de dados visuais.

A combinação dessas diversas fontes de dados é crucial para treinar um modelo multimodal poderoso que possa lidar com uma ampla variedade de tarefas e formatos de dados diferentes.

Pré-processamento de dados

Confira os principais métodos de limpeza e filtragem de dados aplicados aos dados de treinamento:

  • Filtragem de CSAM: uma filtragem rigorosa de CSAM (material de abuso sexual infantil) foi aplicada em várias etapas do processo de preparação de dados para garantir a exclusão de conteúdo nocivo e ilegal.
  • Filtragem de dados sensíveis: para tornar os modelos pré-treinados do Gemma seguros e confiáveis, técnicas automatizadas foram usadas para filtrar determinadas informações pessoais e outros dados sensíveis dos conjuntos de treinamento.
  • Outros métodos: filtragem com base na qualidade e segurança do conteúdo, de acordo com nossas políticas.

Ética e segurança

À medida que os modelos abertos se tornam centrais para a infraestrutura empresarial, a procedência e a segurança são fundamentais. Desenvolvido pelo Google DeepMind, o DiffusionGemma passa pelas mesmas avaliações de segurança rigorosas que nossos modelos do Gemini reservados.

Abordagem de avaliação

O DiffusionGemma foi desenvolvido em parceria com equipes internas de segurança e IA responsável. Uma série de avaliações automatizadas e humanas foram realizadas para ajudar a melhorar a segurança do modelo. Essas avaliações estão alinhadas com os princípios de IA do Google, bem como com as políticas de segurança, que visam impedir que nossos modelos de IA generativa criem conteúdo nocivo, incluindo:

  • Conteúdo relacionado a material de abuso sexual infantil e exploração
  • Conteúdo perigoso (por exemplo, que promova o suicídio ou instrua sobre atividades que possam causar danos reais)
  • Conteúdo sexualmente explícito
  • Discurso de ódio (por exemplo, desumanização de membros de grupos protegidos)
  • Assédio (por exemplo, incentivar a violência contra pessoas)

Resultados da avaliação

Em todas as áreas de testes de segurança, observamos melhorias significativas em todas as categorias de segurança de conteúdo em relação às gerações anteriores de modelos do Gemma. No geral, o DiffusionGemma, assim como os modelos Gemma 4, supera significativamente os modelos Gemma 3 e 3n em termos de segurança, mantendo as recusas injustificadas em um nível baixo. Todos os testes foram realizados intencionalmente sem filtros de segurança para avaliar as capacidades brutas e os comportamentos de referência do modelo. Para texto para texto e imagem para texto, e em todos os tamanhos de modelo, o modelo produziu violações mínimas de política e mostrou melhorias significativas em relação aos modelos Gemma anteriores.

Uso e limitações

Esses modelos têm algumas limitações que os usuários precisam conhecer.

Uso pretendido

Os modelos multimodais (capazes de processar visão, linguagem e/ou áudio) têm uma ampla gama de aplicações em vários setores e domínios. A lista a seguir de possíveis usos não é completa. O objetivo dessa lista é fornecer informações contextuais sobre os possíveis casos de uso que os criadores do modelo consideraram como parte do treinamento e desenvolvimento do modelo.

  • Criação de conteúdo e comunicação
    • Geração de texto: gera formatos de texto criativos, como poemas, scripts, códigos, textos de marketing e rascunhos de e-mail.
    • Chatbots e IA de conversação: potencializa interfaces de conversação para atendimento ao cliente, assistentes virtuais ou aplicativos interativos.
    • Resumo de texto: gera resumos concisos de um corpus de texto, artigos de pesquisa ou relatórios.
    • Extração de dados de imagem: extrai, interpreta e resume dados visuais para comunicações de texto.
  • Pesquisa e educação
    • Processamento de linguagem natural (PLN) e pesquisa de VLM: serve como base para que os pesquisadores testem técnicas de VLM e PLN, desenvolvam algoritmos e contribuam para o avanço do campo.
    • Ferramentas de aprendizado de idiomas: oferece suporte a experiências interativas de aprendizado de idiomas, ajudando na correção gramatical ou oferecendo prática de escrita.
    • Exploração de conhecimento: ajuda os pesquisadores a explorar grandes volumes de texto gerando resumos ou respondendo a perguntas sobre tópicos específicos.

Limitações

  • Dados de Treinamento
    • A qualidade e a diversidade dos dados de treinamento influenciam significativamente as capacidades do modelo. Vieses ou lacunas nos dados de treinamento podem levar a limitações nas respostas do modelo.
    • O escopo do conjunto de dados de treinamento determina as áreas temáticas que o modelo pode processar de maneira eficaz.
  • Contexto e complexidade da tarefa
    • O modelo tem um bom desempenho em tarefas que podem ser estruturadas com comandos e instruções claros. Tarefas abertas ou muito complexas podem ser desafiadoras.
    • O desempenho do modelo pode ser influenciado pela quantidade de contexto fornecida (um contexto mais longo geralmente leva a melhores resultados, até um determinado ponto).
  • Ambiguidade e nuances de linguagem
    • A linguagem natural é inerentemente complexa. O modelo pode ter dificuldade para entender nuances sutis, sarcasmo ou linguagem figurada.
  • Precisão factual
    • O modelo gera respostas com base nas informações que aprendeu com os conjuntos de dados de treinamento, mas não são bases de conhecimento. Ela pode gerar declarações factuais incorretas ou desatualizadas.
  • Common Sense
    • O modelo se baseia em padrões estatísticos na linguagem. Ele pode não ter a capacidade de aplicar o raciocínio de bom senso em determinadas situações.

Considerações éticas e riscos

Ao criar um modelo de linguagem de visão aberto, consideramos cuidadosamente o seguinte:

  • Viés e imparcialidade
    • Os VLMs treinados com dados de texto e imagem do mundo real em grande escala podem refletir vieses socioculturais incorporados ao material de treinamento. O DiffusionGemma passou por um escrutínio cuidadoso, pré-processamento de dados de entrada e avaliações pós-treinamento, conforme relatado neste card, para ajudar a reduzir o risco desses vieses.
  • Desinformação e uso indevido
  • Transparência e responsabilidade
    • Este card de modelo resume detalhes sobre a arquitetura, os recursos, as limitações e os processos de avaliação do modelo.
    • Um modelo aberto desenvolvido de forma responsável oferece a oportunidade de compartilhar inovação, tornando a tecnologia de VLM acessível a desenvolvedores e pesquisadores em todo o ecossistema de IA.

Riscos identificados e mitigações:

  • Geração de conteúdo nocivo: mecanismos e diretrizes para a segurança de conteúdo são essenciais. Os desenvolvedores devem ter cautela e implementar salvaguardas de segurança de conteúdo adequadas com base nas políticas de produtos específicas e nos casos de uso do aplicativo.
  • Uso indevido para fins maliciosos: limitações técnicas e educação de desenvolvedores e usuários finais podem ajudar a mitigar aplicações maliciosas de VLMs. Recursos educacionais e mecanismos de denúncia para que os usuários sinalizem o uso indevido são fornecidos.
  • Violações de privacidade: os modelos foram treinados com dados filtrados para remoção de determinadas informações pessoais e outros dados sensíveis. Os desenvolvedores são incentivados a aderir aos regulamentos de privacidade com técnicas que preservam a privacidade.
  • Perpetuação de vieses: é recomendável realizar o monitoramento contínuo (usando métricas de avaliação, revisão humana) e a exploração de técnicas de eliminação de vieses durante o treinamento, o ajuste e outros casos de uso do modelo.

Benefícios

No momento do lançamento, esse é um modelo de linguagem de visão aberto de baixa latência e alto desempenho que oferece uma opção atraente para desenvolvedores e interessados em pesquisar modelos de linguagem de difusão. O modelo foi projetado do zero para o desenvolvimento de IA responsável em comparação com modelos de tamanho semelhante.