Card de modelo do Gemma 3

Página do modelo: Gemma

Recursos e documentação técnica:

• Relatório técnico do Gemma 3
• Kit de ferramentas de IA generativa responsável
• Gemma no Kaggle
• Gemma no Model Garden da Vertex

Termos de Uso: Termos

Autores: Google DeepMind

Informações do modelo

Descrição resumida e definição breve de entradas e saídas.

Descrição

O Gemma é uma família de modelos abertos leves e de última geração do Google, criados com a mesma pesquisa e tecnologia usadas para criar os modelos do Gemini. Os modelos Gemma 3 são multimodais, processando entradas de texto e imagem e gerando saídas de texto, com pesos abertos para variantes pré-treinadas e ajustadas por instruções. O Gemma 3 tem uma janela de contexto grande de 128K, suporte multilíngue em mais de 140 idiomas e está disponível em mais tamanhos do que as versões anteriores. Os modelos Gemma 3 são adequados para várias tarefas de geração de texto e compreensão de imagens, incluindo resposta a perguntas, resumo e raciocínio. O tamanho relativamente pequeno permite a implantação em ambientes com recursos limitados, como laptops, computadores ou sua própria infraestrutura de nuvem, democratizando o acesso a modelos de IA de última geração e ajudando a promover a inovação para todos.

Entradas e saídas

• Entrada:

  • String de texto, como uma pergunta, um comando ou um documento a ser resumido
  • Imagens normalizadas com resolução de 896 x 896 e codificadas em 256 tokens cada
  • Contexto de entrada total de 128K tokens para os tamanhos 4B, 12B e 27B e 32K tokens para o tamanho 1B

• Saída:

  • Texto gerado em resposta à entrada, como uma resposta a uma pergunta, análise do conteúdo de imagem ou um resumo de um documento
  • Contexto de saída total de até 128 mil tokens para os tamanhos 4B, 12B e 27B, e 32 mil tokens para o tamanho 1B por solicitação, subtraindo os tokens de entrada da solicitação

Citação

@article{gemma_2025,
    title={Gemma 3},
    url={https://arxiv.org/abs/2503.19786},
    publisher={Google DeepMind},
    author={Gemma Team},
    year={2025}
}

Dados do modelo

Dados usados para o treinamento do modelo e como eles foram processados.

Conjunto de dados de treinamento

Esses modelos foram treinados em um conjunto de dados de texto que inclui uma grande variedade de fontes. O modelo de 27 bilhões foi treinado com 14 trilhões de tokens, o modelo de 12 bilhões foi treinado com 12 trilhões de tokens, o modelo de 4 bilhões foi treinado com 4 trilhões de tokens e 1 bilhão com 2 trilhões de tokens. A data de corte do conhecimento para os dados de treinamento foi agosto de 2024. Estes são os principais componentes:

• Documentos da Web: uma coleção diversificada de textos da Web garante que o modelo seja exposto a uma ampla variedade de estilos, tópicos e vocabulário linguísticos. O conjunto de dados de treinamento inclui conteúdo em mais de 140 idiomas.
• Código: expor o modelo ao código ajuda a aprender a sintaxe e os padrões das linguagens de programação, o que melhora a capacidade de gerar código e entender perguntas relacionadas a ele.
• Matemática: o treinamento em texto matemático ajuda o modelo a aprender raciocínio lógico, representação simbólica e a responder a consultas matemáticas.
• Imagens: uma ampla variedade de imagens permite que o modelo realize tarefas de análise de imagens e extração de dados visuais.

A combinação dessas diversas fontes de dados é crucial para treinar um modelo multimodal poderoso que possa lidar com uma ampla variedade de tarefas e formatos de dados.

Pré-processamento de dados

Confira os principais métodos de limpeza e filtragem de dados aplicados aos dados de treinamento:

• Filtragem de CSAM: a filtragem rigorosa de CSAM (material de abuso sexual infantil) foi aplicada em várias etapas do processo de preparação de dados para garantir a exclusão de conteúdo nocivo e ilegal.
• Filtragem de dados sensíveis: como parte do processo de tornar os modelos pré-treinados do Gemma seguros e confiáveis, técnicas automatizadas foram usadas para filtrar determinadas informações pessoais e outros dados sensíveis dos conjuntos de treinamento.
• Outros métodos: filtragem com base na qualidade e na segurança do conteúdo, de acordo com nossas políticas.

Informações de implementação

Detalhes sobre as partes internas do modelo.

Hardware

A Gemma foi treinada usando hardware de Unidade de Processamento de Tensor (TPU) (TPUv4p, TPUv5p e TPUv5e). O treinamento de modelos de visão-linguagem (VLMs) requer uma capacidade computacional significativa. As TPUs, projetadas especificamente para operações de matriz comuns em machine learning, oferecem várias vantagens neste domínio:

• Desempenho: as TPUs são projetadas especificamente para lidar com as computações massivas envolvidas no treinamento de VLMs. Elas podem acelerar o treinamento consideravelmente em comparação com as CPUs.
• Memória: as TPUs geralmente vêm com grandes quantidades de memória de alta largura de banda, permitindo o processamento de modelos e tamanhos de lote grandes durante o treinamento. Isso pode melhorar a qualidade do modelo.
• Escalonabilidade: os pods de TPU (grandes clusters de TPUs) oferecem uma solução escalonável para lidar com a complexidade crescente de grandes modelos de base. É possível distribuir o treinamento em vários dispositivos TPU para um processamento mais rápido e eficiente.
• Custo-benefício: em muitos cenários, as TPUs podem oferecer uma solução mais econômica para treinar modelos grandes em comparação com a infraestrutura baseada em CPU, especialmente considerando o tempo e os recursos economizados devido ao treinamento mais rápido.
• Essas vantagens estão alinhadas aos compromissos do Google de operar de forma sustentável.

Software

O treinamento foi feito usando JAX e ML Pathways.

O JAX permite que os pesquisadores aproveitem a geração mais recente de hardware, incluindo TPUs, para um treinamento mais rápido e eficiente de modelos grandes. Os Programas de treinamento de ML são o esforço mais recente do Google para criar sistemas de inteligência artificial capazes de generalizar várias tarefas. Isso é especialmente adequado para modelos de base, incluindo modelos de linguagem grandes como esses.

Juntos, o JAX e o ML Pathways são usados conforme descrito no artigo sobre a família de modelos Gemini: "o modelo de programação de "controlador único" do Jax e do Pathways permite que um único processo Python orquestre toda a execução de treinamento, simplificando drasticamente o fluxo de trabalho de desenvolvimento".

Avaliação

Métricas e resultados de avaliação do modelo.

Resultados da comparação

Esses modelos foram avaliados em relação a uma grande coleção de diferentes conjuntos de dados e métricas para cobrir diferentes aspectos da geração de texto. Os resultados de avaliação marcados com IT são para modelos ajustados por instrução. Os resultados de avaliação marcados com PT são para modelos pré-treinados.

Raciocínio e veracidade

STEM e código

Multilíngue

Multimodal

Ética e segurança

Abordagem e resultados da avaliação de ética e segurança.

Abordagem de avaliação

Nossos métodos de avaliação incluem avaliações estruturadas e testes internos de equipe vermelha de políticas de conteúdo relevantes. O red-teaming foi conduzido por várias equipes diferentes, cada uma com diferentes metas e métricas de avaliação humana. Esses modelos foram avaliados em relação a várias categorias relevantes para ética e segurança, incluindo:

• Segurança infantil: avaliação de comandos de texto para texto e de imagem para texto que abrangem políticas de segurança infantil, incluindo abuso sexual infantil e exploração.
• Segurança de conteúdo:avaliação de comandos de texto para texto e de imagem para texto que abrangem políticas de segurança, incluindo assédio, violência e gore, e discurso de ódio.
• Prejuízos de representação: avaliação de instruções de texto para texto e de imagem para texto que abrangem políticas de segurança, incluindo viés, estereótipos e associações prejudiciais ou imprecisões.

Além das avaliações de nível de desenvolvimento, realizamos "avaliações de garantia", que são nossas avaliações internas "independentes" para tomada de decisões de governança responsável. Elas são realizadas separadamente da equipe de desenvolvimento do modelo para informar a tomada de decisões sobre o lançamento. As descobertas de alto nível são enviadas de volta à equipe do modelo, mas os conjuntos de comandos são retidos para evitar ajustes excessivos e preservar a capacidade dos resultados de informar a tomada de decisão. Os resultados da avaliação de garantia são informados ao nosso Conselho de Responsabilidade e Segurança como parte da análise de lançamento.

Resultados da avaliação

Em todas as áreas de testes de segurança, observamos grandes melhorias nas categorias de segurança infantil, segurança de conteúdo e danos de representação em relação aos modelos anteriores do Gemma. Todos os testes foram realizados sem filtros de segurança para avaliar os recursos e comportamentos do modelo. Para conversão de texto para texto e de imagem para texto, e em todos os tamanhos de modelo, o modelo produziu violações mínimas da política e mostrou melhorias significativas em relação ao desempenho dos modelos anteriores da Gemma em relação a inferências sem base. Uma limitação das nossas avaliações era que elas incluíam apenas comandos em inglês.

Uso e limitações

Esses modelos têm algumas limitações que os usuários precisam conhecer.

Uso pretendido

Os modelos de visão-linguagem abertos (VLMs) têm uma ampla gama de aplicações em vários setores e domínios. A lista de usos possíveis a seguir não é abrangente. O objetivo desta lista é fornecer informações contextuais sobre os possíveis casos de uso que os criadores de modelos consideraram como parte do treinamento e desenvolvimento do modelo.

• Criação de conteúdo e comunicação
  • Geração de texto: esses modelos podem ser usados para gerar formatos de texto criativo, como poemas, roteiros, código, cópia de marketing e rascunhos de e-mail.
  • Chatbots e IA de conversação: forneça interfaces de conversação para atendimento ao cliente, assistentes virtuais ou aplicativos interativos.
  • Resumo de texto: gere resumos concisos de um corpus de texto, artigos de pesquisa ou relatórios.
  • Extração de dados de imagem: esses modelos podem ser usados para extrair, interpretar e resumir dados visuais para comunicações de texto.
• Pesquisa e educação
  • Processamento de linguagem natural (PLN) e pesquisa de VLM: esses modelos podem servir como base para os pesquisadores experimentarem técnicas de VLM e PLN, desenvolver algoritmos e contribuir para o avanço da área.
  • Ferramentas de aprendizado de idiomas: oferecem suporte a experiências interativas de aprendizado de idiomas, auxiliando na correção gramatical ou oferecendo prática de escrita.
  • Análise de conhecimento: ajuda pesquisadores a analisar grandes corpos de texto gerando resumos ou respondendo a perguntas sobre tópicos específicos.

Limitações

• Dados de treinamento
  • A qualidade e a diversidade dos dados de treinamento influenciam significativamente as capacidades do modelo. Vieses ou lacunas nos dados de treinamento podem levar a limitações nas respostas do modelo.
  • O escopo do conjunto de dados de treinamento determina as áreas de assunto que o modelo pode processar com eficácia.
• Contexto e complexidade da tarefa
  • Os modelos são melhores em tarefas que podem ser enquadradas com instruções e comandos claros. Tarefas abertas ou muito complexas podem ser desafios.
  • O desempenho de um modelo pode ser influenciado pela quantidade de contexto fornecido. Um contexto mais longo geralmente leva a melhores resultados, até certo ponto.
• Ambiguidade e nuances da linguagem
  • A linguagem natural é inerentemente complexa. Os modelos podem ter dificuldade para entender nuances sutis, sarcasmo ou linguagem figurada.
• Precisão factual
  • Os modelos geram respostas com base nas informações que aprenderam nos conjuntos de dados de treinamento, mas não são bases de conhecimento. Eles podem gerar declarações factuais incorretas ou desatualizadas.
• Common Sense
  • Os modelos dependem de padrões estatísticos na linguagem. Eles podem não ter a capacidade de aplicar o raciocínio de bom senso em determinadas situações.

Considerações e riscos éticos

O desenvolvimento de modelos de visão-linguagem (VLMs, na sigla em inglês) levanta várias questões éticas. Ao criar um modelo aberto, consideramos cuidadosamente o seguinte:

• Viés e imparcialidade
  • Os VLMs treinados com dados de texto e imagem reais em grande escala podem refletir vieses socioculturais incorporados no material de treinamento. Esses modelos foram cuidadosamente examinados, o pré-processamento de dados de entrada foi descrito e as avaliações posteriores foram informadas neste card.
• Desinformação e uso indevido
  • Os VLMs podem ser usados indevidamente para gerar textos falsos, enganosos ou nocivos.
  • As diretrizes são fornecidas para uso responsável com o modelo. Consulte o Toolkit para IA generativa responsável.
• Transparência e responsabilidade:
  • Este card de modelo resume detalhes sobre a arquitetura, os recursos, as limitações e os processos de avaliação dos modelos.
  • Um modelo aberto desenvolvido de forma responsável oferece a oportunidade de compartilhar a inovação, tornando a tecnologia VLM acessível a desenvolvedores e pesquisadores em todo o ecossistema de IA.

Riscos identificados e mitigações:

• Perpetuação de vieses: é recomendável realizar um monitoramento contínuo (usando métricas de avaliação, revisão humana) e a exploração de técnicas de eliminação de viés durante o treinamento do modelo, ajuste fino e outros casos de uso.
• Geração de conteúdo nocivo: mecanismos e diretrizes para a segurança do conteúdo são essenciais. Os desenvolvedores são incentivados a ter cuidado e implementar proteções de segurança de conteúdo adequadas com base nas políticas específicas do produto e nos casos de uso do aplicativo.
• Uso indevido para fins maliciosos: limitações técnicas e educação do desenvolvedor e do usuário final podem ajudar a mitigar aplicativos maliciosos de VLMs. Recursos educacionais e mecanismos de denúncia para que os usuários sinalizem uso indevido são fornecidos. Os usos proibidos dos modelos Gemma estão descritos na Política de uso proibido do Gemma.
• Violações de privacidade: os modelos foram treinados com dados filtrados para remoção de determinadas informações pessoais e outros dados sensíveis. Os desenvolvedores são incentivados a aderir aos regulamentos de privacidade com técnicas que preservam a privacidade.

Vantagens

No momento do lançamento, essa família de modelos oferece implementações de modelo de visão e linguagem abertas de alto desempenho projetadas do zero para o desenvolvimento de IA responsável em comparação com modelos de tamanho semelhante.

Usando as métricas de avaliação de comparação descritas neste documento, esses modelos foram superiores a outras alternativas de modelo aberto de tamanho semelhante.