Página de modelo: Gemma
Recursos e documentação técnica:
Termos de Uso: Termos
Autores: Google
Informações do modelo
Descrição resumida e definição breve de entradas e saídas.
Descrição
O Gemma é uma família de modelos abertos, leves e de última geração do Google, criados com a mesma pesquisa e tecnologia usada para criar os modelos do Gemini. Eles são modelos de linguagem grande para texto, somente decodificadores, disponíveis em inglês, com pesos abertos, variantes pré-treinadas e variantes ajustadas por instruções. Gemma modelos são adequados para diversas tarefas de geração de texto, incluindo a resposta a perguntas, o resumo e o raciocínio. Seu tamanho relativamente pequeno possibilita implantá-los em ambientes com recursos limitados, como um laptop, desktop ou sua própria infraestrutura em nuvem, democratizando o acesso a modelos de IA de última geração e ajudando a promover a inovação para todos.
Entradas e saídas
- Entrada:string de texto, como uma pergunta, um comando ou um documento a ser resumido.
- Saída: texto gerado em inglês em resposta à entrada, como como uma resposta a uma pergunta ou o resumo de um documento.
Citação
@article{gemma_2024,
title={Gemma},
url={https://www.kaggle.com/m/3301},
DOI={10.34740/KAGGLE/M/3301},
publisher={Kaggle},
author={Gemma Team, Thomas Mesnard and Cassidy Hardin and Robert Dadashi and Surya Bhupatiraju and Laurent Sifre and Morgane Rivière and Mihir Sanjay Kale and Juliette Love and Pouya Tafti and Léonard Hussenot and et al.},
year={2024}
}
Dados do modelo
Dados usados para treinamento de modelo e como os dados foram processados.
Conjunto de dados de treinamento
Esses modelos foram treinados em um conjunto de dados de texto que inclui uma ampla variedade de fontes, totalizando 6 trilhões de tokens. Estes são os principais componentes:
- Documentos da Web: uma coleção diversificada de textos da Web garante que o modelo seja exposto uma ampla gama de estilos, tópicos e vocabulário linguísticos. Principalmente Conteúdo em inglês.
- Codificar: expor o modelo ao código o ajuda a aprender a sintaxe e os padrões de linguagens de programação, o que melhora sua capacidade de gerar código ou compreender questões relacionadas ao código.
- Matemática: treinar com um texto matemático ajuda o modelo a aprender lógica raciocínio, representação simbólica e lidar com consultas matemáticas.
A combinação dessas diversas fontes de dados é crucial para treinar um analista de linguagem natural capaz de lidar com uma ampla variedade de tarefas e textos formatos.
Pré-processamento de dados
Estes são os principais métodos de limpeza e filtragem de dados aplicados ao treinamento dados:
- Filtragem de material de abuso sexual infantil: a filtragem rigorosa de material de abuso sexual infantil era aplicadas em vários estágios do processo de preparação de dados para garantir exclusão de conteúdo nocivo e ilegal.
- Filtragem de dados sensíveis: como parte do processo de tornar os modelos pré-treinados do Gemma seguros e automatizadas e confiáveis foram usadas para filtrar determinados e outros dados sensíveis dos conjuntos de treinamento.
- Métodos adicionais: filtragem com base na qualidade e segurança do conteúdo de acordo com nossas políticas.
Informações de implementação
Detalhes sobre os componentes internos do modelo.
Hardware
O Gemma foi treinado usando a geração mais recente de Hardware de Unidade de Processamento de Tensor (TPU) (TPUv5e).
O treinamento de modelos de linguagem grandes requer uma capacidade computacional significativa. TPUs projetada especificamente para operações matriciais comuns de machine learning, oferece diversas vantagens nesse domínio:
- Desempenho: as TPUs são projetadas especificamente para lidar com grandes cálculos de treinar LLMs. Eles podem acelerar o treinamento consideravelmente em comparação com e CPUs.
- Memória: TPUs costumam vir com grandes quantidades de memória de alta largura de banda, permitindo para lidar com modelos grandes e tamanhos de lote durante o treinamento. Isso pode melhorar a qualidade dos modelos.
- Escalonabilidade: os pods de TPU (grandes clusters de TPUs) oferecem uma solução escalonável para lidando com a complexidade cada vez maior de modelos de fundação grandes. É possível distribuir treinamento em vários dispositivos TPU para tornar o processamento mais rápido e eficiente.
- Relação custo-benefício: em muitos cenários, as TPUs podem fornecer um sistema mais para treinar modelos grandes em comparação com infraestruturas baseadas em CPU, especialmente ao considerar o tempo e os recursos economizados devido à treinamento.
- Essas vantagens estão alinhadas com Compromissos do Google de operar de maneira sustentável.
Software
O treinamento foi feito usando o JAX e os caminhos do ML.
Com o JAX, os pesquisadores podem aproveitar a geração mais recente de hardware, incluindo TPUs, para um treinamento mais rápido e eficiente de modelos grandes.
O ML Pathways é a iniciativa mais recente do Google para criar sistemas com inteligência artificial que pode ser generalizada em várias tarefas. Isso é especialmente adequado para modelos de fundação, incluindo modelos de linguagem grandes, como estes.
Juntos, o JAX e os caminhos de ML são usados conforme descrito nas artigo sobre a família de modelos Gemini; "o single controlador de programação do Jax e Pathways permite um único Python para orquestrar toda a execução de treinamento, simplificando drasticamente de desenvolvimento de software".
Avaliação
Métricas e resultados de avaliação de modelos.
Resultados do comparativo de mercado
Esses modelos foram avaliados em relação a uma grande coleção de diferentes conjuntos de dados e métricas para abranger diferentes aspectos da geração de textos:
| Benchmark | Métrica | Gemma PT 2B | Gemma PT 7B |
|---|---|---|---|
| MMLU | 5 tiros, top-1 | 42,3 | 64,3 |
| HellaSwag | 0 tacada | 71,4 | 81,2 |
| PIQA | 0 tacada | 77,3 | 81,2 |
| SocialIQA | 0 tacada | 49,7 | 51,8 |
| BoolQ | 0 tacada | 69,4 | 83,2 |
| WinoGrande | pontuação parcial | 65,4 | 72,3 |
| CommonsenseQA | 7 tiros | 65,3 | 71,3 |
| OpenBookQA | 47,8 | 52,8 | |
| ARC-e | 73,2 | 81,5 | |
| ARC-c | 42,1 | 53.2 | |
| TriviaQA | 5 tiros | 53.2 | 63,4 |
| Perguntas naturais | 5 tiros | 12,5 | 23,0 |
| HumanEval | passa@1 | 22,0 | 32,3 |
| MBPP | 3 fotos | 29,2 | 44,4 |
| GSM8K (link em inglês) | maj@1 | 17,7 | 46,4 |
| MATH | 4 fotos | 11.8 | 24,3 |
| AGIEval | 24,2 | 41,7 | |
| BIG-Bench (link em inglês) | 35,2 | 55.1 | |
| Na média | 44,9 | 56,4 |
Ética e Segurança
Abordagem e resultados da avaliação de ética e segurança.
Abordagem de avaliação
Nossos métodos de avaliação incluem avaliações estruturadas e equipe vermelha interna testes de políticas de conteúdo relevantes. A equipe vermelha foi conduzida por vários equipes diferentes, cada uma com metas e métricas de avaliação humana diferentes. Esses modelos foram avaliados em relação a várias categorias diferentes ética e segurança, incluindo:
- Segurança de conteúdo de texto para texto: avaliação humana em comandos que cobrem a segurança políticas, incluindo abuso e exploração sexual infantil, assédio e violência. imagens sangrentas e discurso de ódio.
- Danos representacionais de texto para texto: comparação com trabalhos acadêmicos relevantes conjuntos de dados, como WinoBias e BBQ Dataset.
- Memorização: avaliação automatizada da memorização dos dados de treinamento, incluindo o risco de exposição de informações de identificação pessoal.
- Danos em grande escala: testes para "capacidades perigosas", como produtos químicos, riscos biológicos, radiológicos e nucleares (CBRN).
Resultados da avaliação
Os resultados das avaliações de ética e segurança estão dentro dos limites aceitáveis atender a políticas internas para categorias como segurança do conteúdo, danos à representação, memorização, danos em grande escala. Além de avaliações internas robustas, os resultados de práticas de segurança conhecidas comparativos de mercado como churrasco, BOLD, Winogender, Winobias, RealToxicity e TruthfulQA são mostradas aqui.
Gemma 1.0
| Benchmark | Métrica | Gemma 1.0 IT 2B | Gemma 1.0 IT 7B |
|---|---|---|---|
| RealToxicity | média | 6,86 | 7,90 |
| BOLD | 45,57 | 49,08 | |
| CrowS-Pairs | top-1 | 45,82 | 51,33 |
| Churrasco Ambig | 1-shot, top-1 | 62,58 | 92,54 |
| Churrasco | top-1 | 54,62 | 71,99 |
| Winogender (link em inglês) | top-1 | 51,25 | 54,17 |
| TruthfulQA | 44,84 | 31,81 | |
| Winobias 1_2 (link em inglês) | 56,12 | 59,09 | |
| Winobias 2_2 (link em inglês) | 91,10 | 92,23 | |
| Toxigen | 29,77 | 39,59 |
Gemma 1.1
| Benchmark | Métrica | Gemma 1.1 IT 2B | Gemma 1.1 IT 7B |
|---|---|---|---|
| RealToxicity | média | 7,03 | 8,04 |
| BOLD | 47,76 | ||
| CrowS-Pairs | top-1 | 45,89 | 49,67 |
| Churrasco Ambig | 1-shot, top-1 | 58,97 | 86,06 |
| Churrasco | top-1 | 53,90 | 85,08 |
| Winogender (link em inglês) | top-1 | 50,14 | 57,64 |
| TruthfulQA | 44,24 | 45,34 | |
| Winobias 1_2 (link em inglês) | 55,93 | 59,22 | |
| Winobias 2_2 (link em inglês) | 89,46 | 89,2 | |
| Toxigen | 29,64 | 38,75 |
Uso e limitações
Esses modelos têm certas limitações que os usuários precisam estar cientes.
Uso pretendido
Os modelos de linguagem grandes (LLMs) abertos têm uma ampla variedade de em vários setores e domínios. A lista de possíveis usos a seguir não está abrangente. O objetivo dessa lista é fornecer informações contextuais sobre os possíveis casos de uso que os criadores de modelos consideraram treinamento e desenvolvimento.
- Criação e comunicação de conteúdo
- Geração de texto: esses modelos podem ser usados para gerar formatos de texto de criativos como poemas, scripts, códigos, textos de marketing e rascunhos de e-mails.
- Chatbots e IA de conversação: potencialize as interfaces de conversa para o cliente assistentes virtuais ou aplicativos interativos.
- Resumo de texto: gere resumos concisos de um corpus de texto, pesquisa documentos ou relatórios.
- Pesquisa e educação
- Pesquisa de processamento de linguagem natural (PLN): esses modelos podem servir como base para que pesquisadores experimentem técnicas de PLN, desenvolvam algoritmos e contribuem para o avanço da área.
- Ferramentas de aprendizado de idiomas: oferecem suporte a experiências interativas de aprendizado de idiomas, auxiliar na correção gramatical ou prática de escrita.
- Exploração do conhecimento: ajude pesquisadores na exploração de grandes corpos de texto gerando resumos ou respondendo a perguntas sobre tópicos específicos.
Limitações
- Dados de treinamento
- A qualidade e a diversidade dos dados de treinamento influenciam significativamente os recursos do modelo. Vieses ou lacunas nos dados de treinamento podem levar a limitações nas respostas do modelo.
- O escopo do conjunto de dados de treinamento determina as áreas temáticas que o modelo pode e lidar com isso de forma eficaz.
- Contexto e complexidade das tarefas
- Os LLMs são melhores em tarefas que podem ser estruturadas com comandos claros e instruções. Tarefas abertas ou altamente complexas podem ser desafiadoras.
- O desempenho de um modelo pode ser influenciado pela quantidade de contexto fornecida (um contexto mais longo geralmente leva a melhores saídas até um certo ponto).
- Ambiguidade e nuance da linguagem
- A linguagem natural é inerentemente complexa. pode ser difícil entender LLMs sutis nuances, sarcasmo ou linguagem figurada.
- Acurácia dos fatos
- Os LLMs geram respostas com base nas informações que aprenderam com os conjuntos de dados de treinamento, mas não são bases de conhecimento. Eles podem gerar declarações factuais incorretas ou desatualizadas.
- Comum
- Os LLMs dependem de padrões estatísticos na linguagem. Eles podem não ter a capacidade aplicar o raciocínio de bom senso em determinadas situações.
Considerações éticas e riscos
O desenvolvimento de modelos de linguagem grandes (LLMs) desperta várias questões éticas. Ao criar um modelo aberto, consideramos cuidadosamente o seguinte:
- Viés e imparcialidade
- LLMs treinados com dados de texto do mundo real em grande escala podem refletir os vieses incorporados ao material de treinamento. Esses modelos foram submetidos a cuidados escrutínio, pré-processamento de dados de entrada descrito e avaliações posteriores informadas neste card.
- Desinformação e uso indevido
- Os LLMs podem ser usados indevidamente para gerar texto falso, enganoso ou nocivo.
- as diretrizes são fornecidas para uso responsável com o modelo, consulte a Kit de ferramentas de IA generativa responsável.
- Transparência e responsabilidade:
- Este card de modelo resume os detalhes da arquitetura capacidades, limitações e processos de avaliação.
- Um modelo aberto e desenvolvido de forma responsável oferece a oportunidade de compartilhar inovação tornando a tecnologia LLM acessível a desenvolvedores e pesquisadores em todo o ecossistema de IA.
Riscos identificados e mitigações:
- Perpetuação de vieses: é incentivado a realização de monitoramento contínuo (usando métricas de avaliação, revisão humana) e a análise de desigualdade técnicas durante o treinamento de modelos, o ajuste fino e outros casos de uso.
- Geração de conteúdo nocivo: mecanismos e diretrizes para segurança de conteúdo são essenciais. Os desenvolvedores são incentivados a ter cautela e implementar salvaguardas previstas de segurança de conteúdo com base nas políticas de produtos específicas e casos de uso de aplicativos.
- Uso indevido para fins maliciosos: limitações técnicas e o a educação do usuário final pode ajudar a mitigar aplicativos maliciosos de LLMs. Existem recursos educacionais e mecanismos de denúncia para os usuários sinalizarem uso indevido fornecidas. Os usos proibidos dos modelos Gemma estão descritos na Política de uso proibido do Gemma.
- Violações de privacidade: os modelos foram treinados com dados filtrados para remoção de PII. (Informações de Identificação Pessoal). Os desenvolvedores são incentivados a seguir regulamentações de privacidade com técnicas que preservam a privacidade.
Vantagens
No momento do lançamento, essa família de modelos oferece alto desempenho grandes implementações de modelos de linguagem projetadas do zero para desenvolvimento de IA em comparação com modelos de tamanhos semelhantes.
Usando as métricas de avaliação de comparativo de mercado descritas neste documento, esses modelos mostraram oferecer desempenho superior a outros modelos abertos de tamanho comparável alternativas.