Card de modelo do PaliGemma 2

Página do modelo:PaliGemma

Recursos e documentação técnica:

• PaliGemma 2 no Kaggle
• Kit de ferramentas de IA generativa responsável

Termos de Uso:Termos

Autores:Google

Informações do modelo

Resumo do modelo

O PaliGemma 2 é uma atualização do modelo de linguagem/visão (VLM) PaliGemma, que incorpora os recursos dos modelos Gemma 2. A família de modelos PaliGemma é inspirada no PaLI-3 e baseada em componentes abertos, como o modelo de visão SigLIP e os modelos de linguagem Gemma 2. Ele usa imagens e texto como entrada e gera texto como saída, com suporte a vários idiomas. Ele foi projetado para ajustar o desempenho em uma ampla gama de tarefas de visão e linguagem, como legendas de imagens e vídeos curtos, respostas a perguntas visuais, leitura de texto, detecção e segmentação de objetos.

Arquitetura do modelo

O PaliGemma 2 é a composição de um decodificador de transformador e um codificador de imagem do Vision Transformer. O decodificador de texto é inicializado pelo Gemma 2 nos tamanhos de parâmetro 2B, 9B e 27B. O codificador de imagem é inicializado em SigLIP-So400m/14. Assim como o modelo PaliGemma original, o PaliGemma 2 é treinado seguindo as receitas do PaLI-3.

Entradas e saídas

• Entrada:string de imagem e texto, como um comando para legendar a imagem ou uma pergunta.
• Saída:texto gerado em resposta à entrada, como uma legenda da imagem, uma resposta a uma pergunta, uma lista de coordenadas da caixa delimitadora do objeto ou palavras-código de segmentação.

Citação

@article{
    title={PaliGemma 2: A Family of Versatile VLMs for Transfer},
    author={Andreas Steiner and André Susano Pinto and Michael Tschannen and Daniel Keysers and Xiao Wang and Yonatan Bitton and Alexey Gritsenko and Matthias Minderer and Anthony Sherbondy and Shangbang Long and Siyang Qin and Reeve Ingle and Emanuele Bugliarello and Sahar Kazemzadeh and Thomas Mesnard and Ibrahim Alabdulmohsin and Lucas Beyer and Xiaohua Zhai},
    year={2024},
    journal={arXiv preprint arXiv:2412.03555}
}

Dados do modelo

Conjuntos de dados de pré-treinamento

O PaliGemma 2 é pré-treinado com a seguinte mistura de conjuntos de dados:

• WebLI:WebLI (imagem de linguagem da Web) é um conjunto de dados de texto e imagem multilíngue em escala da Web criado a partir da Web pública. Uma ampla gama de divisões de WebLI é usada para adquirir recursos versáteis do modelo, como compreensão semântica visual, localização de objetos, compreensão de texto situada visualmente e multilinguismo.
• CC3M-35L:pares de imagem-alt_text em inglês selecionados de páginas da Web (Sharma et al., 2018). Usamos a API Google Cloud Translation para traduzir em mais 34 idiomas.
• VQ²A-CC3M-35L/VQG-CC3M-35L::um subconjunto de VQ2A-CC3M (Changpinyo et al., 2022a), traduzido para os mesmos 34 idiomas adicionais do CC3M-35L, usando a API Translation do Google Cloud.
• OpenImages:perguntas e respostas de detecção e detecção de objetos (Piergiovanni et al. 2022) geradas por regras manuais no conjunto de dados OpenImages.
• WIT:imagens e textos coletados do Wikipedia (Srinivasan et al., 2021).

O PaliGemma 2 é baseado no Gemma 2, e você pode encontrar informações sobre os conjuntos de dados de pré-treinamento do Gemma 2 no card de modelo do Gemma 2.

Filtragem de responsabilidade de dados

Os filtros a seguir são aplicados à WebLI, com o objetivo de treinar o PaliGemma 2 com dados seguros e responsáveis:

• Filtragem de imagens pornográficas:esse filtro remove imagens consideradas de natureza pornográfica.
• Filtragem de segurança de texto:identificamos e filtramos imagens que são associadas a texto não seguro. Texto inseguro é qualquer texto considerado como contendo ou sendo sobre imagens de abuso sexual infantil (CSAI), pornografia, vulgaridades ou qualquer outra coisa ofensiva.
• Filtragem de toxicidade de texto:usamos a API Perspective para identificar e filtrar imagens que são associadas a textos considerados ofensivos, obscenos, odiosos ou tóxicos.
• Filtragem de informações pessoais em texto:filtramos determinadas informações pessoais e outros dados sensíveis usando a API Cloud Data Loss Prevention (DLP) para proteger a privacidade das pessoas. Identificadores como CPF ou CNPJ e outros tipos de informações sensíveis foram removidos.
• Outros métodos:filtragem com base na qualidade e segurança do conteúdo, de acordo com nossas políticas e práticas.

Informações de implementação

Hardware

O PaliGemma 2 foi treinado usando a geração mais recente de hardware de Unidade de Processamento de Tensor (TPU, na sigla em inglês) (TPUv5e).

Software

O treinamento foi concluído usando JAX, Flax, TFDS e big_vision.

O JAX permite que os pesquisadores aproveitem a geração mais recente de hardware, incluindo TPUs, para um treinamento mais rápido e eficiente de modelos grandes.

O TFDS é usado para acessar conjuntos de dados, e o Flax é usado para arquitetura de modelos. O código de ajuste fino e de inferência do PaliGemma 2 foi lançado no repositório do GitHub big_vision.

Informações da avaliação

Resultados da comparação

Para verificar a transferibilidade do PaliGemma 2 para uma ampla variedade de tarefas acadêmicas, ajustamos os modelos pré-treinados em cada tarefa. Informamos os resultados em diferentes resoluções para dar uma ideia de quais tarefas se beneficiam do aumento da resolução. É importante ressaltar que nenhuma dessas tarefas ou conjuntos de dados faz parte da mistura de dados de pré-treinamento, e as imagens são removidas explicitamente dos dados de pré-treinamento em escala da Web.

Resultados do PaliGemma 2 por resolução e tamanho do modelo

Outros comparativos de mercado

ICDAR 2015 Incidental

Total-Text

FinTabNet

PubTabNet

GrandStaff

PubChem

• PaliGemma 2 3B, correspondência total: 94,8

DOCCI

• avg#char: número médio de caracteres
• avg#sent: número médio de frases
• NES: frases sem implicação

MIMIC-CXR

Raciocínio espacial visual

Ética e segurança

Abordagem de avaliação

Nossos métodos de avaliação incluem avaliações estruturadas de ética e segurança em todas as políticas de conteúdo relevantes, incluindo:

• Avaliação humana de instruções sobre segurança infantil, segurança de conteúdo e danos de representação. Consulte o card de modelo do Gemma para mais detalhes sobre a abordagem de avaliação, mas com configurações de legendas de imagem e resposta visual a perguntas.
• Avaliação de comparativo de mercado de imagem para texto: comparativo de mercado com conjuntos de dados acadêmicos relevantes, como o FairFace Dataset (Karkkainen et al., 2021).

Resultados da avaliação

• Os resultados da avaliação humana de ética e segurança estão dentro dos limites aceitáveis para atender às políticas internas em categorias como segurança infantil, segurança de conteúdo e danos de representação.
• Além de avaliações internas robustas, também usamos a API Perspective (limite de 0, 8) para medir toxicidade, linguagem obscena e outros possíveis problemas nas legendas geradas para imagens do conjunto de dados do FairFace. Informamos os valores máximos e medianos observados nos subgrupos para cada um dos atributos de gênero, etnia e idade percebidos.

Uso e limitações

Uso pretendido

Os modelos de linguagem visual abertos (VLMs) têm uma ampla gama de aplicações em vários setores e domínios. A lista de usos possíveis a seguir não é completa. O objetivo desta lista é fornecer informações contextuais sobre os possíveis casos de uso que os criadores de modelos consideraram como parte do treinamento e desenvolvimento do modelo. Os usos proibidos dos modelos Gemma estão descritos na Política de uso proibido do Gemma.

Ajustar a tarefa de linguagem de visão específica:

• Os modelos pré-treinados podem ser ajustados em uma ampla gama de tarefas de visão e linguagem, como: legendagem de imagens, legendas de vídeos curtos, resposta a perguntas visuais, leitura de texto, detecção e segmentação de objetos.
• Os modelos pré-treinados podem ser ajustados para domínios específicos, como resposta a perguntas de sensores remotos, perguntas visuais de pessoas com deficiência visual, resposta a perguntas de ciências e descrição de funcionalidades de elementos da interface.
• Os modelos pré-treinados podem ser ajustados para tarefas com saídas não textuais, como caixas delimitadoras ou máscaras de segmentação.

Pesquisa de linguagem visual:

• Os modelos pré-treinados e ajustados podem servir de base para que os pesquisadores testem técnicas de VLM, desenvolvam algoritmos e contribuam para o avanço da área.

Considerações éticas e riscos

O desenvolvimento de modelos de visão-linguagem (VLMs, na sigla em inglês) levanta várias questões éticas. Ao criar um modelo aberto, consideramos cuidadosamente o seguinte:

• Viés e imparcialidade
  • Os VLMs treinados com dados de texto e imagem reais em grande escala podem refletir vieses socioculturais incorporados no material de treinamento. Esses modelos foram cuidadosamente examinados, o pré-processamento de dados de entrada foi descrito e as avaliações posteriores foram informadas neste card.
• Desinformação e uso indevido
  • Os VLMs podem ser usados indevidamente para gerar textos falsos, enganosos ou prejudiciais.
  • As diretrizes são fornecidas para uso responsável com o modelo. Consulte o Toolkit para IA generativa responsável.
• Transparência e responsabilidade
  • Este card de modelo resume detalhes sobre a arquitetura, os recursos, as limitações e os processos de avaliação dos modelos.
  • Um modelo aberto desenvolvido de forma responsável oferece a oportunidade de compartilhar inovação, tornando a tecnologia VLM acessível a desenvolvedores e pesquisadores em todo o ecossistema de IA.

Riscos identificados e mitigações:

• Perpetuação de vieses:é recomendável realizar um monitoramento contínuo (usando métricas de avaliação, revisão humana) e a exploração de técnicas de eliminação de viés durante o treinamento do modelo, ajuste fino e outros casos de uso.
• Geração de conteúdo nocivo:mecanismos e diretrizes para a segurança do conteúdo são essenciais. Recomendamos que os desenvolvedores tenham cuidado e implementem as salvaguardas de segurança de conteúdo adequadas com base nas políticas específicas do produto e nos casos de uso do aplicativo.
• Uso indevido para fins maliciosos:limitações técnicas e treinamentos para desenvolvedores e usuários finais podem ajudar a mitigar aplicativos maliciosos de LLMs. Recursos educacionais e mecanismos de denúncia para que os usuários denunciem o uso indevido são fornecidos: consulte o Toolkit para IA generativa responsável. Os usos proibidos dos modelos Gemma estão descritos na Política de uso proibido do Gemma.
• Violações de privacidade:os modelos foram treinados com dados filtrados para remover certas informações pessoais e dados sensíveis. Os desenvolvedores são incentivados a aderir às regulamentações de privacidade com técnicas que preservam a privacidade.

Limitações

• A maioria das limitações herdadas dos modelos subjacentes do Gemma 2 ainda se aplica:
  • Os VLMs são melhores em tarefas que podem ser enquadradas com instruções e comandos claros. Tarefas abertas ou muito complexas podem ser desafiadoras.
  • A linguagem natural é inerentemente complexa. Os VLMs podem ter dificuldade para entender nuances sutis, sarcasmo ou linguagem figurada.
  • Os VLMs geram respostas com base nas informações que aprenderam com os conjuntos de dados de treinamento, mas não são bases de conhecimento. Eles podem gerar declarações factuais incorretas ou desatualizadas.
  • Os VLMs dependem de padrões estatísticos na linguagem e nas imagens. Eles podem não ter a capacidade de aplicar o raciocínio de bom senso em determinadas situações.
• O PaliGemma 2 foi projetado principalmente para servir como um modelo pré-treinado geral para ajuste fino de tarefas especializadas. Portanto, a performance "fora da caixa" ou "zero-shot" pode ficar para trás em relação aos modelos projetados especificamente para uso geral.
• O PaliGemma 2 não é um chatbot de vários turnos. Ele foi projetado para uma única rodada de entrada de imagem e texto.