Hugging Face |
GitHub |
Blog de lançamento |
Documentação | Relatório técnico
Licença: Apache 2.0 | Autores: Google DeepMind
O EmbeddingGemma 2 é um modelo de embedding multimodal aberto criado pelo Google DeepMind que mapeia entradas de texto (incluindo código), imagens, vídeo e áudio, além de combinações delas, em um único espaço vetorial unificado de 768 dimensões. O modelo tem 740 milhões de parâmetros no total, combinando um modelo de texto de 270 milhões de parâmetros com codificadores modulares de visão (170 milhões) e áudio (300 milhões).
Projetado para ser executado em hardware de consumo, como dispositivos móveis e laptops, o EmbeddingGemma 2 oferece representações semânticas de baixa latência para aplicativos no dispositivo, como pesquisa, geração aumentada por recuperação (RAG), classificação e clustering.
O EmbeddingGemma 2 se baseia nos avanços de arquitetura e capacidade do Gemma 4, oferecendo vários recursos principais:
- Multimodalidade nativa: unifica quatro modalidades (texto, imagens, vídeo e áudio) em um único espaço de embedding compartilhado de 768 dimensões.
- Multilinguismo e código: o EmbeddingGemma 2 entende mais de 100 idiomas e alcança uma melhoria de aproximadamente 14% em tarefas de código em relação ao antecessor.
- Pegada flexível: combina um backbone de texto de 270 milhões de parâmetros (130 milhões de transformadores + 140 milhões de incorporadores) com codificadores de visão (170 milhões) e áudio (300 milhões) que podem ser carregados seletivamente, permitindo que os desenvolvedores carreguem apenas as modalidades necessárias para o caso de uso.
- Aprendizado de representações de Matryoshka (MRL, na sigla em inglês): suporte nativo para embeddings truncados em 128d, 256d, 512d e 768d, permitindo uma redução de até 6 vezes nos custos de armazenamento de vetores com impacto mínimo na qualidade.
- Tamanho do contexto: janela de contexto de 8 mil tokens, capaz de processar minutos de áudio ou vídeo.
- Representações orientadas por tarefas: usa prefixos de instrução de texto leves para otimizar embeddings para diferentes tarefas (pesquisa, classificação, clustering, similaridade semântica etc.).
Visão geral do modelo
| Parâmetros | Total | 740 milhões |
|---|---|---|
| Backbone | 130 MI | |
| Embedder | 140 milhões | |
| Codificadores de modalidade | Visão: 170 milhões Áudio: 300 milhões | |
| Arquitetura | Camadas | 24 |
| Dimensão do modelo | 512 | |
| Dimensão oculta | 2048 | |
| Janela deslizante | 1.024 tokens | |
| Tamanho do vocabulário | 262.144 | |
| # Heads | 4 | |
| # KV-Heads (Local/Global) | 1/2 | |
| Local:Global | 5:1 | |
| Atenção | GQA/MQA | |
| Ativação | FFN restrita com GELU | |
| Pooling | Pooling médio | |
| Camada de projeção | 512→768 | |
| Entrada/saída | Modalidades compatíveis | Texto, imagens, vídeo, áudio |
| Janela de contexto | 8.192 tokens | |
| Dimensão de saída nativa | 768 | |
| Dimensões de truncamento de MRL | 128, 256, 512 |
Resultados do benchmark
O EmbeddingGemma 2 foi avaliado em comparativos de mercado de embeddings de texto, código, visão, documentos visuais, vídeo e áudio. Todos os resultados informados abaixo usam o checkpoint de precisão total.
Resultados gerais da avaliação (768d)
| Modalidade | Comparativo de mercado | Métrica | EmbeddingGemma 2 | EmbeddingGemma 1 |
|---|---|---|---|---|
| Texto | Massive Text Embedding Benchmark (MTEB, multilíngue, v2) | Média(tarefa), múltipla | 61,36 | 61.15 |
| Massive Text Embedding Benchmark (MTEB, código, v1) | Média(tarefa), NDCG@10 | 78,68 | 68,76 | |
| Imagem | Massive Image Embedding Benchmark (MIEB, lite) | Mean(TaskType), Multiple | 65,67 | - |
| Massive Multimodal Embedding Benchmark (MMEB v2 - Image) | Média(tarefa), Hit@1 | 57,28 | - | |
| Massive Multimodal Embedding Benchmark (MMEB v2 - VisDoc) | Média(tarefa), NDCG@5 | 67,84 | - | |
| Vídeo | Massive Multimodal Embedding Benchmark (MMEB v2 - Vídeo) | Média(tarefa), Hit@1 | 50,67 | - |
| Áudio | Massive Sound Embedding Benchmark (MSEB, recuperação) | Média(tarefa), MRR@10 | 69,54 | - |
| Massive Audio Embedding Benchmark (MAEB) no Hugging Face | Média(tarefa), múltipla | 49,87 | - |
Resultados da avaliação com truncamento de vetor
Com o MRL, as representações do EmbeddingGemma 2 podem ser truncadas abaixo das representações nativas de 768d para 128d, 256d e 512d e renormalizadas. Com isso, os usuários do modelo podem reduzir os requisitos de armazenamento, com impacto mínimo na qualidade até 256d. O 128d é mais adequado para cargas de trabalho somente de texto.
| Dimensão de saída | Taxa de compactação | MTEB (multilíngue, v2) Mean(Task) | MTEB (eng, v2) Mean(Task) | MTEB (código, v1) Mean(Task) | MIEB (lite) Mean(TaskType) | MMEB (v2) Geral | MSEB (Retrieval) Mean(Task) | MAEB Mean(Task) |
|---|---|---|---|---|---|---|---|---|
| 768d (completo) | 1:1 | 61,36 | 68,46 | 78,68 | 65,67 | 59,01 | 69,54 | 49,87 |
| 512d | 1:1.5 | 61,17 | 68,41 | 77,24 | 65,34 | 58,38 | 69.18 | 49,76 |
| 256d | 1:3 | 60,41 | 67,78 | 76.18 | 64.16 | 56,24 | 66,76 | 49,13 |
| 128d | 1:6 | 57,89 | 65,68 | 71.41 | 59,97 | 45,65 | 56.71 | 47,28 |
Início rápido
Instale a biblioteca sentence-transformers:
pip install -U sentence-transformers transformers
Gere embeddings de texto: ```python from sentence_transformers import SentenceTransformer
model = SentenceTransformer("google/embeddinggemma-2")
query = "What causes the northern lights?" document = "The northern lights are caused by charged particles from the sun."
query_emb = model.encode(query, prompt_name="SearchQuery") doc_emb = model.encode(document, prompt_name="Document") print(model.similarity(query_emb, doc_emb)) ```
Práticas recomendadas
Para otimizar a qualidade do embedding e a eficiência do ambiente de execução, siga estas configurações e práticas recomendadas:
1. Prefixos de instruções de tarefas
O EmbeddingGemma 2 é treinado com prefixos de instrução de tarefas curtas adicionados às entradas de texto. Usar o prefixo certo melhora a qualidade. Omiti-lo ainda funciona, mas reduz a precisão. Os prefixos se aplicam apenas ao texto. Transmita imagens, vídeos e áudios sem nenhum prefixo.
Os documentos com um título real precisam ser formatados como title: {title} | text: {content}. Use title: none quando nenhum título estiver disponível.
Notação e uso de prefixos
Oferecemos dois tipos de prefixos de tarefa, dependendo de como os embeddings são usados na tarefa. Há dois tipos de tarefas:
- Tarefas assimétricas (por exemplo, recuperação): use um prefixo de consulta para consultas e um prefixo de documento para itens de corpus.
- Tarefas simétricas (por exemplo, classificação, similaridade): aplique o mesmo prefixo de tarefa a todas as entradas que estão sendo comparadas.
| Caso de uso | Tipo de tarefa | Nome do comando | Instrução da tarefa de consulta | Instrução da tarefa do documento (use none se não houver título) |
|---|---|---|---|---|
| Pesquisa na Web / de documentos | Assimétrica | SearchQuery | task: search result | query: {query} |
title: {title} | text: {content} |
| Respostas a perguntas | Assimétrica | QuestionAnswering | task: question answering | query: {question} |
title: {title} | text: {passage} |
| Checagem de fatos | Assimétrica | FactChecking | task: fact checking | query: {claim} |
title: {title} | text: {evidence} |
| Code Search | Assimétrica | CodeRetrieval | task: code retrieval | query: {query} |
title: {title or filename} | text: {code} |
| Classificação de texto | Simétrica | Classificação | task: classification | query: {content} |
N/A |
| Clustering | Simétrica | Clustering | task: clustering | query: {content} |
N/A |
| Como medir a similaridade | Simétrica | SentenceSimilarity | task: sentence similarity | query: {content} |
N/A |
Observação: o prompt_name="Document" aplica title: none. Os documentos com título ainda precisam ser formatados manualmente, como model.encode(f"title: {title} | text: {document}").
2. Carregamento seletivo do codificador
Os codificadores de visão e áudio são componentes independentes. Para reduzir o consumo de memória ao implantar pipelines somente de texto ou de modalidade única, desative os codificadores de modalidade não utilizados usando o config_kwargs do SentenceTransformer:
Observação: a configuração do EmbeddingGemma 2 para carregar com a omissão de alguns codificadores varia entre as bibliotecas de modelos. Consulte a documentação apropriada para mais informações.
| Modalidades ativas | config_kwargs |
Tamanho efetivo |
|---|---|---|
| Somente texto | {"vision_config": None, "audio_config": None} |
270 milhões |
| Texto e imagem | {"audio_config": None} |
440 milhões |
| Texto e áudio | {"vision_config": None} |
570 milhões |
| Multimodal completo | {} |
740 milhões |
3. Truncamento de dimensão Matryoshka
O EmbeddingGemma 2 é treinado com o aprendizado de representações Matryoshka. Assim, o vetor de saída de 768 dimensões pode ser reduzido mantendo apenas as dimensões principais. As dimensões aceitas são 768, 512, 256 e 128. Vetores mais curtos reduzem o armazenamento e aceleram a pesquisa por similaridade, mas com algum custo para a qualidade.
No ambiente de execução, siga estas diretrizes:
- Normalizar novamente após o truncamento: fatiar um vetor de comprimento unitário não preserva o comprimento unitário. O vetor reduzido precisa ser normalizado por L2 antes de ser usado para similaridade de cosseno. Pular essa etapa prejudica a qualidade da classificação de forma silenciosa, produzindo pontuações que parecem plausíveis em vez de um erro.
- As consultas e os documentos precisam compartilhar uma dimensão. Uma consulta de 768 dimensões não pode ser pontuada em relação a um corpus de 128 dimensões.
- Para evitar truncar e normalizar por conta própria, transmita os campos
truncate_dimenormalize_embeddingsao chamarmodel.encode():
query_emb = model.encode(
query,
truncate_dim=128, # or 512, 256
normalize_embeddings=True,
)
A qualidade do modelo em cada dimensão é informada na tabela de truncamento na seção Resultados do comparativo de mercado acima. A qualidade é quase sem perdas até 256 dimensões. 128 dimensões degradam substancialmente a qualidade multimodal e precisam ser validadas em relação à sua própria carga de trabalho antes da adoção.
4. Precisão numérica
Execute a inferência em bfloat16 ou float32. Não use float16.
O intervalo de ativação do EmbeddingGemma 2 excede o intervalo dinâmico de float16. No float16, o modelo retorna NaN ou embeddings degradados silenciosamente em vez de gerar um erro, então é fácil não perceber a falha.
bfloat16 é seguro e tem o mesmo expoente de 8 bits que float32. Esse é o padrão recomendado em hardware com suporte nativo e reduz pela metade o uso de memória em relação a float32. Use float32 em outros lugares, incluindo na maioria das CPUs.
No SentenceTransformers, é possível definir isso usando model_kwargs e determinar de forma programática usando is_bf16_supported:
dtype = torch.bfloat16 if torch.cuda.is_bf16_supported() else torch.float32
model = SentenceTransformer("google/embeddinggemma-2", model_kwargs={"torch_dtype": dtype})
5. Entrada multimodal
Intercalação
Uma única entrada pode misturar texto com imagens, vídeo e áudio, usando um único contexto compartilhado de 8.192 tokens.
A posição de cada item de mídia na sequência é marcada no texto usando tokens de marcador de posição do vocabulário do modelo:
<|image|>marca a posição da entrada de imagem<|video|>marca a posição da entrada de vídeo<|audio|>marca a posição da entrada de áudio
Por exemplo, uma listagem de produtos indexada para pesquisa pode ser codificada como:
emb_interleaved = model.encode({
"text": "Waterproof running shoes. <|image|> Featuring a breathable mesh upper. <|image|> Grip test on wet rock: <|video|>",
"image": ["shoe.jpg", "mesh.jpg"],
"video": "demo.mp4",
})
Cada marcador de posição no texto é preenchido com a chave correspondente, em ordem. A chamada retorna um único embedding que representa o texto, as imagens e o vídeo juntos. Esse embedding pode ser comparado diretamente com qualquer outro embedding do EmbeddingGemma 2. Por exemplo, uma consulta somente de texto, como "sapatos à prova d'água para corrida em trilha".
Limites de contexto
Todas as modalidades compartilham uma única janela de contexto de 8.192 tokens. Cada modalidade consome esse orçamento a uma taxa fixa:
| Modalidade | Custo do token | Entrada máxima |
|---|---|---|
| Texto | 1 token por subpalavra | 8.192 tokens |
| Imagem | 280 tokens por imagem (padrão) | ~29 imagens |
| Vídeo | 140 tokens por frame (padrão) | ~58 frames |
| Áudio | 25 tokens por segundo | ~327 segundos |
A entrada máxima para imagens e vídeos pode ser de até 114 imagens ou frames ao usar um orçamento de token de visão menor (descrito abaixo).
Os valores máximos acima consideram uma única modalidade sem texto complementar. As entradas intercaladas usam o mesmo orçamento, então misturar modalidades reduz a quantidade de cada uma que cabe. A entrada máxima para imagens e vídeos também pode ser de até aproximadamente 114 imagens ou frames ao usar um orçamento de token de visão menor (descrito abaixo).
Limite de tokens de visão
Os usuários do modelo podem abrir mão do comprimento de sequência padrão para imagens de entrada / frames de vídeo para representar imagens com quantidades de "token flexível" que variam de 70 a 1.120. Aumentar o orçamento de visão para imagens de entrada troca latência e contagem de tokens por qualidade.
Em geral, sequências de entrada mais longas capturam mais informações. Aumentar o comprimento da sequência de entrada significa representações de entrada mais expressivas. Portanto, aumentar o comprimento da sequência de entrada vai melhorar a compreensão visual detalhada, elevando a qualidade e a performance do embedding em casos de uso downstream.
Padrões de amostragem de entrada
As entradas de áudio e vídeo têm as seguintes taxas de amostragem padrão:
- Por padrão, o vídeo é processado como frames de amostra pelo codificador de visão a 1 quadro por segundo. A taxa de amostragem de QPS é configurável.
- O áudio precisa ser fornecido como mono a 16 kHz.
Dados do modelo
Nosso conjunto de dados de pré-treinamento é uma coleção de dados em grande escala e diversificada que abrange uma ampla variedade de domínios e modalidades, incluindo documentos da Web, código, imagens, vídeo e áudio, com data limite de janeiro de 2025. São eles:
- Documentos da Web: uma coleção diversificada de textos da Web garante que o modelo seja exposto a uma ampla variedade de estilos linguísticos, tópicos e vocabulário. O conjunto de dados de treinamento inclui conteúdo em mais de 140 idiomas.
- Código: expor o modelo ao código ajuda a aprender a sintaxe e os padrões das linguagens de programação, o que melhora a capacidade de entender a semântica relacionada ao código.
- Imagens: uma ampla variedade de imagens permite que o modelo realize tarefas de análise de imagens e extração de dados visuais.
- Vídeo: sequências e clipes de vídeo que abrangem diversas cenas visuais, ações humanas e dinâmicas temporais.
- Áudio: gravações de fala em vários idiomas, sons ambientais e eventos acústicos.
- Amostras de várias modalidades: dados de texto, imagem, vídeo e áudio pareados para alinhar representações em diferentes modalidades.
Processamento de dados
Vários métodos de limpeza de dados e filtragem foram aplicados aos dados de treinamento:
- Filtragem de CSAM: uma filtragem rigorosa de CSAM (material de abuso sexual infantil) foi aplicada em várias etapas do processo de preparação de dados para garantir a exclusão de conteúdo ilegal e nocivo.
- Filtragem de dados sensíveis: para tornar os modelos pré-treinados do Gemma seguros e confiáveis, técnicas automatizadas foram usadas para filtrar determinadas informações pessoais e outros dados sensíveis dos conjuntos de treinamento.
- Outros métodos: filtragem com base na qualidade e segurança do conteúdo, de acordo com nossas políticas.
Ética e segurança
O EmbeddingGemma 2 é um modelo de embedding pré-treinado. Ao contrário dos modelos generativos, ele não passa por alinhamento pós-treinamento, ajuste de segurança ou moderação no nível da saída. As mitigações de segurança durante o desenvolvimento se concentraram na filtragem de dados de pré-treinamento para reduzir a exposição a conteúdo nocivo e vieses graves no espaço de embedding aprendido, de acordo com os Princípios de IA do Google.
Como os modelos de embedding produzem representações em vez de texto voltado ao usuário, os riscos de segurança se manifestam na forma como essas representações são usadas.
Os desenvolvedores e implantadores são responsáveis por avaliar e implementar proteções no nível do aplicativo, como filtragem de recuperação e testes de imparcialidade, adequadas ao caso de uso de produção específico.
As implantações precisam seguir a Política de Uso Proibido do Gemma.
Uso e limitações
O EmbeddingGemma 2 tem algumas limitações que os usuários precisam conhecer.
Uso pretendido
O EmbeddingGemma 2 gera embeddings com base no conteúdo de entrada, que podem ser usados em vários aplicativos downstream.
A lista de possíveis usos a seguir não é completa. O objetivo dessa lista é fornecer informações contextuais sobre os possíveis casos de uso que os criadores do modelo consideraram como parte do treinamento e desenvolvimento do modelo.
- Recuperação: embeddings para pesquisa semântica em texto, código, imagens, vídeo e áudio, como pesquisa de documentos, RAG em bases de conhecimento corporativas, Code Search em consultas de linguagem natural ou pesquisa de consultas faladas em arquivos de áudio.
- Classificação: embeddings para classificar entradas de acordo com rótulos predefinidos, como análise de sentimento, moderação de conteúdo, detecção de eventos de áudio ou categorização de imagens.
- Clustering: embeddings para agrupar entradas com base na semelhança semântica, como organizar coleções de documentos, agrupar feedback de clientes por tema ou descobrir conteúdo duplicado em várias modalidades.
- Semelhança semântica: embeddings para medir a semelhança entre pares de entradas, como sistemas de recomendação, detecção de duplicatas, identificação de paráfrases ou alinhamento de conteúdo multilíngue.
- Verificação de fatos: embeddings para recuperar documentos de evidência com base em uma declaração, como sistemas automatizados de checagem de fatos ou pipelines de atribuição de fontes.
Limitações
- Dados de treinamento: a qualidade e a diversidade dos dados de treinamento influenciam significativamente as capacidades do modelo. Vieses ou lacunas nos dados de treinamento podem limitar as respostas do modelo.
- O escopo do conjunto de dados de treinamento determina as áreas temáticas que o modelo pode processar de forma eficaz.
- Por exemplo, embora o EmbeddingGemma 2 seja compatível com mais de 100 idiomas, o modelo pode não apresentar o mesmo desempenho em todos eles.
- Contexto e complexidade da tarefa: os modelos têm um bom desempenho em tarefas que podem ser estruturadas com comandos e instruções claros.
- Tarefas abertas ou muito complexas podem ser desafiadoras.
- O desempenho de um modelo pode ser influenciado pela quantidade de contexto fornecida (um contexto mais longo geralmente leva a melhores resultados, até certo ponto).
- Ambiguidade e nuances da linguagem: a linguagem natural é inerentemente complexa. Os modelos podem ter dificuldade para entender nuances sutis, sarcasmo ou linguagem figurada.
- Uso de instruções de tarefa: para tarefas de texto, omitir o prefixo de tarefa recomendado pode resultar em uma qualidade de embedding abaixo do ideal.
Considerações éticas e riscos
Ao criar um modelo de embedding aberto, consideramos cuidadosamente o seguinte:
- Viés e imparcialidade
- Os modelos treinados com dados de texto e imagem do mundo real em grande escala podem refletir vieses socioculturais incorporados ao material de treinamento.
- Os dados de treinamento usados para o EmbeddingGemma 2 passaram por uma filtragem de segurança para mitigar o risco desses vieses.
- Desinformação e uso indevido
- As representações de embedding podem ser usadas de forma indevida para recuperar, classificar ou organizar conteúdo incorporado de maneiras falsas, enganosas ou prejudiciais.
- As diretrizes para o uso responsável do modelo estão disponíveis no Kit de ferramentas de IA generativa responsável.
- Transparência e responsabilidade
- Este card de modelo resume detalhes sobre a arquitetura, os recursos, as limitações e os processos de avaliação do modelo.
- Um modelo aberto desenvolvido de forma responsável oferece a oportunidade de compartilhar inovação, tornando a tecnologia de modelo de visão-linguagem (VLM) acessível a desenvolvedores e pesquisadores em todo o ecossistema de IA.
Riscos identificados e mitigações
- Uso indevido para fins maliciosos: limitações técnicas e a educação de desenvolvedores e usuários finais podem ajudar a mitigar aplicações maliciosas de modelos de embedding. Recursos educacionais e mecanismos de denúncia para que os usuários sinalizem o uso indevido são fornecidos.
- Violações de privacidade: os modelos foram treinados com dados filtrados para remover determinadas informações pessoais e outros dados sensíveis. Os desenvolvedores são incentivados a aderir aos regulamentos de privacidade com técnicas que preservam a privacidade.
- Perpetuação de vieses: é recomendável realizar o monitoramento contínuo (usando métricas de avaliação e revisão humana) e explorar técnicas de eliminação de vieses durante o treinamento, o ajuste e outros casos de uso do modelo.
Vantagens
O EmbeddingGemma 2 é um dos modelos de embedding multimodal mais fortes com menos de 1 bilhão de parâmetros. Estamos ansiosos para ver como os desenvolvedores vão usar e adaptar esse modelo para aplicativos de IA no dispositivo ou de borda.
O modelo foi projetado do zero para o desenvolvimento responsável de IA, assim como outros modelos da família Gemma.
Citação
Se você achar nosso trabalho útil, considere citá-lo:
@misc{embeddinggemma2_2026,
title={EmbeddingGemma 2: Unified and Efficient Multimodal Representations},
author={Schechter Vera, Henrique and Dua, Sahil and Team, EmbeddingGemma},
year={2026},
eprint={2610.37364},
archivePrefix={arXiv},
primaryClass={cs.LG},
url={https://arxiv.org/abs/2610.37364}
}