Fiche du modèle EmbeddingGemma 2

Hugging Face | GitHub | Article de blog de lancement | Documentation | Rapport technique
Licence : Apache 2.0 | Auteurs : Google DeepMind

EmbeddingGemma 2 est un modèle d'embedding multimodal ouvert développé par Google DeepMind. Il mappe les entrées de texte (y compris le code), d'images, de vidéos et d'audio, ainsi que leurs combinaisons, dans un espace vectoriel unifié de 768 dimensions. Le modèle compte 740 millions de paramètres au total, combinant un modèle de texte de 270 millions de paramètres avec des encodeurs modulaires de vision (170 millions) et audio (300 millions).

Conçu pour s'exécuter sur du matériel grand public, comme des appareils mobiles et des ordinateurs portables, EmbeddingGemma 2 fournit des représentations sémantiques à faible latence pour les applications sur l'appareil, telles que la recherche, la génération augmentée par récupération (RAG), la classification et le clustering.

EmbeddingGemma 2 s'appuie sur les avancées architecturales et les capacités de Gemma 4, et offre plusieurs fonctionnalités essentielles :

  • Multimodalité native : unifie quatre modalités (texte, images, vidéo et audio) dans un seul espace d'embedding partagé de 768 dimensions.
  • Multilinguisme et code : EmbeddingGemma 2 comprend plus de 100 langues et améliore d'environ 14 % les tâches de code par rapport à son prédécesseur.
  • Empreinte flexible : combine un backbone de texte de 270 millions de paramètres (transformateur de 130 millions + intégrateur de 140 millions) avec des encodeurs de vision (170 millions) et audio (300 millions) chargeables de manière sélective, ce qui permet aux développeurs de ne charger que les modalités requises pour leur cas d'utilisation.
  • Apprentissage de représentation Matryoshka (MRL) : compatibilité native avec les embeddings tronqués sur 128d, 256d, 512d et 768d, permettant de diviser par six les coûts de stockage des vecteurs avec un impact minimal sur la qualité.
  • Longueur de contexte : fenêtre de contexte de 8 000 jetons, capable de traiter plusieurs minutes d'audio ou de vidéo.
  • Représentations orientées par tâche : utilise des préfixes d'instructions textuelles légers pour optimiser les embeddings pour différentes tâches (recherche, classification, clustering, similarité sémantique, etc.).

Présentation du modèle

Paramètres Total 740 M
Backbone 130 M
Embedder 140 M
Encodeurs de modalité Vision : 170 M Audio : 300 M
Architecture Calques 24
Dimension du modèle 512
Dimension cachée 2048
Fenêtre glissante 1 024 jetons
Taille du vocabulaire 262 144
# Heads 4
# têtes KV (locales/globales) 2/1
Local:Global 5:1
Attention GQA/MQA
Activation FFN contrôlé avec GELU
Pooling Regroupement moyen
Couche de projection 512→768
Entrée/Sortie Modalités compatibles Texte, images, vidéo, audio
Fenêtre de contexte 8 192 jetons
Dimension de sortie native 768
Dimensions de troncature MRL 128, 256, 512

Résultats du benchmark

EmbeddingGemma 2 a été évalué sur des benchmarks d'embeddings de texte, de code, de vision, de documents visuels, de vidéo et d'audio. Tous les résultats indiqués ci-dessous utilisent le point de contrôle de précision complète.

Résultats d'évaluation globale (768d)

Modalité Benchmark Métrique EmbeddingGemma 2 EmbeddingGemma 1
Texte Massive Text Embedding Benchmark (MTEB, multilingue, v2) Moyenne(tâche), multiple 61,36 61,15
Massive Text Embedding Benchmark (MTEB, code, v1) Moyenne(tâche), NDCG@10 78,68 68,76
Image Massive Image Embedding Benchmark (MIEB, lite) Mean(TaskType), Multiple 65,67 -
Massive Multimodal Embedding Benchmark (MMEB v2 - Image) Moyenne(tâche), Hit@1 57,28 -
Massive Multimodal Embedding Benchmark (MMEB v2 - VisDoc) Moyenne(Tâche), NDCG@5 67,84 -
Vidéo Massive Multimodal Embedding Benchmark (MMEB v2 - Video) Moyenne(tâche), Hit@1 50,67 -
Audio Massive Sound Embedding Benchmark (MSEB, récupération) Moyenne(Tâche), MRR@10 69.54 -
Massive Audio Embedding Benchmark (MAEB) Hugging Face  Moyenne(tâche), multiple 49,87 -

Résultats de l'évaluation avec la troncature de vecteur

Avec MRL, les représentations EmbeddingGemma 2 peuvent être tronquées en dessous de la représentation 768d native pour passer à des représentations 128d, 256d et 512d, puis être renormalisées. Les utilisateurs du modèle peuvent ainsi réduire les besoins de stockage, avec un impact minimal sur la qualité jusqu'à 256d. La version 128d est la plus adaptée aux charges de travail de texte uniquement.

Dimension de sortie Taux de compression Moyenne (tâche) MTEB(multilingue, v2) Moyenne (tâche) MTEB(eng, v2) MTEB (code, v1) Mean(Task) Moyenne (TaskType) MIEB(lite) Global MMEB (v2) Moyenne (tâche) MSEB(récupération) Moyenne(tâche) MAEB
768d (Full) 1:1 61,36 68,46 78,68 65,67 59,01 69.54 49,87
512d 1:1.5 61,17 68,41 77,24 65,34 58,38 69.18 49.76
256 j 1:3 60,41 67.78 76,18 64.16 56,24 66,76 49,13
128 j 1:6 57,89 65,68 71,41 59,97 45,65 56,71 47,28

Démarrage rapide

Installez la bibliothèque sentence-transformers :

pip install -U sentence-transformers transformers

Générez des embeddings textuels : ```python from sentence_transformers import SentenceTransformer

model = SentenceTransformer("google/embeddinggemma-2")

query = "What causes the northern lights?" document = "The northern lights are caused by charged particles from the sun."

query_emb = model.encode(query, prompt_name="SearchQuery") doc_emb = model.encode(document, prompt_name="Document") print(model.similarity(query_emb, doc_emb)) ```

Bonnes pratiques

Pour optimiser la qualité des embeddings et l'efficacité de l'exécution, suivez ces configurations et bonnes pratiques :

1. Préfixes d'instructions de tâche

EmbeddingGemma 2 est entraîné avec des préfixes d'instructions de tâches courtes ajoutés aux entrées de texte. L'utilisation du bon préfixe améliore la qualité. L'omettre fonctionne toujours, mais réduit la précision. Les préfixes ne s'appliquent qu'au texte. Transmettez des images, des vidéos et des contenus audio sans aucun préfixe.

Les documents avec un titre réel doivent être au format title: {title} | text: {content}. Utilisez title: none lorsqu'aucun titre n'est disponible.

Notation et utilisation des préfixes

Nous proposons deux types de préfixes de tâche, en fonction de la façon dont les embeddings sont utilisés dans la tâche. Il existe deux types de tâches :

  • Tâches asymétriques (par exemple, récupération) : utilisez un préfixe de requête pour les requêtes et un préfixe de document pour les éléments du corpus.
  • Tâches symétriques (par exemple, classification, similarité) : appliquez le même préfixe de tâche à toutes les entrées comparées.
Cas d'utilisation Type de tâche Nom du prompt Instruction de la tâche de requête Instruction de tâche de document (utilisez none s'il n'y a pas de titre)
Recherche sur le Web/dans des documents Asymétrique SearchQuery task: search result | query: {query} title: {title} | text: {content}
Systèmes de questions-réponses Asymétrique QuestionAnswering task: question answering | query: {question} title: {title} | text: {passage}
Fact-checking Asymétrique FactChecking task: fact checking | query: {claim} title: {title} | text: {evidence}
Google Recherche de code Asymétrique CodeRetrieval task: code retrieval | query: {query} title: {title or filename} | text: {code}
Classification de texte Symétrique Classification task: classification | query: {content} N/A
Clustering Symétrique Clustering task: clustering | query: {content} N/A
Mesurer la similarité Symétrique SentenceSimilarity task: sentence similarity | query: {content} N/A

Remarque : prompt_name="Document" applique title: none. Les documents intitulés doivent toujours être mis en forme manuellement, comme model.encode(f"title: {title} | text: {document}").

2. Chargement sélectif de l'encodeur

Les encodeurs visuels et audio sont des composants indépendants. Pour réduire la consommation de mémoire lors du déploiement de pipelines textuels ou à modalité unique, désactivez les encodeurs de modalité inutilisés via le config_kwargs de SentenceTransformer :

Remarque : La configuration d'EmbeddingGemma 2 pour le chargement avec omission de certains encodeurs diffère selon les bibliothèques de modèles. Veuillez consulter la documentation appropriée pour en savoir plus.

Modalités actives config_kwargs Taille effective
Texte uniquement {"vision_config": None, "audio_config": None} 270 M
Textes et images {"audio_config": None} 440 M
Texte et audio {"vision_config": None} 570 M
Multimodalité complète {} 740 M

3. Troncation de dimension Matryoshka

EmbeddingGemma 2 est entraîné avec l'apprentissage de représentation Matryoshka. Le vecteur de sortie à 768 dimensions peut donc être raccourci en ne conservant que ses dimensions principales. Les dimensions acceptées sont 768, 512, 256 et 128. Les vecteurs plus courts réduisent l'espace de stockage et accélèrent la recherche de similarités, au détriment de la qualité.

Lors de l'exécution, veuillez respecter les consignes suivantes :

  • Renormaliser après la troncature : le découpage d'un vecteur de longueur unitaire ne préserve pas la longueur unitaire. Le vecteur raccourci doit être normalisé L2 avant d'être utilisé pour la similarité cosinus. Si vous ignorez cette étape, la qualité du classement se dégrade de manière silencieuse : elle produit des scores d'apparence plausible plutôt qu'une erreur.
  • Les requêtes et les documents doivent partager une dimension. Une requête à 768 dimensions ne peut pas être évaluée par rapport à un corpus à 128 dimensions.
  • Pour éviter d'avoir à tronquer et à normaliser vous-même, vous devez transmettre les champs truncate_dim et normalize_embeddings lorsque vous appelez model.encode() :
query_emb = model.encode(
   query,
   truncate_dim=128, # or 512, 256
   normalize_embeddings=True,
)

La qualité du modèle pour chaque dimension est indiquée dans le tableau de troncature de la section Résultats du benchmark ci-dessus. La qualité est proche de la compression sans perte jusqu'à 256 dimensions. Une dimension de 128 dégrade considérablement la qualité multimodale et doit être validée par rapport à votre propre charge de travail avant d'être adoptée.

4. Précision numérique

Exécutez l'inférence dans bfloat16 ou float32. N'utilisez pas float16.

La plage d'activation d'EmbeddingGemma 2 dépasse la plage dynamique de float16. Dans float16, le modèle renvoie des embeddings NaN ou dégradés de manière silencieuse au lieu de générer une erreur. L'échec est donc facile à ignorer.

bfloat16 est sûr et comporte le même exposant 8 bits que float32. Il s'agit de la valeur par défaut recommandée sur le matériel avec compatibilité native. Elle réduit de moitié l'utilisation de la mémoire par rapport à float32. Utilisez float32 ailleurs, y compris sur la plupart des processeurs.

Dans SentenceTransformers, vous pouvez définir cette valeur via model_kwargs et la déterminer de manière programmatique via is_bf16_supported :

dtype = torch.bfloat16 if torch.cuda.is_bf16_supported() else torch.float32

model = SentenceTransformer("google/embeddinggemma-2", model_kwargs={"torch_dtype": dtype})

5. Entrée multimodale

Entrelacement

Une seule entrée peut combiner du texte avec des images, des vidéos et de l'audio, en utilisant un seul contexte partagé de 8 192 jetons.

La position de chaque élément multimédia dans la séquence est marquée dans le texte à l'aide de jetons d'espace réservé du vocabulaire du modèle :

  • <|image|> marque la position de l'image d'entrée
  • <|video|> marque la position de l'entrée vidéo
  • <|audio|> indique la position de l'entrée audio

Par exemple, une fiche produit indexée pour la recherche peut être encodée comme suit :

emb_interleaved = model.encode({
    "text": "Waterproof running shoes. <|image|> Featuring a breathable mesh upper. <|image|> Grip test on wet rock: <|video|>",
    "image": ["shoe.jpg", "mesh.jpg"],
    "video": "demo.mp4",
})

Chaque espace réservé du texte est rempli à partir de la clé correspondante, dans l'ordre. L'appel renvoie un seul embedding qui représente le texte, les images et la vidéo ensemble. Cet embedding peut être comparé directement à n'importe quel autre embedding EmbeddingGemma 2, par exemple une requête textuelle telle que "chaussures imperméables pour le trail".

Limites de contexte

Toutes les modalités partagent une seule fenêtre de contexte de 8 192 jetons. Chaque modalité consomme ce budget à un taux fixe :

Modalité Coût des jetons Entrée max.
Texte 1 jeton par sous-mot 8 192 jetons
Image 280 jetons par image (par défaut) ~29 images
Vidéo 140 jetons par image (par défaut) ~58 images
Audio 25 jetons par seconde ~327 secondes

Notez que l'entrée maximale pour les images et les vidéos peut atteindre environ 114 images ou frames lorsque vous utilisez un budget de jetons de vision inférieur (décrit ci-dessous).

Les valeurs maximales ci-dessus supposent une seule modalité sans texte d'accompagnement. Les entrées entrelacées puisent dans le même budget. Par conséquent, mélanger les modalités réduit la quantité de chacune d'elles qui peut être incluse. Notez également que l'entrée maximale pour les images et les vidéos peut atteindre environ 114 images ou frames lorsque vous utilisez un budget de jetons de vision inférieur (décrit ci-dessous).

Budget de jetons de vision

Les utilisateurs du modèle peuvent renoncer à la longueur de séquence par défaut pour les images d'entrée/images vidéo afin de représenter les images avec des quantités de "jetons logiciels" allant de 70 à 1 120. Augmenter le budget de vision pour les images d'entrée permet d'améliorer la qualité au détriment de la latence et du nombre de jetons.

En général, les séquences d'entrée plus longues capturent plus d'informations. L'augmentation de la longueur de la séquence d'entrée permet d'obtenir des représentations d'entrée plus expressives. Par conséquent, l'augmentation de la longueur de la séquence d'entrée améliorera la compréhension visuelle détaillée, ce qui améliorera la qualité et les performances des embeddings dans les cas d'utilisation en aval.

Paramètres par défaut de l'échantillonnage d'entrée

Les entrées audio et vidéo ont les taux d'échantillonnage par défaut suivants :

  • Par défaut, la vidéo est traitée sous forme d'images échantillonnées via l'encodeur de vision à 1 image par seconde. Le taux d'échantillonnage en FPS est configurable.
  • L'audio doit être fourni en mono à 16 kHz.

Données du modèle

Notre ensemble de données de pré-entraînement est une collection de données diversifiée et à grande échelle, qui englobe un large éventail de domaines et de modalités, y compris des documents Web, du code, des images, des vidéos et des contenus audio, avec une date limite de janvier 2025. Exemples :

  • Documents Web : une collection diversifiée de textes Web permet d'exposer le modèle à un large éventail de styles linguistiques, de sujets et de vocabulaire. L'ensemble de données d'entraînement inclut du contenu dans plus de 140 langues.
  • Code : l'exposition du modèle au code l'aide à apprendre la syntaxe et les modèles des langages de programmation, ce qui améliore sa capacité à comprendre la sémantique liée au code. 
  • Images : un large éventail d'images permet au modèle d'effectuer des tâches d'analyse d'images et d'extraction de données visuelles.
  • Vidéo : séquences et extraits vidéo couvrant diverses scènes visuelles, actions humaines et dynamiques temporelles.
  • Audio : enregistrements vocaux dans plusieurs langues, sons ambiants et événements acoustiques.
  • Échantillons multimodaux : données textuelles, visuelles, vidéo et audio associées pour aligner les représentations entre différentes modalités.

Traitement de données

Plusieurs méthodes de nettoyage et de filtrage des données ont été appliquées aux données d'entraînement :

  • Filtrage des contenus d'abus sexuels sur mineurs : un filtrage rigoureux des contenus d'abus sexuels sur mineurs a été appliqué à plusieurs étapes du processus de préparation des données afin d'exclure les contenus nuisibles et illégaux.
  • Filtrage des données sensibles : pour garantir la sécurité et la fiabilité des modèles pré-entraînés Gemma, des techniques automatisées ont été utilisées pour filtrer certaines informations personnelles et d'autres données sensibles des ensembles d'entraînement.
  • Méthodes supplémentaires : filtrage basé sur la qualité et la sécurité du contenu, conformément à nos règles.

Éthique et sécurité

EmbeddingGemma 2 est un modèle d'embedding pré-entraîné. Contrairement aux modèles génératifs, il ne fait pas l'objet d'un alignement post-entraînement, d'un réglage de sécurité ni d'une modération au niveau des sorties. Les mesures de sécurité prises pendant le développement ont été axées sur le filtrage des données de pré-entraînement afin de réduire l'exposition à des contenus nuisibles et à des biais graves dans l'espace d'embedding appris, conformément aux principes de Google concernant l'IA.

Étant donné que les modèles d'embeddings produisent des représentations plutôt que du texte visible par l'utilisateur, les risques de sécurité se manifestent en aval dans la manière dont ces représentations sont utilisées.

Les développeurs et les déployeurs sont responsables de l'évaluation et de la mise en œuvre de mesures de protection au niveau de l'application, telles que le filtrage de la récupération et les tests d'équité, adaptées à leur cas d'utilisation spécifique en production.

Les déploiements doivent respecter le Règlement sur les utilisations interdites de Gemma.

Utilisation et limites

EmbeddingGemma 2 présente certaines limites dont les utilisateurs doivent être conscients.

Utilisation prévue

EmbeddingGemma 2 génère des embeddings à partir du contenu d'entrée, qui peuvent être utilisés pour un certain nombre d'applications en aval.

La liste suivante d'utilisations potentielles n'est pas exhaustive. Cette liste vise à fournir des informations contextuelles sur les cas d'utilisation possibles que les créateurs du modèle ont pris en compte lors de l'entraînement et du développement du modèle.

  • Récupération : embeddings pour la recherche sémantique dans du texte, du code, des images, des vidéos et de l'audio, comme la recherche de documents, la RAG sur des bases de connaissances d'entreprise, la recherche de code à partir de requêtes en langage naturel ou la recherche de requêtes vocales dans des archives audio.
  • Classification : embeddings permettant de classer les entrées en fonction d'étiquettes prédéfinies, comme l'analyse des sentiments, la modération de contenu, la détection d'événements audio ou la catégorisation d'images.
  • Clustering : embeddings pour regrouper les entrées en fonction de leur similarité sémantique, par exemple pour organiser des collections de documents, regrouper les commentaires des clients par thème ou découvrir des contenus presque identiques dans différentes modalités.
  • Similarité sémantique : embeddings permettant de mesurer la similarité par paire entre les entrées, comme les systèmes de recommandation, la détection des doublons, l'identification des paraphrases ou l'alignement de contenu multilingue.
  • Vérification des faits : embeddings permettant de récupérer des documents de preuve pour une affirmation donnée, comme des systèmes de fact-checking automatisés ou des pipelines d'attribution de sources.

Limites

  • Données d'entraînement : la qualité et la diversité des données d'entraînement ont une influence significative sur les capacités du modèle. Les biais ou les lacunes dans les données d'entraînement peuvent limiter les réponses du modèle.
    • La portée de l'ensemble de données d'entraînement détermine les domaines que le modèle peut traiter efficacement.
    • Par exemple, bien qu'EmbeddingGemma 2 soit compatible avec plus de 100 langues, ses performances peuvent varier d'une langue à l'autre.
  • Complexité du contexte et de la tâche : les modèles sont performants pour les tâches qui peuvent être formulées avec des prompts et des instructions clairs.
    • Les tâches ouvertes ou très complexes peuvent être difficiles.
    • Les performances d'un modèle peuvent être influencées par la quantité de contexte fournie (un contexte plus long conduit généralement à de meilleurs résultats, jusqu'à un certain point).
  • Ambiguïté et nuances du langage : le langage naturel est intrinsèquement complexe. Les modèles peuvent avoir du mal à saisir les nuances subtiles, le sarcasme ou le langage figuré.
  • Utilisation des instructions de tâche : pour les tâches textuelles, l'omission du préfixe de tâche recommandé peut entraîner une qualité d'embedding sous-optimale.

Considérations et risques éthiques

Lors de la création d'un modèle d'embedding ouvert, nous avons soigneusement pris en compte les éléments suivants :

  • Biais et équité
    • Les modèles entraînés sur des données textuelles et d'images réelles à grande échelle peuvent refléter les biais socioculturels intégrés dans les supports d'entraînement.
    • Les données d'entraînement utilisées pour EmbeddingGemma 2 ont été filtrées pour des raisons de sécurité afin de limiter le risque de ces biais.
  • Informations incorrectes et utilisation abusive
    • Les représentations d'embeddings peuvent être utilisées de manière abusive pour récupérer, classer ou organiser du contenu intégré de manière fausse, trompeuse ou nuisible.
    • Des consignes sont fournies pour une utilisation responsable du modèle. Consultez le kit d'IA générative responsable.
  • Transparence et responsabilité
    • Cette fiche de modèle résume les détails de l'architecture, des capacités, des limites et des processus d'évaluation du modèle.
    • Un modèle ouvert développé de manière responsable permet de partager l'innovation en rendant la technologie de modèle de vision-langage (VLM) accessible aux développeurs et aux chercheurs de l'écosystème de l'IA.

Risques identifiés et stratégies d'atténuation

  • Utilisation abusive à des fins malveillantes : les limites techniques et la formation des développeurs et des utilisateurs finaux peuvent aider à limiter les applications malveillantes des modèles d'embeddings. Des ressources éducatives et des mécanismes de signalement sont fournis aux utilisateurs pour qu'ils puissent signaler les utilisations abusives.
  • Atteintes à la vie privée : les modèles ont été entraînés sur des données filtrées pour supprimer certaines informations personnelles et d'autres données sensibles. Les développeurs sont encouragés à respecter les réglementations sur la confidentialité en utilisant des techniques protégeant la confidentialité.
  • Perpétuation des biais : il est recommandé d'effectuer une surveillance continue (à l'aide de métriques d'évaluation et d'une révision humaine) et d'explorer des techniques de suppression des biais lors de l'entraînement, de l'affinage et d'autres cas d'utilisation du modèle.

Avantages

EmbeddingGemma 2 fait partie des modèles d'embedding multimodaux les plus performants de moins de 1 milliard de paramètres. Nous avons hâte de voir comment les développeurs vont utiliser et adapter ce modèle pour les applications d'edge AI ou sur l'appareil. 

Comme les autres modèles de la famille Gemma, il est conçu dès le départ pour un développement responsable de l'IA.

Citation

Si vous trouvez notre travail utile, n'hésitez pas à le citer :

@misc{embeddinggemma2_2026,
    title={EmbeddingGemma 2: Unified and Efficient Multimodal Representations},
    author={Schechter Vera, Henrique and Dua, Sahil and Team, EmbeddingGemma},
    year={2026},
    eprint={2610.37364},
    archivePrefix={arXiv},
    primaryClass={cs.LG},
    url={https://arxiv.org/abs/2610.37364}
}