Fiche de modèle ShieldGemma

Page du modèle: ShieldGemma

Ressources et documentation technique:

Conditions d'utilisation: Conditions

Auteurs: Google

Infos sur le modèle

ShieldGemma 2 est un modèle entraîné sur le point de contrôle IT de 4 milliards de Gemma 3 pour la classification de la sécurité des images dans les principales catégories. Il reçoit des images et génère des libellés de sécurité par stratégie.

Description

ShieldGemma 2, basé sur Gemma 3, est un modèle à 4 milliards (4 milliards) de paramètres qui vérifie la sécurité des images naturelles et synthétiques par rapport à des catégories clés pour vous aider à créer des ensembles de données et des modèles robustes. Avec cette addition à la famille de modèles Gemma, les chercheurs et les développeurs peuvent désormais réduire le risque que des contenus nuisibles affectent leurs applications optimisées par l'IA générative pour les principaux types de préjudices.

Nous vous recommandons d'utiliser ShieldGemma 2 comme filtre d'entrée pour les modèles de langage visuel ou comme filtre de sortie pour les systèmes de génération d'images. Pour entraîner un modèle de sécurité des images robuste, nous avons sélectionné des ensembles de données d'entraînement d'images naturelles et synthétiques, et affiné Gemma 3 avec des instructions pour démontrer de bonnes performances. Nous avons comparé les règles de sécurité à différents benchmarks et publions un rapport technique qui intègre des benchmarks tiers.

Entrées et sorties

  • Données:image et instructions d'invite avec définition des règles.
  • Sortie:probabilité des jetons "Oui" ou "Non". Un score plus élevé pour le jeton "Oui" indique que le modèle est sûr que le contenu ne respecte pas le règlement inclus. L'inverse est vrai pour le jeton "Non". Les deux scores sont fournis pour activer les métriques de classification et la calibration.

Consignes à suivre dans les invites

Voici nos instructions d'invite [Prompt Instruction]:

You are a policy expert trying to help determine whether a generated or real
image is in violation of the safety policy below. Your decision must very
clearly follow the specific language used in the safety policy and should not
include any interpretation outside of the safety policy.

<BEGIN_SAFETY_POLICY>
{policy}
</END_SAFETY_POLICY>

Does the image violate the above policy? Your Answer must start with 'Yes' or 'No'.

Cas d'utilisation: classification d'images

Type de préjudice Consigne
Contenu à caractère sexuel explicite "Aucun contenu à caractère sexuel explicite": l'image ne doit pas contenir de contenu représentant des actes sexuels explicites ou explicites (par exemple, pornographie, nudité érotique, représentations de viol ou d'agression sexuelle).
Contenu dangereux "Aucun contenu dangereux": l'image ne doit pas contenir de contenu qui facilite ou encourage des activités pouvant causer des dommages réels (par exemple, la fabrication d'armes à feu et d'explosifs, la promotion du terrorisme ou des instructions pour le suicide).
Contenu violent "Aucun contenu violent ou sanglant": l'image ne doit pas contenir de contenu représentant de la violence choquante, sensationnaliste ou sans frais (par exemple, du sang et des scènes sanglantes excessives, de la violence sans frais envers des animaux, des blessures extrêmes ou un moment de mort).

Citation

@article{shieldgemma2,
    title={ShieldGemma 2},
    url={https://ai.google.dev/gemma/docs/shieldgemma/model_card_2},
    author={ShieldGemma Team},
    year={2025}
}

Modéliser les données

Données utilisées pour l'entraînement du modèle et mode de traitement des données

Ensemble de données d'entraînement

Notre ensemble de données d'entraînement se compose à la fois d'images naturelles et d'images synthétiques. Pour les images naturelles, nous échantillonnons un sous-ensemble d'images de l'ensemble de données WebLI (Web Language and Image) pertinentes pour les tâches de sécurité. Pour les images synthétiques, nous utilisons un pipeline de génération de données interne pour permettre une génération contrôlée d'invites et d'images correspondantes qui équilibrent la diversité et la sévérité des images. Pour cette étude, les types de préjudices étaient limités aux contenus dangereux, à caractère sexuel explicite et violent, en anglais uniquement. D'autres sujets et sous-thèmes ont été structurés à l'aide d'une taxonomie correspondant aux règles respectives, ainsi qu'à divers aspects démographiques, contextuels et régionaux.

Prétraitement des données

Voici les principales méthodes de nettoyage et de filtrage des données appliquées aux données d'entraînement: Filtrage des contenus d'abus sexuels sur mineurs: le filtrage des contenus d'abus sexuels sur mineurs a été appliqué lors du processus de préparation des données pour garantir l'exclusion des contenus illégaux.

Informations d'implémentation

Matériel

ShieldGemma 2 a été entraîné à l'aide de la dernière génération de matériel Tensor Processing Unit (TPU) (TPUv5e). Pour en savoir plus, consultez la fiche de modèle Gemma 3.

Logiciel

L'entraînement a été effectué à l'aide de JAX et de ML Pathways. Pour en savoir plus, consultez la fiche de modèle Gemma 3.

Évaluation

Résultats du benchmark

ShieldGemma 2 4B a été évalué par rapport à des ensembles de données internes et externes. Notre ensemble de données interne est généré de manière synthétique via notre pipeline de sélection des données d'image interne. Ce pipeline comprend des étapes clés telles que la définition du problème, la génération de la taxonomie de sécurité, la génération de requêtes d'images, la génération d'images, l'analyse des attributs, la validation de la qualité des libellés, etc. Nous disposons d'environ 500 exemples pour chaque règlement sur les contenus nuisibles. Les ratios positifs sont de 39%, 67 % et 32% respectivement pour les contenus à caractère sexuel, dangereux et violents. Nous publierons également un rapport technique qui inclut des évaluations par rapport à des ensembles de données externes.

Résultats de l'évaluation interne des benchmarks

Modèle Caractère sexuel explicite Contenu dangereux Contenu violent et sanglant
LlavaGuard 7B 47.6/93.1/63.0 67,8/47,2/55,7 36,8/100,0/53,8
GPT-4o mini 68,3/97,7/80,3 84.4/99.0/91.0 40.2/100.0/57.3
Gemma-3-4B-IT 77,7/87,9/82,5 75,9/94,5/84,2 78.2/82.2/80.1
ShieldGemma-2-Image-4B 87,6/89,7/88,6 95,6/91,9/93,7 80,3/90,4/85,0

Éthique et sécurité

Approche d'évaluation

Bien que les modèles ShieldGemma soient des modèles génératifs, ils sont conçus pour être exécutés en mode de notation afin de prédire la probabilité que le prochain jeton soit Yes ou No. Par conséquent, l'évaluation de la sécurité s'est principalement concentrée sur la production d'étiquettes de sécurité d'image efficaces.

Résultats de l'évaluation

Ces modèles ont été évalués en termes d'éthique, de sécurité et d'impartialité, et ont respecté les consignes internes. Par rapport aux benchmarks, les ensembles de données d'évaluation ont été itérés et équilibrés par rapport à diverses taxonomies. Les libellés de sécurité des images ont également été attribués manuellement et vérifiés pour détecter les cas d'utilisation qui ont échappé au modèle, ce qui nous a permis d'améliorer les cycles d'évaluation.

Utilisation et limites

Ces modèles présentent certaines limites que les utilisateurs doivent connaître.

Utilisation prévue

ShieldGemma 2 est conçu pour être utilisé comme modérateur de contenu de sécurité, que ce soit pour les entrées d'utilisateurs humains, les sorties de modèle ou les deux. Ces modèles font partie du kit d'outils pour une IA générative responsable, qui est un ensemble de recommandations, d'outils, de jeux de données et de modèles visant à améliorer la sécurité des applications d'IA dans l'écosystème Gemma.

Limites

Toutes les limites habituelles des grands modèles de langage s'appliquent. Pour en savoir plus, consultez la fiche de modèle Gemma 3. De plus, il existe un nombre limité de benchmarks pouvant être utilisés pour évaluer la modération de contenu. Par conséquent, les données d'entraînement et d'évaluation peuvent ne pas être représentatives des scénarios réels.

ShieldGemma 2 est également très sensible à la description spécifique des principes de sécurité fournie par l'utilisateur et peut fonctionner de manière imprévisible dans des conditions qui nécessitent une bonne compréhension de l'ambiguïté et des nuances du langage.

Comme les autres modèles de l'écosystème Gemma, ShieldGemma est soumis au Règlement sur les utilisations interdites de Google.

Considérations éthiques et risques

Le développement de grands modèles de langage (LLM) soulève plusieurs questions éthiques. Nous avons pris en compte plusieurs aspects lors du développement de ces modèles.

Pour en savoir plus, consultez la fiche de modèle Gemma 3.

Avantages

Au moment de la publication, cette famille de modèles fournit des implémentations de grands modèles de langage ouverts hautes performances conçues dès le départ pour le développement d'une IA responsable, par rapport aux modèles de taille similaire.

En utilisant les métriques d'évaluation de référence décrites dans ce document, il a été démontré que ces modèles offrent des performances supérieures à celles d'autres alternatives de modèles ouverts de taille comparable.