Tarjeta de modelo ShieldGemma

Página del modelo: ShieldGemma

Recursos y documentación técnica:

• Kit de herramientas de IA generativa responsable
• ShieldGemma en Kaggle
• ShieldGemma en Hugging Face Hub

Condiciones de Uso: Condiciones

Autores: Google

Información del modelo

ShieldGemma 2 es un modelo entrenado en el punto de control de TI de 4B de Gemma 3 para la clasificación de seguridad de las imágenes en categorías clave que recibe imágenes y genera etiquetas de seguridad por política.

Descripción

ShieldGemma 2, creado en Gemma 3, es un modelo de 4,000 millones (4,000 M) de parámetros que verifica la seguridad de las imágenes sintéticas y naturales en función de categorías clave para ayudarte a crear conjuntos de datos y modelos sólidos. Con esta incorporación a la familia de modelos Gemma, los investigadores y desarrolladores ahora pueden minimizar el riesgo de que el contenido dañino afecte sus aplicaciones potenciadas por IA generativa en tipos de daños clave.

Recomendamos usar ShieldGemma 2 como filtro de entrada para modelos de lenguaje visual o como filtro de salida de sistemas de generación de imágenes. Para entrenar un modelo de seguridad de imágenes sólido, seleccionamos conjuntos de datos de entrenamiento de imágenes naturales y sintéticas, y Gemma 3 ajustado a las instrucciones para demostrar un rendimiento sólido. Comparamos las políticas de seguridad con diferentes comparativas y publicamos un informe técnico que incorpora comparativas de terceros.

Entradas y salidas

• Entrada: Imagen y instrucción de instrucción con definición de política.
• Salida: Probabilidad de tokens "Sí" o "No". Una puntuación más alta para el token "Sí" indica que el modelo tiene la certeza de que el contenido incumple la política incluida. Lo inverso es verdadero para el token "No". Ambas puntuaciones se proporcionan para habilitar las métricas de clasificación y la calibración.

Lineamientos para usar en las instrucciones

Esta es nuestra instrucción [Prompt Instruction]:

You are a policy expert trying to help determine whether a generated or real
image is in violation of the safety policy below. Your decision must very
clearly follow the specific language used in the safety policy and should not
include any interpretation outside of the safety policy.

<BEGIN_SAFETY_POLICY>
{policy}
</END_SAFETY_POLICY>

Does the image violate the above policy? Your Answer must start with 'Yes' or 'No'.

Caso de uso: Clasificación de imágenes

Cita

@article{shieldgemma2,
    title={ShieldGemma 2},
    url={https://ai.google.dev/gemma/docs/shieldgemma/model_card_2},
    author={ShieldGemma Team},
    year={2025}
}

Modela datos

Datos que se usaron para el entrenamiento del modelo y cómo se procesaron

Conjunto de datos de entrenamiento

Nuestro conjunto de datos de entrenamiento consta de imágenes naturales y sintéticas. En el caso de las imágenes naturales, tomamos una muestra de un subconjunto de imágenes del conjunto de datos de WebLI (lenguaje web e imágenes) que son relevantes para las tareas de seguridad. En el caso de las imágenes sintéticas, usamos una canalización interna de generación de datos para permitir la generación controlada de instrucciones y las imágenes correspondientes que equilibran la diversidad y la gravedad de las imágenes. En este estudio, los tipos de daño se limitaron al contenido peligroso, sexual explícito y violento, solo en inglés. Los temas adicionales y los subtemas se estructuraron con una taxonomía que corresponde a las políticas correspondientes y a una variedad de aspectos demográficos, contextuales y regionales.

Procesamiento previo de los datos

Estos son los métodos clave de limpieza y filtrado de datos que se aplicaron a los datos de entrenamiento: Filtrado de CSAM: Se aplicó el filtrado de CSAM (material de abuso sexual infantil) en el proceso de preparación de datos para garantizar la exclusión de contenido ilegal.

Información de implementación

Hardware

ShieldGemma 2 se entrenó con la generación más reciente de hardware de la unidad de procesamiento tensorial (TPU) (TPUv5e). Para obtener más información, consulta la tarjeta de modelo de Gemma 3.

Software

El entrenamiento se realizó con JAX y ML Pathways. Para obtener más detalles, consulta la tarjeta de modelo de Gemma 3.

Evaluación

Resultados de las comparativas

ShieldGemma 2 4B se evaluó en conjuntos de datos internos y externos. Nuestro conjunto de datos interno se genera de forma sintética a través de nuestra canalización interna de selección de datos de imágenes. Esta canalización incluye pasos clave, como la definición del problema, la generación de taxonomías de seguridad, la generación de consultas de imágenes, la generación de imágenes, el análisis de atributos, la validación de la calidad de las etiquetas y mucho más. Tenemos aproximadamente 500 ejemplos para cada política de daño. Las proporciones positivas son 39%, 67% y 32% para el contenido sexual, peligroso y violento, respectivamente. También lanzaremos un informe técnico que incluirá evaluaciones en conjuntos de datos externos.

Resultados de la evaluación interna de comparativas

Ética y seguridad

Enfoque de evaluación

Aunque los modelos de ShieldGemma son generativos, están diseñados para ejecutarse en el modo de puntuación para predecir la probabilidad de que el siguiente token sea Yes o No. Por lo tanto, la evaluación de seguridad se enfocó principalmente en generar etiquetas de seguridad de imágenes eficaces.

Resultados de la evaluación

Estos modelos se evaluaron en función de consideraciones éticas, de seguridad y de equidad, y cumplieron con los lineamientos internos. En comparación con las comparativas, los conjuntos de datos de evaluación se iteraron y equilibraron con diversas taxonomías. Las etiquetas de seguridad de las imágenes también se etiquetaron de forma manual y se verificaron los casos de uso que el modelo no detectó, lo que nos permitió mejorar las rondas de evaluación.

Uso y limitaciones

Estos modelos tienen ciertas limitaciones que los usuarios deben tener en cuenta.

Uso previsto

ShieldGemma 2 está diseñado para usarse como moderador de contenido de seguridad, ya sea para entradas de usuarios humanos, salidas de modelos o ambos. Estos modelos forman parte del kit de herramientas de IA generativa responsable, que es un conjunto de recomendaciones, herramientas, conjuntos de datos y modelos destinados a mejorar la seguridad de las aplicaciones de IA como parte del ecosistema de Gemma.

Limitaciones

Se aplican todas las limitaciones habituales para los modelos de lenguaje extensos. Consulta la tarjeta de modelo de Gemma 3 para obtener más detalles. Además, existen comparativas limitadas que se pueden usar para evaluar la moderación de contenido, por lo que los datos de entrenamiento y evaluación podrían no ser representativos de situaciones reales.

ShieldGemma 2 también es muy sensible a la descripción específica que proporciona el usuario de los principios de seguridad y puede tener un rendimiento impredecible en condiciones que requieren una buena comprensión de la ambigüedad y los matices del lenguaje.

Al igual que con otros modelos que forman parte del ecosistema de Gemma, ShieldGemma está sujeto a las políticas de uso prohibido de Google.

Consideraciones y riesgos éticos

El desarrollo de modelos grandes de lenguaje (LLM) plantea varias inquietudes éticas. Consideramos cuidadosamente varios aspectos en el desarrollo de estos modelos.

Consulta la tarjeta de modelo de Gemma 3 para obtener más detalles.

Beneficios

En el momento del lanzamiento, esta familia de modelos proporciona implementaciones de modelos de lenguaje extenso abiertos de alto rendimiento diseñados desde cero para el desarrollo de IA responsable en comparación con modelos de tamaño similar.

Con las métricas de evaluación de comparativas que se describen en este documento, se demostró que estos modelos proporcionan un rendimiento superior a otras alternativas de modelos abiertos de tamaño comparable.