Tarjeta de modelo de Gemma 3

Página del modelo: Gemma

Recursos y documentación técnica:

• Informe técnico de Gemma 3
• Kit de herramientas de IA generativa responsable
• Gemma en Kaggle
• Gemma en Vertex Model Garden

Condiciones de Uso: Condiciones

Autores: Google DeepMind

Información del modelo

Descripción resumida y definición breve de las entradas y salidas.

Descripción

Gemma es una familia de modelos abiertos, livianos y de vanguardia de Google, compilados a partir de la misma investigación y tecnología que se usaron para crear los modelos Gemini. Los modelos de Gemma 3 son multimodales, manejan entradas de texto e imágenes y generan salidas de texto, con pesos abiertos para las variantes previamente entrenadas y las variantes ajustadas a instrucciones. Gemma 3 tiene una ventana de contexto grande de 128K, compatibilidad con varios idiomas en más de 140 idiomas y está disponible en más tamaños que las versiones anteriores. Los modelos de Gemma 3 son adecuados para una variedad de tareas de generación de texto y comprensión de imágenes, como la respuesta a preguntas, el resumen y el razonamiento. Su tamaño relativamente pequeño permite implementarlos en entornos con recursos limitados, como laptops, computadoras de escritorio o tu propia infraestructura de nube, lo que democratiza el acceso a modelos de IA de vanguardia y ayuda a fomentar la innovación para todos.

Entradas y salidas

• Entrada:

  • Cadena de texto, como una pregunta, una instrucción o un documento que se resumirá
  • Imágenes, normalizadas a una resolución de 896 x 896 y codificadas en 256 tokens cada una
  • Contexto de entrada total de 128,000 tokens para los tamaños de 4,000 millones, 12,000 millones y 27,000 millones, y 32,000 tokens para el tamaño de 1,000 millones

• Resultado:

  • Texto generado en respuesta a la entrada, como una respuesta a una pregunta, un análisis del contenido de una imagen o un resumen de un documento
  • Contexto de salida total de hasta 128,000 tokens para los tamaños de 4,000 millones, 12,000 millones y 27,000 millones, y 32,000 tokens para el tamaño de 1,000 millones por solicitud, menos los tokens de entrada de la solicitud

Cita

@article{gemma_2025,
    title={Gemma 3},
    url={https://arxiv.org/abs/2503.19786},
    publisher={Google DeepMind},
    author={Gemma Team},
    year={2025}
}

Modela datos

Datos que se usaron para el entrenamiento del modelo y cómo se procesaron

Conjunto de datos de entrenamiento

Estos modelos se entrenaron con un conjunto de datos de texto que incluye una amplia variedad de fuentes. El modelo de 27,000 millones se entrenó con 14,000 millones de tokens, el de 12,000 millones se entrenó con 12,000 millones de tokens, el de 4,000 millones se entrenó con 4,000 millones de tokens y el de 1,000 millones se entrenó con 2,000 millones de tokens. La fecha límite del conocimiento para los datos de entrenamiento fue agosto de 2024. Estos son los componentes clave:

• Documentos web: Una colección diversa de texto web garantiza que el modelo esté sometido a una amplia variedad de estilos lingüísticos, temas y vocabulario. El conjunto de datos de entrenamiento incluye contenido en más de 140 idiomas.
• Código: Exponer el modelo al código lo ayuda a aprender la sintaxis y los patrones de los lenguajes de programación, lo que mejora su capacidad para generar código y comprender preguntas relacionadas con él.
• Matemáticas: El entrenamiento en texto matemático ayuda al modelo a aprender el razonamiento lógico, la representación simbólica y a abordar las consultas matemáticas.
• Imágenes: Una amplia variedad de imágenes permite que el modelo realice tareas de análisis de imágenes y extracción de datos visuales.

La combinación de estas diversas fuentes de datos es fundamental para entrenar un modelo multimodal potente que pueda controlar una amplia variedad de tareas y formatos de datos diferentes.

Procesamiento previo de los datos

Estos son los métodos clave de limpieza y filtrado de datos que se aplican a los datos de entrenamiento:

• Filtrado de CSAM: Se aplicó un filtrado riguroso de CSAM (material de abuso sexual infantil) en varias etapas del proceso de preparación de datos para garantizar la exclusión de contenido dañino e ilegal.
• Filtrado de datos sensibles: Como parte del proceso para que los modelos previamente entrenados de Gemma sean seguros y confiables, se utilizaron técnicas automatizadas para filtrar cierta información personal y otros datos sensibles de los conjuntos de entrenamiento.
• Métodos adicionales: Filtrado según la calidad y seguridad del contenido en línea con nuestras políticas

Información de implementación

Detalles sobre los elementos internos del modelo.

Hardware

Gemma se entrenó con hardware de unidad de procesamiento tensorial (TPU) (TPUv4p, TPUv5p y TPUv5e). El entrenamiento de modelos de lenguaje de visión (VLM) requiere una potencia de procesamiento significativa. Las TPU, diseñadas específicamente para operaciones de matrices comunes en el aprendizaje automático, ofrecen varias ventajas en este dominio:

• Rendimiento: Las TPU están diseñadas específicamente para manejar los cálculos masivos que implican el entrenamiento de los VLM. Pueden acelerar el entrenamiento de manera considerable en comparación con las CPUs.
• Memoria: Las TPU suelen incluir grandes cantidades de memoria de gran ancho de banda, lo que permite el manejo de modelos y tamaños de lotes grandes durante el entrenamiento. Esto puede mejorar la calidad del modelo.
• Escalabilidad: Los pods de TPU (clústeres grandes de TPU) proporcionan una solución escalable para controlar la creciente complejidad de los modelos de base grandes. Puedes distribuir el entrenamiento en varios dispositivos de TPU para obtener un procesamiento más rápido y eficiente.
• Rentabilidad: En muchos casos, las TPU pueden proporcionar una solución más rentable para el entrenamiento de modelos grandes en comparación con la infraestructura basada en CPU, en especial, si se considera el tiempo y los recursos que se ahorran debido a un entrenamiento más rápido.
• Estas ventajas se alinean con los compromisos de Google de operar de manera sostenible.

Software

El entrenamiento se realizó con JAX y ML Pathways.

JAX permite a los investigadores aprovechar la última generación de hardware, incluidas las TPU, para el entrenamiento más rápido y eficiente de modelos grandes. Las rutas de acceso de AA son el esfuerzo más reciente de Google para crear sistemas de inteligencia artificial capaces de generalizarse en varias tareas. Esto es especialmente adecuado para los modelos de base, incluidos los modelos de lenguaje extensos como estos.

Juntos, JAX y ML Pathways se usan como se describe en el artículo sobre la familia de modelos de Gemini: "el modelo de programación de "controlador único" de Jax y Pathways permite que un solo proceso de Python orqueste toda la ejecución de entrenamiento, lo que simplifica en gran medida el flujo de trabajo de desarrollo".

Evaluación

Métricas y resultados de la evaluación del modelo

Resultados de las comparativas

Estos modelos se evaluaron en función de una gran colección de diferentes conjuntos de datos y métricas para abarcar diferentes aspectos de la generación de texto. Los resultados de la evaluación marcados con IT son para modelos ajustados a la instrucción. Los resultados de la evaluación marcados con PT son para modelos previamente entrenados.

Razonamiento y facticidad

CTIM y código

Multilingüe

Multimodal

Ética y seguridad

Enfoque y resultados de la evaluación de ética y seguridad

Enfoque de evaluación

Nuestros métodos de evaluación incluyen evaluaciones estructuradas y pruebas internas de equipo rojo de las políticas de contenido relevantes. Varios equipos diferentes realizaron el equipo rojo, cada uno con diferentes objetivos y métricas de evaluación humana. Estos modelos se evaluaron en función de varias categorías relevantes para la ética y la seguridad, como las siguientes:

• Seguridad infantil: Evaluación de instrucciones de texto a texto y de imagen a texto que abarcan las políticas de seguridad infantil, incluido el abuso y la explotación sexual infantil.
• Seguridad del contenido: Evaluación de instrucciones de texto a texto y de imagen a texto que abarcan las políticas de seguridad, como acoso, violencia y contenido sangriento, y lenguaje de odio.
• Daños de representación: Evaluación de instrucciones de texto a texto y de imagen a texto que abarcan políticas de seguridad, incluidos sesgos, estereotipos y asociaciones o imprecisiones dañinas.

Además de las evaluaciones a nivel de desarrollo, realizamos "evaluaciones de garantía", que son nuestras evaluaciones internas "independientes" para la toma de decisiones de la administración de responsabilidad. Se llevan a cabo por separado del equipo de desarrollo del modelo para fundamentar la toma de decisiones sobre el lanzamiento. Los hallazgos de alto nivel se retroalimentan al equipo del modelo, pero los conjuntos de instrucciones se reservan para evitar el sobreajuste y preservar la capacidad de los resultados para informar la toma de decisiones. Los resultados de la evaluación de garantía se informan a nuestro Consejo de Responsabilidad y Seguridad como parte de la revisión de lanzamientos.

Resultados de la evaluación

En todas las áreas de las pruebas de seguridad, observamos mejoras importantes en las categorías de seguridad infantil, seguridad del contenido y daños de representación en comparación con los modelos anteriores de Gemma. Todas las pruebas se realizaron sin filtros de seguridad para evaluar las capacidades y los comportamientos del modelo. En el caso de texto a texto y de imagen a texto, y en todos los tamaños de modelo, el modelo produjo incumplimientos mínimos de políticas y mostró mejoras significativas en el rendimiento de los modelos de Gemma anteriores en relación con las inferencias no fundamentadas. Una limitación de nuestras evaluaciones fue que solo incluyeron instrucciones en inglés.

Uso y limitaciones

Estos modelos tienen ciertas limitaciones que los usuarios deben conocer.

Uso previsto

Los modelos abiertos de lenguaje de visión (VLM) tienen una amplia variedad de aplicaciones en diferentes industrias y dominios. La siguiente lista de usos potenciales no es exhaustiva. El propósito de esta lista es proporcionar información contextual sobre los posibles casos de uso que los creadores del modelo consideraron como parte del entrenamiento y desarrollo del modelo.

• Creación de contenido y comunicación
  • Generación de texto: Estos modelos se pueden usar para generar formatos de texto creativo, como poemas, guiones, código, texto de marketing y borradores de correos electrónicos.
  • Chatbots y IA conversacional: Potencian las interfaces de conversación para la atención al cliente, los asistentes virtuales o las aplicaciones interactivas.
  • Resumen de texto: Genera resúmenes concisos de un corpus de texto, trabajos de investigación o informes.
  • Extracción de datos de imágenes: Estos modelos se pueden usar para extraer, interpretar y resumir datos visuales para comunicaciones de texto.
• Investigación y educación
  • Procesamiento de lenguaje natural (PLN) y la investigación de VLM: Estos modelos pueden servir como base para que los investigadores experimenten con técnicas de VLM y PLN, desarrollen algoritmos y contribuyan al avance del campo.
  • Herramientas de aprendizaje de idiomas: Admiten experiencias interactivas de aprendizaje de idiomas, ayudan a corregir la gramática o proporcionan práctica de escritura.
  • Exploración de conocimiento: Ayuda a los investigadores a explorar grandes cuerpos de texto generando resúmenes o respondiendo preguntas sobre temas específicos.

Limitaciones

• Datos de entrenamiento
  • La calidad y diversidad de los datos de entrenamiento influyen de manera significativa en las capacidades del modelo. Los sesgos o las lagunas en los datos de entrenamiento pueden generar limitaciones en las respuestas del modelo.
  • El alcance del conjunto de datos de entrenamiento determina las áreas temáticas que el modelo puede controlar de manera eficaz.
• Contexto y complejidad de la tarea
  • Los modelos son mejores en las tareas que se pueden enmarcar con instrucciones y estímulos claros. Las tareas abiertas o muy complejas pueden ser desafiantes.
  • El rendimiento de un modelo puede verse influenciado por la cantidad de contexto proporcionado (un contexto más extenso suele generar mejores resultados, hasta cierto punto).
• Ambigüedad y matices del lenguaje
  • El lenguaje natural es intrínsecamente complejo. Es posible que los modelos tengan dificultades para captar matices sutiles, sarcasmo o lenguaje figurado.
• Precisión fáctica
  • Los modelos generan respuestas basadas en la información que aprendieron de sus conjuntos de datos de entrenamiento, pero no son bases de conocimiento. Pueden generar afirmaciones fácticas incorrectas o desactualizadas.
• Common Sense
  • Los modelos se basan en patrones estadísticos en el lenguaje. Es posible que no tengan la capacidad de aplicar el razonamiento de sentido común en ciertas situaciones.

Consideraciones y riesgos éticos

El desarrollo de modelos de lenguaje visual (VLM) plantea varias inquietudes éticas. Para crear un modelo abierto, consideramos cuidadosamente lo siguiente:

• Sesgos y equidad
  • Los VLM entrenados con datos de texto e imágenes del mundo real a gran escala pueden reflejar los sesgos socioculturales incorporados en el material de entrenamiento. Estos modelos se sometieron a un escrutinio cuidadoso, al procesamiento previo de los datos de entrada descrito y a las evaluaciones posteriores que se informan en esta tarjeta.
• Información errónea y uso inadecuado
  • Los VLM se pueden usar de manera inadecuada para generar texto falso, engañoso o dañino.
  • Se proporcionan lineamientos para el uso responsable del modelo. Consulta el kit de herramientas de IA generativa responsable.
• Transparencia y responsabilidad:
  • En esta tarjeta de modelo, se resumen los detalles de la arquitectura, las capacidades, las limitaciones y los procesos de evaluación de los modelos.
  • Un modelo abierto desarrollado de forma responsable ofrece la oportunidad de compartir la innovación, ya que permite que la tecnología de VLM sea accesible para los desarrolladores y los investigadores de todo el ecosistema de IA.

Riesgos identificados y mitigaciones:

• Perpetuación de sesgos: Se recomienda realizar una supervisión continua (con métricas de evaluación y revisión humana) y la exploración de técnicas de eliminación de sesgos durante el entrenamiento del modelo, el ajuste fino y otros casos de uso.
• Generación de contenido dañino: Los mecanismos y los lineamientos para la seguridad del contenido son esenciales. Se recomienda a los desarrolladores que tengan precaución y que implementen las protecciones de seguridad del contenido adecuadas según sus políticas de productos y casos de uso de aplicaciones específicos.
• Uso inadecuado con fines maliciosos: Las limitaciones técnicas y la educación de los desarrolladores y los usuarios finales pueden ayudar a mitigar las aplicaciones maliciosas de los VLM. Se proporcionan recursos educativos y mecanismos de denuncia para que los usuarios marquen el uso inadecuado. Los usos prohibidos de los modelos de Gemma se describen en la Política de Uso Prohibido de Gemma.
• Incumplimientos de la privacidad: Los modelos se entrenaron con datos filtrados para quitar cierta información personal y otros datos sensibles. Se recomienda a los desarrolladores que cumplan con las reglamentaciones de privacidad con técnicas que preserven la privacidad.

Beneficios

En el momento del lanzamiento, esta familia de modelos proporciona implementaciones de modelos de lenguaje visual abiertos de alto rendimiento diseñados desde cero para el desarrollo de IA responsable en comparación con modelos de tamaño similar.

Con las métricas de evaluación de comparativas que se describen en este documento, estos modelos demostraron brindar un rendimiento superior a otras alternativas de modelos abiertos de tamaño comparable.