Tarjeta de modelo de PaliGemma 2

Página del modelo: PaliGemma

Recursos y documentación técnica:

• PaliGemma 2 en Kaggle
• Kit de herramientas de IA generativa responsable

Condiciones de Uso: Términos

Autores: Google

Información del modelo

Resumen del modelo

PaliGemma 2 es una actualización del modelo de lenguaje de visión (VLM) PaliGemma que incorpora las capacidades de los modelos Gemma 2. La familia de modelos PaliGemma se inspira en PaLI-3 y se basa en componentes abiertos, como el modelo de visión SigLIP y los modelos de lenguaje Gemma 2. Toma imágenes y texto como entrada y genera texto como salida, y admite varios idiomas. Está diseñado para lograr un rendimiento de ajuste fino líder en su clase en una amplia variedad de tareas de lenguaje visual, como la leyenda de imágenes y videos cortos, la respuesta a preguntas visuales, la lectura de texto, la detección de objetos y la segmentación de objetos.

Arquitectura del modelo

PaliGemma 2 es la composición de un decodificador de Transformer y un codificador de imágenes de Vision Transformer. El decodificador de texto se inicializa desde Gemma 2 en los tamaños de parámetros 2B, 9B y 27B. El codificador de imágenes se inicializa desde SigLIP-So400m/14. Al igual que el modelo PaliGemma original, PaliGemma 2 se entrena siguiendo las recetas de PaLI-3.

Entradas y salidas

• Entrada: Cadena de imagen y texto, como una instrucción para subtitular la imagen o una pregunta.
• Salida: Es el texto generado en respuesta a la entrada, como una leyenda de la imagen, una respuesta a una pregunta, una lista de coordenadas del cuadro de límite del objeto o palabras de código de segmentación.

Cita

@article{
    title={PaliGemma 2: A Family of Versatile VLMs for Transfer},
    author={Andreas Steiner and André Susano Pinto and Michael Tschannen and Daniel Keysers and Xiao Wang and Yonatan Bitton and Alexey Gritsenko and Matthias Minderer and Anthony Sherbondy and Shangbang Long and Siyang Qin and Reeve Ingle and Emanuele Bugliarello and Sahar Kazemzadeh and Thomas Mesnard and Ibrahim Alabdulmohsin and Lucas Beyer and Xiaohua Zhai},
    year={2024},
    journal={arXiv preprint arXiv:2412.03555}
}

Datos del modelo

Conjuntos de datos de entrenamiento previo

PaliGemma 2 está previamente entrenado con la siguiente combinación de conjuntos de datos:

• WebLI: WebLI (Web Language Image) es un conjunto de datos de texto e imagen multilingüe a escala web creado a partir de la Web pública. Se usa una amplia variedad de divisiones de WebLI para adquirir capacidades de modelos versátiles, como la comprensión semántica visual, la localización de objetos, la comprensión de texto situado visualmente y la multilingüismo.
• CC3M-35L: Parejas de imagen-texto alternativo en inglés seleccionadas de páginas web (Sharma et al., 2018). Usamos la API de Google Cloud Translation para traducir a 34 idiomas adicionales.
• VQ²A-CC3M-35L/VQG-CC3M-35L: Un subconjunto de VQ2A-CC3M (Changpinyo et al., 2022a), traducido a los mismos 34 idiomas adicionales que CC3M-35L, con la API de Google Cloud Translation.
• OpenImages: Detección y preguntas y respuestas conscientes de objetos (Piergiovanni et al. 2022) generadas por reglas manuales en el conjunto de datos de OpenImages.
• WIT: Imágenes y textos recopilados de Wikipedia (Srinivasan et al., 2021).

PaliGemma 2 se basa en Gemma 2, y puedes encontrar información sobre los conjuntos de datos de entrenamiento previo de Gemma 2 en la tarjeta de modelo de Gemma 2.

Filtrado de responsabilidad con los datos

Los siguientes filtros se aplican a WebLI con el objetivo de entrenar a PaliGemma 2 en datos seguros y responsables:

• Filtrado de imágenes pornográficas: Este filtro quita las imágenes que se consideran de naturaleza pornográfica.
• Filtrado de seguridad del texto: Identificamos y filtramos las imágenes que se vinculan con texto no seguro. El texto no seguro es cualquier texto que se considere que contiene o trata sobre imágenes de abuso sexual infantil (CSAI), pornografía, lenguaje vulgar o que sea ofensivo de otra manera.
• Filtrado de toxicidad de texto: Además, usamos la API de Perspective para identificar y filtrar las imágenes que se combinan con texto que se considera insultante, obsceno, agraviante o, de alguna otra manera, tóxico.
• Filtrado de información personal de texto: Filtramos cierta información personal y otros datos sensibles con la API de Cloud Data Loss Prevention (DLP) para proteger la privacidad de las personas. Se quitaron los identificadores, como los números de seguridad social y otros tipos de información sensible.
• Métodos adicionales: Filtrado según la calidad y seguridad del contenido en línea con nuestras políticas y prácticas

Información de implementación

Hardware

PaliGemma 2 se entrenó con la generación más reciente de hardware de la unidad de procesamiento tensorial (TPU) (TPUv5e).

Software

El entrenamiento se completó con JAX, Flax, TFDS y big_vision.

JAX permite a los investigadores aprovechar la última generación de hardware, incluidas las TPU, para el entrenamiento más rápido y eficiente de modelos grandes.

TFDS se usa para acceder a los conjuntos de datos y Flax se usa para la arquitectura del modelo. El código de ajuste fino y de inferencia de PaliGemma 2 se publica en el repositorio de GitHub de big_vision.

Información de la evaluación

Resultados de comparativas

Para verificar la transferibilidad de PaliGemma 2 a una amplia variedad de tareas académicas, ajustamos los modelos previamente entrenados en cada tarea. Informamos los resultados en diferentes resoluciones para brindar una impresión de qué tareas se benefician de una resolución más alta. Es importante destacar que ninguna de estas tareas o conjuntos de datos forma parte de la combinación de datos de entrenamiento previo, y sus imágenes se quitan de forma explícita de los datos de entrenamiento previo a escala web.

Resultados de PaliGemma 2 por resolución y tamaño del modelo

Comparativas adicionales

ICDAR 2015 Incidental

Total-Text

FinTabNet

PubTabNet

GrandStaff

PubChem

• PaliGemma 2 3B, concordancia completa: 94.8

DOCCI

• avg#char: Cantidad promedio de caracteres
• avg#sent: Cantidad promedio de oraciones
• NES: Oraciones sin implicación

MIMIC-CXR

Razonamiento espacial visual

Ética y seguridad

Enfoque de evaluación

Nuestros métodos de evaluación incluyen evaluaciones de ética y seguridad estructuradas en las políticas de contenido relevantes, incluidas las siguientes:

• Evaluación humana de instrucciones sobre la seguridad infantil, la seguridad del contenido y los daños de representación Consulta la tarjeta del modelo de Gemma para obtener más detalles sobre el enfoque de evaluación, pero con configuraciones de subtítulos de imágenes y respuestas visuales a preguntas.
• Evaluación de comparativas de imagen a texto: Realiza comparativas con conjuntos de datos académicos relevantes, como el conjunto de datos de FairFace (Karkkainen et al., 2021).

Resultados de la evaluación

• Los resultados de las evaluaciones manuales de ética y seguridad están dentro de los umbrales aceptables para cumplir con las políticas internas de categorías como la seguridad infantil, la seguridad del contenido y los daños de representación.
• Además de las evaluaciones internas sólidas, también usamos la API de Perspective (umbral de 0.8) para medir la toxicidad, la profanidad y otros posibles problemas en los subtítulos generados para las imágenes provenientes del conjunto de datos de FairFace. Informamos los valores máximos y medios observados en los subgrupos para cada uno de los atributos percibidos de género, etnia y edad.

Uso y limitaciones

Uso previsto

Los modelos de lenguaje de visión abierta (VLM) tienen una amplia variedad de aplicaciones en diferentes industrias y dominios. La siguiente lista de usos potenciales no es exhaustiva. El propósito de esta lista es proporcionar información contextual sobre los posibles casos de uso que los creadores del modelo consideraron como parte del entrenamiento y desarrollo del modelo. Los usos prohibidos de los modelos de Gemma se describen en la Política de Uso Prohibido de Gemma.

Ajusta la tarea específica de lenguaje y visión:

• Los modelos previamente entrenados se pueden ajustar en un amplio rango de tareas de lenguaje visual, como la escritura de leyendas de imágenes, la escritura de leyendas de videos cortos, la respuesta a preguntas visuales, la lectura de texto, la detección de objetos y la segmentación de objetos.
• Los modelos previamente entrenados se pueden ajustar para dominios específicos, como la respuesta de preguntas de detección remota, las preguntas visuales de personas ciegas, la respuesta de preguntas de ciencia y la descripción de las funciones de los elementos de la IU.
• Los modelos previamente entrenados se pueden ajustar para tareas con resultados no textuales, como cuadros de límite o máscaras de segmentación.

Investigación de lenguaje visual:

• Los modelos previamente entrenados y los modelos ajustados pueden servir como base para que los investigadores experimenten con técnicas de VLM, desarrollen algoritmos y contribuyan al avance del campo.

Consideraciones y riesgos éticos

El desarrollo de modelos de lenguaje visual (VLM) plantea varias inquietudes éticas. Para crear un modelo abierto, consideramos cuidadosamente lo siguiente:

• Sesgos y equidad
  • Los VLM entrenados con datos de imagen y texto del mundo real a gran escala pueden reflejar sesgos socioculturales incorporados en el material de entrenamiento. Estos modelos se sometieron a un escrutinio cuidadoso, se describió el procesamiento previo de los datos de entrada y se informaron las evaluaciones posteriores en esta tarjeta.
• Información errónea y uso inadecuado
  • Los VLM se pueden usar de forma inadecuada para generar texto falso, engañoso o dañino.
  • Se proporcionan lineamientos para el uso responsable del modelo. Consulta el kit de herramientas de IA generativa responsable.
• Transparencia y responsabilidad
  • En esta tarjeta de modelo, se resumen los detalles de la arquitectura, las capacidades, las limitaciones y los procesos de evaluación de los modelos.
  • Un modelo abierto desarrollado de forma responsable ofrece la oportunidad de compartir la innovación, ya que permite que la tecnología de VLM sea accesible para los desarrolladores y los investigadores de todo el ecosistema de IA.

Riesgos identificados y mitigaciones:

• Perpetuación de sesgos: Se recomienda realizar una supervisión continua (con métricas de evaluación y revisión humana) y la exploración de técnicas de eliminación de sesgos durante el entrenamiento del modelo, el ajuste fino y otros casos de uso.
• Generación de contenido perjudicial: Los mecanismos y los lineamientos para la seguridad del contenido son esenciales. Se recomienda a los desarrolladores que tengan precaución y que implementen las protecciones de seguridad del contenido adecuadas según sus políticas de productos y casos de uso de aplicaciones específicos.
• Uso inadecuado con fines maliciosos: Las limitaciones técnicas y la educación de los desarrolladores y usuarios finales pueden ayudar a mitigar las aplicaciones maliciosas de los LLM. Se proporcionan recursos educativos y mecanismos de denuncia para que los usuarios marquen el uso inadecuado: consulta el kit de herramientas de IA generativa responsable. Los usos prohibidos de los modelos de Gemma se describen en la Política de Uso Prohibido de Gemma.
• Incumplimientos de la privacidad: Los modelos se entrenaron con datos filtrados para quitar cierta información personal y datos sensibles. Se recomienda a los desarrolladores que cumplan con las reglamentaciones de privacidad con técnicas que preserven la privacidad.

Limitaciones

• Aún se aplican la mayoría de las limitaciones heredadas de los modelos subyacentes de Gemma 2:
  • Los VLM son mejores para las tareas que se pueden enmarcar con instrucciones y consignas claras. Las tareas abiertas o muy complejas pueden ser un desafío.
  • El lenguaje natural es intrínsecamente complejo. Los VLM pueden tener dificultades para captar matices sutiles, sarcasmo o lenguaje figurado.
  • Los VLM generan respuestas basadas en la información que aprendieron de sus conjuntos de datos de entrenamiento, pero no son bases de conocimiento. Pueden generar afirmaciones factuales incorrectas o desactualizadas.
  • Los VLM se basan en patrones estadísticos en el lenguaje y las imágenes. Es posible que no tengan la capacidad de aplicar el razonamiento de sentido común en ciertas situaciones.
• PaliGemma 2 se diseñó principalmente para servir como un modelo general previamente entrenado para ajustarse a tareas especializadas. Por lo tanto, su rendimiento “listo para usar” o “sin entrenamiento previo” podría quedarse atrás en comparación con los modelos diseñados específicamente para uso general.
• PaliGemma 2 no es un chatbot de varios turnos. Está diseñado para una sola ronda de entrada de imagen y texto.