PaliGemma 2-Modellkarte

Modellseite:PaliGemma

Ressourcen und technische Dokumentation:

• PaliGemma 2 auf Kaggle
• Responsible Generative AI Toolkit

Nutzungsbedingungen: Begriffe

Autoren: Google

Modellinformationen

Modellübersicht

PaliGemma 2 ist ein Update des PaliGemma-Vision-Language-Modells (VLM), das die Funktionen der Gemma 2-Modelle enthält. Die PaliGemma-Modellfamilie wurde von PaLI-3 inspiriert und basiert auf offenen Komponenten wie dem SigLIP-Modell für Computer Vision und den Gemma 2-Sprachmodellen. Sie nimmt sowohl Bilder als auch Text als Eingabe an und generiert Text als Ausgabe. Dabei werden mehrere Sprachen unterstützt. Es wurde für eine erstklassige Leistung bei der Feinabstimmung für eine Vielzahl von Aufgaben im Bereich Bild- und Sprachverarbeitung entwickelt, z. B. Bild- und Kurzvideounterschriften, Beantworten visueller Fragen, Textlesen, Objekterkennung und Objektsegmentierung.

Modellarchitektur

PaliGemma 2 besteht aus einem Transformer-Decoder und einem Vision Transformer-Bildencoder. Der Textdecoder wird von Gemma 2 mit den Parametergrößen 2 B, 9 B und 27 B initialisiert. Der Bildencoder wird von SigLIP-So400m/14 initialisiert. Ähnlich wie das ursprüngliche PaliGemma-Modell wird PaliGemma 2 gemäß den PaLI-3 trainiert.

Eingaben und Ausgaben

• Eingabe: Bild und Textstring, z. B. ein Prompt für eine Bildunterschrift oder eine Frage.
• Ausgabe: Generierter Text als Antwort auf die Eingabe, z. B. eine Bildunterschrift, eine Antwort auf eine Frage, eine Liste mit Koordinaten für den Begrenzungsrahmen eines Objekts oder Segmentierungs-Codewörter.

Quellenangabe

@article{
    title={PaliGemma 2: A Family of Versatile VLMs for Transfer},
    author={Andreas Steiner and André Susano Pinto and Michael Tschannen and Daniel Keysers and Xiao Wang and Yonatan Bitton and Alexey Gritsenko and Matthias Minderer and Anthony Sherbondy and Shangbang Long and Siyang Qin and Reeve Ingle and Emanuele Bugliarello and Sahar Kazemzadeh and Thomas Mesnard and Ibrahim Alabdulmohsin and Lucas Beyer and Xiaohua Zhai},
    year={2024},
    journal={arXiv preprint arXiv:2412.03555}
}

Modelldaten

Datasets vortrainieren

PaliGemma 2 wurde mit der folgenden Mischung aus Datasets vortrainiert:

• WebLI: WebLI (Web Language Image) ist ein mehrsprachiger Bild-Text-Dataset im Webmaßstab, der aus dem öffentlichen Web erstellt wurde. Mit einer Vielzahl von WebLI-Splits werden vielseitige Modellfunktionen wie visuelles semantisches Verständnis, Objektlokalisierung, visuell situiertes Textverständnis und Mehrsprachigkeit erworben.
• CC3M-35L:Ausgewählte englische Bild-Alt-Text-Paare von Webseiten (Sharma et al., 2018). Wir haben die Google Cloud Translation API verwendet, um die Inhalte in 34 weitere Sprachen zu übersetzen.
• VQ²A-CC3M-35L/VQG-CC3M-35L::Teilmenge von VQ2A-CC3M (Changpinyo et al., 2022a), die mit der Google Cloud Translation API in dieselben zusätzlichen 34 Sprachen wie CC3M-35L übersetzt wurden.
• OpenImages:Erkennungs- und objektbezogene Fragen und Antworten (Piergiovanni et al. 2022), die mithilfe von handgefertigten Regeln im OpenImages-Dataset generiert wurden.
• WIT: Bilder und Texte aus Wikipedia (Srinivasan et al., 2021).

PaliGemma 2 basiert auf Gemma 2. Informationen zu den Datasets für das Vortraining von Gemma 2 finden Sie auf der Modellkarte für Gemma 2.

Filter für den verantwortungsvollen Umgang mit Daten

Die folgenden Filter werden auf WebLI angewendet, um PaliGemma 2 mit sicheren und verantwortungsbewussten Daten zu trainieren:

• Filter für pornografische Bilder:Mit diesem Filter werden Bilder entfernt, die als pornografisch eingestuft werden.
• Filter für sichere Texte:Wir erkennen und filtern Bilder heraus, die mit unsicheren Texten kombiniert sind. Als unsicher gilt jeder Text, der Bilder des sexuellen Missbrauchs von Kindern, Pornografie, vulgäre Sprache oder andere anstößige Inhalte enthält oder sich darauf bezieht.
• Filterung unangemessener Texte:Außerdem verwenden wir die Perspective API, um Bilder zu erkennen und herauszufiltern, die mit Texten kombiniert sind, die als anstößig, obszön, hasserfüllt oder anderweitig unangemessen eingestuft werden.
• Filtern personenbezogener Daten in Texten:Wir haben bestimmte personenbezogene Daten und andere sensible Daten mithilfe der Cloud Data Loss Prevention API gefiltert, um die Privatsphäre von Personen zu schützen. Kennungen wie Sozialversicherungsnummern und andere Arten vertraulicher Informationen wurden entfernt.
• Zusätzliche Methoden:Filterung anhand der Qualität und Sicherheit von Inhalten gemäß unseren Richtlinien und Verfahren.

Informationen zur Implementierung

Hardware

PaliGemma 2 wurde mit der neuesten Generation von TPU-Hardware (Tensor Processing Unit, TPUv5e) trainiert.

Software

Das Training wurde mit JAX, Flax, TFDS und big_vision durchgeführt.

Mit JAX können Forscher die neueste Hardwaregeneration, einschließlich TPUs, nutzen, um große Modelle schneller und effizienter zu trainieren.

TFDS wird für den Zugriff auf Datasets und Flax für die Modellarchitektur verwendet. Der Code für die Feinabstimmung und der Inferenzcode von PaliGemma 2 sind im big_visionGitHub-Repository verfügbar.

Informationen zur Bewertung

Benchmark-Ergebnisse

Um die Übertragbarkeit von PaliGemma 2 auf eine Vielzahl akademischer Aufgaben zu überprüfen, optimieren wir die vorab trainierten Modelle für jede Aufgabe. Wir geben Ergebnisse für verschiedene Auflösungen an, um einen Eindruck davon zu vermitteln, bei welchen Aufgaben eine höhere Auflösung von Vorteil ist. Wichtig ist, dass keine dieser Aufgaben oder Datasets Teil der Vortrainingsdatenmischung sind und ihre Bilder ausdrücklich aus den Vortrainingsdaten im Web-Maßstab entfernt werden.

PaliGemma 2-Ergebnisse nach Modellauflösung und -größe

Zusätzliche Benchmarks

ICDAR 2015 Incidental

Total-Text

FinTabNet

PubTabNet

GrandStaff

PubChem

• PaliGemma 2 3B, vollständige Übereinstimmung: 94,8

DOCCI

• avg#char: Durchschnittliche Anzahl der Zeichen
• avg#sent: Durchschnittliche Anzahl von Sätzen
• NES: Nicht-impliziter Satz

MIMIC-CXR

Visuelles-räumliches Denken

Ethik und Sicherheit

Bewertungsansatz

Unsere Bewertungsmethoden umfassen strukturierte ethische und sicherheitsbezogene Bewertungen für alle relevanten Inhaltsrichtlinien, darunter:

• Bewertung durch Menschen anhand von Prompts zum Schutz von Kindern, zur Sicherheit von Inhalten und zu schädlichen Darstellungen. Weitere Informationen zum Bewertungsansatz finden Sie auf der Gemma-Modellkarte, jedoch mit Bilduntertitelung und Visual Question Answering-Konfigurationen.
• Benchmark-Bewertung für die Bild-zu-Text-Technologie: Benchmark-Vergleich mit relevanten akademischen Datasets wie dem FairFace-Dataset (Karkkainen et al., 2021).

Bewertungsergebnisse

• Die Ergebnisse der manuellen Bewertungen der Ethik und Sicherheit liegen innerhalb der zulässigen Grenzwerte für die Einhaltung der internen Richtlinien für Kategorien wie den Schutz von Kindern, die Sicherheit von Inhalten und die Darstellung von Schäden.
• Neben robusten internen Bewertungen verwenden wir auch die Perspective API (Grenzwert 0, 8), um Toxizität, vulgäre Sprache und andere potenzielle Probleme in den generierten Untertiteln für Bilder aus dem FairFace-Dataset zu messen. Wir geben die Maximal- und Medianwerte an, die in den einzelnen Untergruppen für jedes der Attribute „vermeintliches Geschlecht“, „Ethnie“ und „Alter“ beobachtet wurden.

Verwendung und Einschränkungen

Verwendungszweck

Open Vision Language Models (VLMs) haben eine breite Palette von Anwendungen in verschiedenen Branchen und Bereichen. Die folgende Liste möglicher Verwendungen ist nicht vollständig. Diese Liste soll Kontextinformationen zu den möglichen Anwendungsfällen liefern, die die Ersteller des Modells im Rahmen der Modellschulung und -entwicklung berücksichtigt haben. Unzulässige Verwendungen von Gemma-Modellen sind in der Richtlinie zur unzulässigen Nutzung von Gemma aufgeführt.

Sie können die Modelle für eine bestimmte Aufgabe aus dem Bereich „Vision und Sprache“ optimieren:

• Die vortrainierten Modelle können für eine Vielzahl von Aufgaben im Bereich Bild- und Sprachverarbeitung optimiert werden, z. B. Bilduntertitelung, Untertitelung kurzer Videos, Beantwortung visueller Fragen, Textlesen, Objekterkennung und Objektsegmentierung.
• Die vorab trainierten Modelle können für bestimmte Bereiche optimiert werden, z. B. für die Beantwortung von Fragen zu Remote-Sensoren, visuellen Fragen von blinden Personen, wissenschaftlichen Fragen oder die Beschreibung von UI-Elementfunktionen.
• Die vortrainierten Modelle können für Aufgaben mit nicht textbasierten Ergebnissen wie Begrenzungsrahmen oder Segmentierungsmasken optimiert werden.

Forschung zu visueller Sprache:

• Die vortrainierten und optimierten Modelle können als Grundlage für Forscher dienen, um mit VLM-Techniken zu experimentieren, Algorithmen zu entwickeln und zur Weiterentwicklung des Bereichs beizutragen.

Ethische Aspekte und Risiken

Die Entwicklung von Vision-Language-Modellen (VLMs) wirft mehrere ethische Fragen auf. Bei der Entwicklung eines offenen Modells haben wir Folgendes sorgfältig berücksichtigt:

• Voreingenommenheit und Fairness
  • VLMs, die mit großen Mengen an realen Bild-Text-Daten trainiert werden, können soziokulturelle Voreingenommenheiten widerspiegeln, die im Trainingsmaterial enthalten sind. Diese Modelle wurden sorgfältig geprüft. Die Vorverarbeitung der Eingabedaten und die nachfolgenden Bewertungen sind auf dieser Karte beschrieben.
• Fehlinformationen und Missbrauch
  • VLMs können missbraucht werden, um falschen, irreführenden oder schädlichen Text zu generieren.
  • Im Responsible Generative AI Toolkit finden Sie Richtlinien für die verantwortungsvolle Verwendung des Modells.
• Transparenz und Rechenschaftspflicht
  • Auf dieser Modellkarte finden Sie Details zur Architektur, zu den Funktionen, zu den Einschränkungen und zu den Bewertungsverfahren der Modelle.
  • Ein verantwortungsvoll entwickeltes offenes Modell bietet die Möglichkeit, Innovationen zu teilen, indem die VLM-Technologie für Entwickler und Forscher im gesamten KI-System zugänglich gemacht wird.

Identifizierte Risiken und Risikominderungen:

• Verfestigung von Voreingenommenheiten: Es wird empfohlen, während des Modelltrainings, der Feinabstimmung und anderer Anwendungsfälle kontinuierliche Überwachung (mithilfe von Bewertungsmesswerten und manueller Überprüfung) durchzuführen und Methoden zur Beseitigung von Voreingenommenheiten zu untersuchen.
• Erstellung schädlicher Inhalte:Mechanismen und Richtlinien für die Sicherheit von Inhalten sind unerlässlich. Entwicklern wird empfohlen, mit Bedacht vorzugehen und geeignete Maßnahmen zur Sicherheit von Inhalten zu implementieren, die auf ihren spezifischen Produktrichtlinien und Anwendungsfällen basieren.
• Missbrauch zu böswilligen Zwecken:Technische Einschränkungen und Aufklärung von Entwicklern und Endnutzern können dazu beitragen, die böswillige Verwendung von LLMs zu verhindern. Es werden Informationsressourcen und Meldemechanismen für Nutzer bereitgestellt, mit denen sie Missbrauch melden können: Responsible Generative AI Toolkit. Unzulässige Verwendungen von Gemma-Modellen sind in der Richtlinie zur unzulässigen Nutzung von Gemma aufgeführt.
• Datenschutzverstöße:Die Modelle wurden mit Daten trainiert, aus denen bestimmte personenbezogene Daten und vertrauliche Daten entfernt wurden. Entwickler werden aufgefordert, Datenschutzbestimmungen mit datenschutzfreundlichen Verfahren einzuhalten.

Beschränkungen

• Die meisten Einschränkungen, die von den zugrunde liegenden Gemma 2-Modellen übernommen wurden, gelten weiterhin:
  • VLMs eignen sich besser für Aufgaben, die mit klaren Prompts und Anweisungen formuliert werden können. Offene oder sehr komplexe Aufgaben können eine Herausforderung darstellen.
  • Die natürliche Sprache ist von Natur aus komplex. VLMs haben möglicherweise Schwierigkeiten, subtile Nuancen, Sarkasmus oder bildhafte Sprache zu verstehen.
  • VLMs generieren Antworten basierend auf Informationen, die sie aus ihren Trainingsdatensätzen gelernt haben, sind aber keine Wissensdatenbanken. Sie können falsche oder veraltete Sachinformationen generieren.
  • VLMs basieren auf statistischen Mustern in Sprache und Bildern. Möglicherweise fehlt es ihnen in bestimmten Situationen an gesundem Menschenverstand.
• PaliGemma 2 wurde in erster Linie als allgemeines vortrainiertes Modell für die Feinabstimmung auf spezielle Aufgaben entwickelt. Daher kann die Leistung „out of the box“ oder „Zero-Shot“ hinter Modellen zurückbleiben, die speziell für den allgemeinen Gebrauch entwickelt wurden.
• PaliGemma 2 ist kein Chatbot für Unterhaltungen mit mehreren Antworten. Sie ist für eine einzige Runde der Bild- und Texteingabe konzipiert.