Scheda del modello PaliGemma 2

Pagina del modello: PaliGemma

Risorse e documentazione tecnica:

• PaliGemma 2 su Kaggle
• Responsible Generative AI Toolkit

Termini e condizioni d'uso: Termini

Autori: Google

Informazioni sul modello

Riepilogo modello

PaliGemma 2 è un aggiornamento del modello linguistico visivo (VLM) PaliGemma che incorpora le funzionalità dei modelli Gemma 2. La famiglia di modelli PaliGemma è ispirata a PaLI-3 e si basa su componenti aperti come il modello di visione SigLIP e i modelli linguistici Gemma 2. Accetta come input sia immagini che testo e genera testo come output, supportando più lingue. È progettato per offrire prestazioni di ottimizzazione di primo livello su un'ampia gamma di attività di visione e linguaggio, come sottotitoli codificati di immagini e video brevi, risposta a domande visive, lettura di testo, rilevamento e segmentazione di oggetti.

Architettura del modello

PaliGemma 2 è composto da un decoder Transformer e da un encoder di immagini Vision Transformer. Il decodificatore di testo viene inizializzato da Gemma 2 nelle dimensioni dei parametri 2B, 9B e 27B. Il codificatore di immagini viene inizializzato da SigLIP-So400m/14. Come il modello PaliGemma originale, PaliGemma 2 viene addestrato seguendo le ricette di PaLI-3.

Input e output

• Input: stringa di testo e immagine, ad esempio un prompt per aggiungere una didascalia all'immagine o una domanda.
• Output: testo generato in risposta all'input, ad esempio una didascalia dell'immagine, una risposta a una domanda, un elenco di coordinate della casella delimitante dell'oggetto o parole di codice di segmentazione.

Citazione

@article{
    title={PaliGemma 2: A Family of Versatile VLMs for Transfer},
    author={Andreas Steiner and André Susano Pinto and Michael Tschannen and Daniel Keysers and Xiao Wang and Yonatan Bitton and Alexey Gritsenko and Matthias Minderer and Anthony Sherbondy and Shangbang Long and Siyang Qin and Reeve Ingle and Emanuele Bugliarello and Sahar Kazemzadeh and Thomas Mesnard and Ibrahim Alabdulmohsin and Lucas Beyer and Xiaohua Zhai},
    year={2024},
    journal={arXiv preprint arXiv:2412.03555}
}

Dati del modello

Set di dati preaddestrati

PaliGemma 2 è preaddestrato sulla seguente combinazione di set di dati:

• WebLI: WebLI (Web Language Image) è un insieme di dati di testo e immagini multilingue su larga scala sul web creato dal web pubblico. Viene utilizzata una vasta gamma di suddivisioni WebLI per acquisire funzionalità versatili del modello, come la comprensione semantica visiva, la localizzazione degli oggetti, la comprensione del testo in base alla posizione visiva e la multilinguismo.
• CC3M-35L: coppie di immagini e testo alternativo in inglese selezionate da pagine web (Sharma et al., 2018). Abbiamo utilizzato l'API Google Cloud Translation per tradurre in altre 34 lingue.
• VQ²A-CC3M-35L/VQG-CC3M-35L: un sottoinsieme di VQ2A-CC3M (Changpinyo et al., 2022a), tradotto nelle stesse 34 lingue aggiuntive di CC3M-35L, utilizzando l'API Google Cloud Translation.
• OpenImages: domande e risposte basate sul rilevamento e sugli oggetti (Piergiovanni et al. 2022) generate da regole create manualmente sul set di dati OpenImages.
• WIT: immagini e testi raccolti da Wikipedia (Srinivasan et al., 2021).

PaliGemma 2 si basa su Gemma 2 e puoi trovare informazioni sui set di dati di preaddestramento per Gemma 2 nella scheda del modello Gemma 2.

Filtro della responsabilità dei dati

I seguenti filtri vengono applicati a WebLI, con l'obiettivo di addestrare PaliGemma 2 su dati sicuri e responsabili:

• Filtro di immagini pornografiche:questo filtro rimuove le immagini ritenute di natura pornografica.
• Filtro di sicurezza del testo:identifichiamo e rimuoviamo le immagini associate a testo non sicuro. Per testo non sicuro si intende qualsiasi testo ritenuto contenente o relativo a immagini pedopornografiche, pornografia, linguaggio volgare o comunque offensivo.
• Filtro per contenuti tossici: utilizziamo inoltre l'API Perspective per identificare e filtrare le immagini associate a testo ritenuto offensivo, osceno, di incitamento all'odio o altrimenti tossico.
• Filtro delle informazioni personali nel testo: abbiamo filtrato determinate informazioni personali e altri dati sensibili utilizzando l'API Cloud Data Loss Prevention (DLP) per proteggere la privacy delle persone. Sono stati rimossi identificatori come i codici fiscali e altri tipi di informazioni sensibili.
• Metodi aggiuntivi: filtri in base alla qualità e alla sicurezza dei contenuti in linea con le nostre norme e pratiche.

Informazioni sull'implementazione

Hardware

PaliGemma 2 è stato addestrato utilizzando l'hardware (TPUv5e) di ultima generazione delle Tensor Processing Unit (TPU).

Software

L'addestramento è stato completato utilizzando JAX, Flax, TFDS e big_vision.

JAX consente ai ricercatori di sfruttare l'hardware di ultima generazione, tra cui le TPU, per un addestramento più rapido ed efficiente di modelli di grandi dimensioni.

TFDS viene utilizzato per accedere ai set di dati e Flax per l'architettura del modello. Il codice di ottimizzazione fine e il codice di inferenza di PaliGemma 2 vengono rilasciati nel big_vision repository GitHub.

Informazioni sulla valutazione

Risultati del benchmark

Per verificare la trasferibilità di PaliGemma 2 a un'ampia gamma di attività accademiche, perfezioniamo i modelli preaddestrati su ogni attività. Report risultati su risoluzioni diverse per fornire un'impressione di quali attività beneficiano dall'aumento della risoluzione. È importante sottolineare che nessuna di queste attività o di questi set di dati fa parte della miscela di dati di pre-addestramento e le relative immagini vengono rimosse esplicitamente dai dati di pre-addestramento su larga scala.

Risultati di PaliGemma 2 in base alla risoluzione e alle dimensioni del modello

Benchmark aggiuntivi

ICDAR 2015 Incidental

Total-Text

FinTabNet

PubTabNet

GrandStaff

PubChem

• PaliGemma 2 3B, corrispondenza completa: 94,8

DOCCI

• avg#char: numero medio di caratteri
• avg#sent: numero medio di frasi
• NES: frasi senza implicazione

MIMIC-CXR

Ragionamento spaziale visivo

Etica e sicurezza

Approccio di valutazione

I nostri metodi di valutazione includono valutazioni etiche e di sicurezza strutturate in base alle norme relative ai contenuti pertinenti, tra cui:

• Valutazione umana di prompt che riguardano la sicurezza dei bambini, la sicurezza dei contenuti e i danni causati dalla rappresentazione. Per maggiori dettagli sull'approccio di valutazione, consulta la scheda del modello Gemma, ma con le configurazioni di risposta alle domande visive e di generazione di didascalie delle immagini.
• Valutazione del benchmark di conversione di immagini in testo: benchmark rispetto a set di dati accademici pertinenti come FairFace Dataset (Karkkainen et al., 2021).

Risultati valutazione

• I risultati delle valutazioni umane relative a etica e sicurezza rientrano in ngưỡng accettabili per rispettare le norme interne per categorie come sicurezza dei bambini, sicurezza dei contenuti e danni rappresentati.
• Oltre a valutazioni interne rigorose, utilizziamo anche l'API Perspective (soglia di 0, 8) per misurare la tossicità, il linguaggio volgare e altri potenziali problemi nei sottotitoli codificati generati per le immagini provenienti dal set di dati FairFace. Vengono riportati i valori massimi e medi osservati nei sottogruppi per ciascuno degli attributi percepiti di genere, etnia ed età.

Utilizzo e limitazioni

Utilizzo previsto

I modelli linguistici di Open Vision (VLM) hanno un'ampia gamma di applicazioni in vari settori e domini. Il seguente elenco di potenziali utilizzi non è completo. Lo scopo di questo elenco è fornire informazioni contestuali sui possibili casi d'uso che gli autori del modello hanno preso in considerazione durante l'addestramento e lo sviluppo del modello. Gli usi vietati dei modelli Gemma sono descritti nelle Norme relative all'uso vietato di Gemma.

Ottimizzazione per un'attività specifica di visione e linguaggio:

• I modelli preaddestrati possono essere perfezionati su un'ampia gamma di attività legate alla visione e al linguaggio, come l'inserimento di didascalie per immagini, la trascrizione di video brevi, la risposta a domande visive, la lettura di testo, il rilevamento e la segmentazione degli oggetti.
• I modelli pre-addestrati possono essere ottimizzati per domini specifici, come la risposta a domande sul rilevamento remoto, le domande visive di persone cieche, la risposta a domande scientifiche e la descrizione delle funzionalità degli elementi dell'interfaccia utente.
• I modelli preaddestrati possono essere ottimizzati per attività con output non di testo, come riquadri di delimitazione o maschere di segmentazione.

Ricerca sulla visione e sul linguaggio:

• I modelli preaddestrati e ottimizzati possono servire da base per sperimentare tecniche VLM, sviluppare algoritmi e contribuire allo sviluppo del settore.

Considerazioni etiche e rischi

Lo sviluppo di modelli linguistici visivi (VLM) solleva diversi problemi di natura etico. Nel creare un modello aperto, abbiamo preso in considerazione attentamente quanto segue:

• Bias ed equità
  • I VLM addestrati su dati di testo e immagini reali di grandi dimensioni possono riflettere bias socio-culturali incorporati nel materiale di addestramento. Questi modelli sono stati sottoposti a un'attenta verifica, al pretrattamento dei dati di input descritto e alle valutazioni successive riportate in questa scheda.
• Disinformazione e uso improprio
  • I VLM possono essere utilizzati in modo improprio per generare testo falso, fuorviante o dannoso.
  • Per l'uso responsabile del modello sono disponibili linee guida, consulta il Responsible Generative AI Toolkit.
• Trasparenza e responsabilizzazione
  • Questa scheda del modello riassume i dettagli sull'architettura, sulle funzionalità, sulle limitazioni e sui processi di valutazione dei modelli.
  • Un modello aperto sviluppato in modo responsabile offre l'opportunità di condividere l'innovazione rendendo la tecnologia VLM accessibile a sviluppatori e ricercatori dell'ecosistema dell'IA.

Rischi identificati e mitigazioni:

• Perpetuazione dei bias: ti invitiamo a eseguire un monitoraggio continuo (utilizzando metriche di valutazione, revisione umana) e a esplorare tecniche di rimozione dei bias durante l'addestramento del modello, l'ottimizzazione e altri casi d'uso.
• Generare contenuti dannosi: sono essenziali meccanismi e linee guida per la sicurezza dei contenuti. Gli sviluppatori sono invitati a prestare attenzione e implementare misure di salvaguardia della sicurezza dei contenuti appropriate in base alle loro specifiche norme relative ai prodotti e ai casi d'uso delle applicazioni.
• Uso improprio a scopo dannoso: le limitazioni tecniche e la formazione di sviluppatori e utenti finali possono contribuire a mitigare le applicazioni dannose degli LLM. Sono fornite risorse didattiche e meccanismi di segnalazione per consentire agli utenti di segnalare gli abusi: consulta il toolkit per l'IA generativa responsabile. Gli usi vietati dei modelli Gemma sono descritti nelle Norme relative all'uso vietato di Gemma.
• Violazioni della privacy: i modelli sono stati addestrati su dati filtrati per rimuovere determinate informazioni personali e dati sensibili. Gli sviluppatori sono invitati a rispettare le normative sulla privacy con tecniche incentrate sulla tutela della privacy.

Limitazioni

• Si applicano ancora la maggior parte delle limitazioni ereditate dai modelli di Gemma 2 sottostanti:
  • I VLM sono più efficaci per le attività che possono essere formulate con prompt e istruzioni chiari. Le attività aperte o molto complesse potrebbero essere difficili.
  • Il linguaggio naturale è intrinsecamente complesso. I VLM potrebbero avere difficoltà a cogliere sfumature sottili, sarcasmo o linguaggio figurato.
  • I VLM generano risposte in base alle informazioni apprese dai set di dati di addestramento, ma non sono knowledge base. Potrebbero generare affermazioni fattuali errate o obsolete.
  • I VLM si basano su schemi statistici nel linguaggio e nelle immagini. Potrebbero mancare della capacità di applicare il ragionamento di buon senso in determinate situazioni.
• PaliGemma 2 è stato progettato principalmente per fungere da modello preaddestrato generale per l'ottimizzazione fine per attività specializzate. Di conseguenza, le sue prestazioni "out of the box" o "zero-shot" potrebbero non essere all'altezza dei modelli progettati appositamente per uso generico.
• PaliGemma 2 non è un chatbot multi-turno. È progettato per un singolo round di input di immagini e testo.