Kartu model PaliGemma 2

Halaman model: PaliGemma

Referensi dan dokumentasi teknis:

• PaliGemma 2 di Kaggle
• Toolkit AI Generatif yang Bertanggung Jawab

Persyaratan Penggunaan: Persyaratan

Penulis: Google

Informasi model

Ringkasan model

PaliGemma 2 adalah update dari model bahasa visual (VLM) PaliGemma yang menggabungkan kemampuan model Gemma 2. Model keluarga PaliGemma terinspirasi oleh PaLI-3 dan didasarkan pada komponen terbuka seperti model visio SigLIP dan model bahasa Gemma 2. Model ini menggunakan gambar dan teks sebagai input dan menghasilkan teks sebagai output, yang mendukung beberapa bahasa. Model ini dirancang untuk performa penyesuaian terbaik di berbagai tugas bahasa-penglihatan seperti teks gambar dan video singkat, menjawab pertanyaan visual, membaca teks, deteksi objek, dan segmentasi objek.

Arsitektur model

PaliGemma 2 adalah komposisi dari decoder Transformer dan encoder gambar Vision Transformer. Dekoder teks diinisialisasi dari Gemma 2 dalam ukuran parameter 2B, 9B, dan 27B. Encoder gambar diinisialisasi dari SigLIP-So400m/14. Serupa dengan model PaliGemma asli, PaliGemma 2 dilatih dengan mengikuti resep PaLI-3.

Input dan output

• Input: String gambar dan teks, seperti perintah untuk memberi teks pada gambar, atau pertanyaan.
• Output: Teks yang dihasilkan sebagai respons terhadap input, seperti teks gambar, jawaban atas pertanyaan, daftar koordinat kotak pembatas objek, atau kata sandi segmentasi.

Pengutipan

@article{
    title={PaliGemma 2: A Family of Versatile VLMs for Transfer},
    author={Andreas Steiner and André Susano Pinto and Michael Tschannen and Daniel Keysers and Xiao Wang and Yonatan Bitton and Alexey Gritsenko and Matthias Minderer and Anthony Sherbondy and Shangbang Long and Siyang Qin and Reeve Ingle and Emanuele Bugliarello and Sahar Kazemzadeh and Thomas Mesnard and Ibrahim Alabdulmohsin and Lucas Beyer and Xiaohua Zhai},
    year={2024},
    journal={arXiv preprint arXiv:2412.03555}
}

Model data

Set data pra-pelatihan

PaliGemma 2 telah dilatih sebelumnya pada campuran set data berikut:

• WebLI: WebLI (Gambar Bahasa Web) adalah set data teks gambar multibahasa skala web yang dibuat dari web publik. Berbagai pemisahan WebLI digunakan untuk memperoleh kemampuan model yang serbaguna, seperti pemahaman semantik visual, pelokalan objek, pemahaman teks yang berlokasi secara visual, dan multibahasa.
• CC3M-35L: Pasangan image-alt_text bahasa Inggris yang diseleksi dari halaman web (Sharma et al., 2018). Kami menggunakan Google Cloud Translation API untuk menerjemahkan ke dalam 34 bahasa tambahan.
• VQ²A-CC3M-35L/VQG-CC3M-35L: Subkumpulan VQ2A-CC3M (Changpinyo et al., 2022a), diterjemahkan ke dalam 34 bahasa tambahan yang sama seperti CC3M-35L, menggunakan Google Cloud Translation API.
• OpenImages: Deteksi serta pertanyaan dan jawaban berbasis objek (Piergiovanni et al. 2022) yang dihasilkan oleh aturan buatan tangan pada set data OpenImages.
• WIT: Gambar dan teks yang dikumpulkan dari Wikipedia (Srinivasan et al., 2021).

PaliGemma 2 didasarkan pada Gemma 2, dan Anda dapat menemukan informasi tentang set data pra-pelatihan untuk Gemma 2 di kartu model Gemma 2.

Pemfilteran tanggung jawab data

Filter berikut diterapkan ke WebLI, dengan tujuan melatih PaliGemma 2 pada data yang aman dan bertanggung jawab:

• Pemfilteran gambar pornografi: Filter ini menghapus gambar yang dianggap bersifat pornografi.
• Pemfilteran keamanan teks: Kami mengidentifikasi dan memfilter gambar yang disambungkan dengan teks yang tidak aman. Teks tidak aman adalah teks apa pun yang dianggap berisi atau tentang gambar pelecehan seksual terhadap anak-anak (CSAI), pornografi, kata-kata tidak sopan, atau menyinggung.
• Pemfilteran toksisitas teks: Kami juga menggunakan Perspective API untuk mengidentifikasi dan memfilter gambar yang dipadankan dengan teks yang dianggap menghina, cabul, menyebarkan kebencian, atau bersifat negatif.
• Pemfilteran informasi pribadi teks: Kami memfilter informasi pribadi tertentu dan data sensitif lainnya menggunakan Cloud Data Loss Prevention (DLP) API untuk melindungi privasi individu. ID seperti nomor jaminan sosial dan jenis informasi sensitif lainnya telah dihapus.
• Metode tambahan: Pemfilteran berdasarkan kualitas dan keamanan konten sesuai dengan kebijakan dan praktik kami.

Informasi penerapan

Hardware

PaliGemma 2 dilatih menggunakan hardware Tensor Processing Unit (TPU) generasi terbaru (TPUv5e).

Software

Pelatihan selesai menggunakan JAX, Flax, TFDS, dan big_vision.

JAX memungkinkan peneliti memanfaatkan hardware generasi terbaru, termasuk TPU, untuk pelatihan model besar yang lebih cepat dan efisien.

TFDS digunakan untuk mengakses set data dan Flax digunakan untuk arsitektur model. Kode penyesuaian dan kode inferensi PaliGemma 2 dirilis di repositori GitHub big_vision.

Informasi evaluasi

Hasil benchmark

Untuk memverifikasi kemampuan transfer PaliGemma 2 ke berbagai tugas akademis, kami menyesuaikan model terlatih di setiap tugas. Kami melaporkan hasil pada resolusi yang berbeda untuk memberikan kesan tentang tugas mana yang mendapatkan manfaat dari peningkatan resolusi. Yang penting, tidak ada tugas atau set data ini yang merupakan bagian dari campuran data prapelatihan, dan gambarnya dihapus secara eksplisit dari data prapelatihan skala web.

Hasil PaliGemma 2 berdasarkan resolusi dan ukuran model

Tolok Ukur Tambahan

ICDAR 2015 Incidental

Total-Text

FinTabNet

PubTabNet

GrandStaff

PubChem

• PaliGemma 2 3B, Kecocokan Penuh: 94,8

DOCCI

• avg#char: Jumlah rata-rata karakter
• avg#sent: Jumlah rata-rata kalimat
• NES: Kalimat non-implikasi

MIMIC-CXR

Pemikiran Spasial Visual

Etika dan keselamatan

Pendekatan evaluasi

Metode evaluasi kami mencakup evaluasi etika dan keamanan terstruktur di seluruh kebijakan konten yang relevan, termasuk:

• Evaluasi manual pada perintah yang mencakup keselamatan anak, keamanan konten, dan bahaya representasi. Lihat kartu model Gemma untuk mengetahui detail selengkapnya tentang pendekatan evaluasi, tetapi dengan penyiapan teks visual dan pertanyaan visual.
• Evaluasi benchmark Image-to-Text: Benchmark terhadap set data akademik yang relevan seperti Set Data FairFace (Karkkainen et al., 2021).

Hasil evaluasi

• Hasil evaluasi manual dari evaluasi etika dan keamanan berada dalam batas yang dapat diterima untuk memenuhi kebijakan internal untuk kategori seperti keselamatan anak, keselamatan konten, dan bahaya representasi.
• Selain evaluasi internal yang andal, kami juga menggunakan Perspective API (nilai minimum 0,8) untuk mengukur toksisitas, kata-kata tidak sopan, dan potensi masalah lainnya dalam teks yang dibuat untuk gambar yang bersumber dari set data FairFace. Kami melaporkan nilai maksimum dan median yang diamati di seluruh subgrup untuk setiap atribut jenis kelamin, etnis, dan usia yang dirasakan.

Penggunaan dan batasan

Penggunaan yang dimaksudkan

Model Bahasa Visi Terbuka (VLM) memiliki berbagai aplikasi di berbagai industri dan domain. Daftar potensi penggunaan berikut tidak lengkap. Tujuan daftar ini adalah untuk memberikan informasi kontekstual tentang kemungkinan kasus penggunaan yang dipertimbangkan pembuat model sebagai bagian dari pelatihan dan pengembangan model. Penggunaan model Gemma yang dilarang diuraikan dalam Kebijakan Penggunaan Terlarang Gemma.

Menyesuaikan tugas bahasa-penglihatan tertentu:

• Model terlatih dapat disesuaikan pada berbagai tugas bahasa-penglihatan seperti: teks gambar, teks video singkat, penjawaban pertanyaan visual, pembacaan teks, deteksi objek, dan segmentasi objek.
• Model terlatih sebelumnya dapat disesuaikan untuk domain tertentu seperti penjawaban pertanyaan deteksi jarak jauh, pertanyaan visual dari orang yang buta, penjawaban pertanyaan sains, menjelaskan fungsi elemen UI.
• Model terlatih dapat disesuaikan untuk tugas dengan output non-tekstual seperti kotak pembatas atau mask segmentasi.

Riset bahasa-penglihatan:

• Model terlatih dan model yang disesuaikan dapat berfungsi sebagai dasar bagi peneliti untuk bereksperimen dengan teknik VLM, mengembangkan algoritma, dan berkontribusi pada kemajuan bidang ini.

Pertimbangan dan risiko etis

Pengembangan model bahasa-visi (VLM) menimbulkan beberapa masalah etika. Dalam membuat model terbuka, kami telah mempertimbangkan hal-hal berikut dengan cermat:

• Bias dan Keadilan
  • VLM yang dilatih menggunakan data teks-gambar dunia nyata berskala besar dapat mencerminkan bias sosial-budaya yang disematkan dalam materi pelatihan. Model ini telah melalui pemeriksaan yang cermat, prapemrosesan data input dijelaskan, dan evaluasi posterior dilaporkan dalam kartu ini.
• Misinformasi dan Penyalahgunaan
  • VLM dapat disalahgunakan untuk menghasilkan teks yang salah, menyesatkan, atau berbahaya.
  • Panduan disediakan untuk penggunaan yang bertanggung jawab dengan model ini, lihat Responsible Generative AI Toolkit.
• Transparansi dan Akuntabilitas
  • Kartu model ini merangkum detail tentang arsitektur, kemampuan, batasan, dan proses evaluasi model.
  • Model terbuka yang dikembangkan secara bertanggung jawab menawarkan peluang untuk berbagi inovasi dengan membuat teknologi VLM dapat diakses oleh developer dan peneliti di seluruh ekosistem AI.

Risiko yang diidentifikasi dan mitigasi:

• Perpetuasi bias: Sebaiknya lakukan pemantauan berkelanjutan (menggunakan metrik evaluasi, peninjauan manual) dan eksplorasi teknik penghapusan bias selama pelatihan model, penyesuaian, dan kasus penggunaan lainnya.
• Pembuatan konten yang merugikan: Mekanisme dan pedoman untuk keamanan konten sangatlah penting. Developer dianjurkan untuk berhati-hati dan menerapkan pengamanan keamanan konten yang sesuai berdasarkan kebijakan produk dan kasus penggunaan aplikasi tertentu.
• Penyalahgunaan untuk tujuan berbahaya: Batasan teknis serta edukasi developer dan pengguna akhir dapat membantu mengurangi aplikasi LLM yang berbahaya. Referensi edukasi dan mekanisme pelaporan bagi pengguna untuk melaporkan penyalahgunaan disediakan: lihat Toolkit AI Generatif yang Bertanggung Jawab. Penggunaan model Gemma yang dilarang diuraikan dalam Kebijakan Penggunaan Terlarang Gemma.
• Pelanggaran privasi: Model dilatih dengan data yang difilter untuk menghapus informasi pribadi dan data sensitif tertentu. Developer dianjurkan untuk mematuhi peraturan privasi dengan teknik yang menjaga privasi.

Batasan

• Sebagian besar batasan yang diwarisi dari model Gemma 2 yang mendasarinya masih berlaku:
  • VLM lebih baik dalam tugas yang dapat dibingkai dengan perintah dan petunjuk yang jelas. Tugas terbuka atau yang sangat kompleks mungkin sulit.
  • Bahasa alami pada dasarnya bersifat kompleks. VLM mungkin kesulitan memahami nuansa halus, sarkasme, atau bahasa kiasan.
  • VLM menghasilkan respons berdasarkan informasi yang dipelajari dari set data pelatihan, tetapi bukan merupakan basis pengetahuan. Model tersebut dapat menghasilkan pernyataan faktual yang salah atau usang.
  • VLM mengandalkan pola statistik dalam bahasa dan gambar. Mereka mungkin tidak memiliki kemampuan untuk menerapkan penalaran akal sehat dalam situasi tertentu.
• PaliGemma 2 dirancang terutama untuk berfungsi sebagai model terlatih umum untuk penyesuaian terhadap tugas khusus. Oleh karena itu, performa "out of the box" atau "zero-shot"-nya mungkin tertinggal dari model yang dirancang khusus untuk penggunaan tujuan umum.
• PaliGemma 2 bukan chatbot multi-giliran. Fungsi ini dirancang untuk satu putaran input gambar dan teks.