Kartu model ShieldGemma

Halaman Model: ShieldGemma

Referensi dan Dokumentasi Teknis:

• Toolkit AI Generatif yang Bertanggung Jawab
• ShieldGemma di Kaggle
• ShieldGemma di Hugging Face Hub

Persyaratan Penggunaan: Persyaratan

Authors: Google

Informasi Model

ShieldGemma 2 adalah model yang dilatih di checkpoint IT 4B Gemma 3 untuk klasifikasi keamanan gambar di seluruh kategori utama yang mengambil gambar dan menghasilkan label keamanan per kebijakan.

Deskripsi

ShieldGemma 2, yang dibuat di Gemma 3, adalah model parameter 4 miliar (4 miliar) yang memeriksa keamanan gambar sintetis dan alami terhadap kategori utama untuk membantu Anda membuat set data dan model yang andal. Dengan penambahan ini ke rangkaian model Gemma, peneliti dan developer kini dapat meminimalkan risiko konten berbahaya yang memengaruhi aplikasi mereka yang didukung AI Generatif di seluruh jenis bahaya utama.

Sebaiknya gunakan ShieldGemma 2 sebagai filter input untuk model bahasa visi, atau sebagai filter output sistem pembuatan gambar. Untuk melatih model keamanan gambar yang andal, kami memilih set data pelatihan gambar alami dan sintetis serta Gemma 3 yang disesuaikan dengan petunjuk untuk menunjukkan performa yang kuat. Kami membandingkan kebijakan keamanan dengan berbagai tolok ukur, dan merilis laporan teknis yang menyertakan tolok ukur pihak ketiga.

Input dan output

• Input: Gambar dan petunjuk perintah dengan definisi kebijakan.
• Output: Probabilitas token 'Ya' atau 'Tidak'. Skor yang lebih tinggi untuk token 'Ya' menunjukkan bahwa model yakin bahwa konten tersebut melanggar kebijakan yang disertakan. Kebalikan berlaku untuk token 'Tidak'. Kedua skor tersebut disediakan untuk mengaktifkan metrik dan kalibrasi klasifikasi.

Panduan untuk digunakan dalam dialog

Berikut adalah petunjuk perintah [Prompt Instruction]:

You are a policy expert trying to help determine whether a generated or real
image is in violation of the safety policy below. Your decision must very
clearly follow the specific language used in the safety policy and should not
include any interpretation outside of the safety policy.

<BEGIN_SAFETY_POLICY>
{policy}
</END_SAFETY_POLICY>

Does the image violate the above policy? Your Answer must start with 'Yes' or 'No'.

Kasus Penggunaan: Klasifikasi Gambar

Pengutipan

@article{shieldgemma2,
    title={ShieldGemma 2},
    url={https://ai.google.dev/gemma/docs/shieldgemma/model_card_2},
    author={ShieldGemma Team},
    year={2025}
}

Model Data

Data yang digunakan untuk pelatihan model dan cara data diproses.

Set Data Pelatihan

Set data pelatihan kami terdiri dari gambar alami dan gambar sintetis. Untuk gambar alami, kami mengambil sampel sebagian gambar dari set data WebLI (Web Language and Image) yang relevan dengan tugas keamanan. Untuk gambar sintetis, kami menggunakan pipeline pembuatan data internal untuk memungkinkan pembuatan perintah dan gambar yang sesuai yang dikontrol dan menyeimbangkan keragaman dan tingkat keparahan gambar. Untuk studi ini, jenis bahaya dibatasi pada konten berbahaya, seksual vulgar, dan kekerasan, hanya dalam bahasa Inggris. Subtopik dan topik permusuhan tambahan distrukturisasi menggunakan taksonomi yang sesuai dengan kebijakan masing-masing, dan berbagai aspek demografi, konteks, dan regional.

Prapemrosesan Data

Berikut adalah metode pembersihan dan pemfilteran data utama yang diterapkan pada data pelatihan: Pemfilteran CSAM: Pemfilteran CSAM (Materi Pelecehan Seksual terhadap Anak-Anak) diterapkan dalam proses persiapan data untuk memastikan pengecualian konten ilegal.

Informasi Penerapan

Hardware

ShieldGemma 2 dilatih menggunakan hardware Tensor Processing Unit (TPU) generasi terbaru (TPUv5e). Untuk mengetahui detail selengkapnya, lihat kartu model Gemma 3.

Software

Pelatihan dilakukan menggunakan JAX dan ML Pathways. Untuk mengetahui detail selengkapnya, lihat kartu model Gemma 3.

Evaluasi

Hasil Benchmark

ShieldGemma 2 4B dievaluasi terhadap set data internal dan eksternal. Set data internal kami dihasilkan secara sintetis melalui pipeline kurasi data gambar internal kami. Pipeline ini mencakup langkah-langkah utama seperti definisi masalah, pembuatan taksonomi keamanan, pembuatan kueri gambar, pembuatan gambar, analisis atribut, validasi kualitas label, dan lainnya. Kami memiliki sekitar 500 contoh untuk setiap kebijakan terkait bahaya. Rasio positifnya masing-masing adalah 39%, 67%, dan 32% untuk konten seksual, konten berbahaya, dan kekerasan. Kami juga akan merilis laporan teknis yang menyertakan evaluasi terhadap set data eksternal.

Hasil Evaluasi Tolok Ukur Internal

Etika dan Keselamatan

Pendekatan Evaluasi

Meskipun model ShieldGemma adalah model generatif, model ini dirancang untuk berjalan dalam mode penskoran guna memprediksi probabilitas bahwa token berikutnya akan Yes atau No. Oleh karena itu, evaluasi keamanan terutama berfokus pada output label keamanan gambar yang efektif.

Hasil Evaluasi

Model ini dinilai berdasarkan pertimbangan etika, keamanan, dan keadilan serta memenuhi pedoman internal. Jika dibandingkan dengan tolok ukur, set data evaluasi di-iterasi dan diseimbangkan dengan berbagai taksonomi. Label keamanan gambar juga diberi label secara manual dan diperiksa untuk kasus penggunaan yang tidak terdeteksi model, sehingga kami dapat meningkatkan kualitas putaran evaluasi.

Penggunaan dan Batasan

Model ini memiliki batasan tertentu yang harus diketahui pengguna.

Penggunaan yang Dimaksudkan

ShieldGemma 2 dimaksudkan untuk digunakan sebagai moderator konten keamanan, baik untuk input pengguna manusia, output model, atau keduanya. Model ini adalah bagian dari Responsible Generative AI Toolkit, yang merupakan kumpulan rekomendasi, alat, set data, dan model yang bertujuan untuk meningkatkan keamanan aplikasi AI sebagai bagian dari ekosistem Gemma.

Batasan

Semua batasan biasa untuk model bahasa besar berlaku, lihat kartu model Gemma 3 untuk detail selengkapnya. Selain itu, ada tolok ukur terbatas yang dapat digunakan untuk mengevaluasi moderasi konten sehingga data pelatihan dan evaluasi mungkin tidak mewakili skenario dunia nyata.

ShieldGemma 2 juga sangat sensitif terhadap deskripsi prinsip keamanan tertentu yang diberikan pengguna, dan mungkin berperforma tidak terduga dalam kondisi yang memerlukan pemahaman yang baik tentang ambiguitas dan nuansa bahasa.

Seperti model lain yang merupakan bagian dari ekosistem Gemma, ShieldGemma tunduk pada kebijakan penggunaan yang dilarang Google.

Pertimbangan dan Risiko Etis

Pengembangan model bahasa besar (LLM) menimbulkan beberapa masalah etika. Kami telah mempertimbangkan beberapa aspek dengan cermat dalam pengembangan model ini.

Lihat kartu model Gemma 3 untuk detail selengkapnya.

Manfaat

Pada saat rilis, lini model ini menyediakan implementasi model bahasa besar open source berperforma tinggi yang dirancang dari awal untuk pengembangan Responsible AI dibandingkan dengan model berukuran serupa.

Dengan menggunakan metrik evaluasi benchmark yang dijelaskan dalam dokumen ini, model ini telah terbukti memberikan performa yang lebih baik dibandingkan alternatif model terbuka lainnya yang berukuran sebanding.