ShieldGemma モデルカード

モデルページ: ShieldGemma

リソースと技術ドキュメント:

• 責任ある生成 AI ツールキット
• Kaggle の ShieldGemma
• Hugging Face Hub の ShieldGemma

利用規約: 利用規約

作成者: Google

モデル情報

ShieldGemma 2 は、主要なカテゴリにわたる画像の安全性分類のために Gemma 3 の 4B IT チェックポイントでトレーニングされたモデルです。画像を取り込み、ポリシーごとに安全ラベルを出力します。

説明

Gemma 3 上に構築された ShieldGemma 2 は、40 億（40 億）パラメータのモデルで、合成画像と自然画像の両方の安全性を主要なカテゴリと照らし合わせてチェックし、堅牢なデータセットとモデルの構築に役立ちます。Gemma モデル ファミリーにこのモデルが追加されたことで、研究者とデベロッパーは、主要な有害性タイプにわたって、生成 AI を活用したアプリケーションに有害なコンテンツが影響するリスクを最小限に抑えることができます。

ShieldGemma 2 は、ビジョン言語モデルへの入力フィルタとして、または画像生成システムの出力フィルタとして使用することをおすすめします。堅牢な画像安全性モデルをトレーニングするために、自然画像と合成画像のトレーニング データセットをキュレートし、命令をチューニングした Gemma 3 を使用して優れたパフォーマンスを示しました。安全性に関するポリシーをさまざまなベンチマークと比較し、サードパーティのベンチマークを取り入れた技術レポートを公開しました。

入力と出力

• 入力: ポリシー定義を含む画像とプロンプト インストラクション。
• 出力: [Yes] トークンと [No] トークンの確率。[Yes] トークンのスコアが高いほど、コンテンツが含まれるポリシーに違反しているとモデルが確信していることを示します。「No」トークンの場合はその逆です。分類指標とキャリブレーションを有効にするために、両方のスコアが提供されます。

プロンプトで使用するガイドライン

プロンプトの指示 [Prompt Instruction] は次のとおりです。

You are a policy expert trying to help determine whether a generated or real
image is in violation of the safety policy below. Your decision must very
clearly follow the specific language used in the safety policy and should not
include any interpretation outside of the safety policy.

<BEGIN_SAFETY_POLICY>
{policy}
</END_SAFETY_POLICY>

Does the image violate the above policy? Your Answer must start with 'Yes' or 'No'.

ユースケース: 画像分類

引用

@article{shieldgemma2,
    title={ShieldGemma 2},
    url={https://ai.google.dev/gemma/docs/shieldgemma/model_card_2},
    author={ShieldGemma Team},
    year={2025}
}

モデルデータ

モデルのトレーニングに使用されたデータと、データの処理方法。

トレーニング データセット

トレーニング データセットは、自然画像と合成画像の両方で構成されています。自然画像の場合、安全性タスクに関連する WebLI（Web Language and Image）データセットから画像のサブセットをサンプリングします。合成画像の場合、内部データ生成パイプラインを使用して、画像の多様性と重大度のバランスをとりながら、プロンプトと対応する画像を制御された方法で生成します。この調査では、有害性の種類は危険、露骨な性的表現、暴力的なコンテンツに限定され、英語のみでした。その他の敵対的トピックとサブトピックは、それぞれのポリシーに対応する分類と、さまざまなユーザー属性、コンテキスト、地域の側面を使用して構造化されています。

データの前処理

トレーニング データに適用された主なデータのクリーニングとフィルタリングの方法は次のとおりです。CSAM フィルタリング: 違法なコンテンツを確実に除外するために、データ準備プロセスで CSAM（児童性的虐待のコンテンツ）フィルタリングが適用されました。

実装情報

ハードウェア

ShieldGemma 2 は、最新世代の Tensor Processing Unit（TPU）ハードウェア（TPUv5e）を使用してトレーニングされています。詳細については、Gemma 3 モデルカードをご覧ください。

ソフトウェア

トレーニングには JAX と ML Pathways が使用されました。詳細については、Gemma 3 モデルカードをご覧ください。

評価

ベンチマークの結果

ShieldGemma 2 4B は、内部データセットと外部データセットに対して評価されました。内部データセットは、内部画像データ キュレーション パイプラインによって合成生成されます。このパイプラインには、問題の定義、安全性分類の生成、画像クエリの生成、画像の生成、属性分析、ラベル品質の検証などの主要なステップが含まれます。有害なコンテンツに関するポリシーごとに約 500 個のサンプルがあります。正の比率は、性的なコンテンツ、危険なコンテンツ、暴力でそれぞれ 39%、67%、32% です。また、外部データセットに対する評価を含む技術レポートも公開します。

社内ベンチマーク評価の結果

倫理と安全性

評価のアプローチ

ShieldGemma モデルは生成モデルですが、スコアリング モードで実行され、次のトークンが Yes または No になる確率を予測するように設計されています。したがって、安全性評価では主に、効果的な画像の安全ラベルを出力することに重点を置いています。

評価結果

これらのモデルは、倫理、安全性、公平性に関する考慮事項について評価され、内部ガイドラインを満たしています。ベンチマークと比較して、評価データセットは反復処理され、さまざまな分類とバランスが取れました。画像の安全ラベルも人間がラベル付けし、モデルを回避するユースケースがないか確認しました。これにより、評価の回数を増やして改善することができました。

使用と制限事項

これらのモデルには、ユーザーが認識しておくべき特定の制限があります。

用途

ShieldGemma 2 は、人間のユーザー入力、モデル出力、またはその両方に対して、安全性コンテンツのモデレーターとして使用することを目的としています。これらのモデルは、責任ある生成 AI ツールキットの一部です。これは、Gemma エコシステムの一部として AI アプリケーションの安全性を向上させることを目的とした推奨事項、ツール、データセット、モデルのセットです。

制限事項

大規模言語モデルの通常の制限がすべて適用されます。詳細については、Gemma 3 モデルカードをご覧ください。また、コンテンツ管理の評価に使用できるベンチマークは限られているため、トレーニング データと評価データが実際のシナリオを代表するものではない可能性があります。

また、ShieldGemma 2 は、ユーザーが指定した安全性に関する原則の説明に非常に敏感であり、言語の曖昧さやニュアンスの理解が必要な状況では予測できない動作をする可能性があります。

Gemma エコシステムの他のモデルと同様に、ShieldGemma には Google の使用禁止に関するポリシーが適用されます。

倫理的な考慮事項とリスク

大規模言語モデル（LLM）の開発には、いくつかの倫理的な懸念が伴います。Google は、これらのモデルの開発において、さまざまな側面を慎重に検討しました。

詳細については、Gemma 3 モデルカードをご覧ください。

利点

リリース時点で、このモデル ファミリーは、同様のサイズのモデルと比較して、責任ある AI 開発のためにゼロから設計された高性能のオープン大規模言語モデル実装を提供します。

このドキュメントで説明されているベンチマーク評価指標を使用すると、これらのモデルは、同規模の他のオープンモデルよりも優れたパフォーマンスを提供することが示されています。