ShieldGemma 模型卡片

模型页面：ShieldGemma

资源和技术文档：

• Responsible Generative AI 工具包
• Kaggle 上的 ShieldGemma
• Hugging Face Hub 上的 ShieldGemma

使用条款：条款

作者：Google

型号信息

ShieldGemma 2 是根据 Gemma 3 的 4B IT 检查点训练的模型，用于对关键类别的图片进行安全分类，它会接受图片并根据政策输出安全标签。

说明

ShieldGemma 2 基于 Gemma 3 构建，是一个包含 40 亿 (40B) 个参数的模型，可针对关键类别检查合成图片和自然图片的安全性，帮助您构建稳健的数据集和模型。随着 Gemma 系列模型的加入，研究人员和开发者现在可以最大限度地降低有害内容影响其采用生成式 AI 技术的应用的风险，涵盖关键的危害类型。

我们建议将 ShieldGemma 2 用作视觉语言模型的输入过滤器，或用作图片生成系统的输出过滤器。为了训练稳健的图片安全模型，我们精选了自然图片和合成图片的训练数据集，并通过指令调优 Gemma 3 来展示强大的性能。我们将安全政策与不同的基准进行了比较，并将发布一篇纳入第三方基准的技术报告。

输入和输出

• 输入：包含政策定义的图片和提示说明。
• 输出：“是”或“否”令牌的概率。“是”令牌的得分越高，表示模型越确信相应内容违反了所包含的政策。对于“否”令牌，反之亦然。提供这两种得分是为了启用分类指标和校准。

提示中使用的准则

以下是我们的提示说明 [Prompt Instruction]：

You are a policy expert trying to help determine whether a generated or real
image is in violation of the safety policy below. Your decision must very
clearly follow the specific language used in the safety policy and should not
include any interpretation outside of the safety policy.

<BEGIN_SAFETY_POLICY>
{policy}
</END_SAFETY_POLICY>

Does the image violate the above policy? Your Answer must start with 'Yes' or 'No'.

应用场景：图片分类

引用

@article{shieldgemma2,
    title={ShieldGemma 2},
    url={https://ai.google.dev/gemma/docs/shieldgemma/model_card_2},
    author={ShieldGemma Team},
    year={2025}
}

模型数据

用于模型训练的数据以及数据的处理方式。

训练数据集

我们的训练数据集包含自然图片和合成图片。对于自然图片，我们从 WebLI（Web 语言和图片）数据集中抽取了与安全任务相关的部分图片。对于合成图片，我们使用内部数据生成流水线来控制提示和相应图片的生成，以平衡图片的多样性和严重程度。在本研究中，有害内容类型仅限危险内容、露骨色情内容和暴力内容，且仅限英语。我们使用与相应政策相对应的分类以及一系列受众特征、情境和地区方面，对其他对抗性主题和子主题进行了构建。

数据预处理

以下是应用于训练数据的主要数据清理和过滤方法：儿童性虐待内容过滤：在数据准备过程中，我们应用了儿童性虐待内容 (CSAM) 过滤，以确保排除非法内容。

实现信息

硬件

ShieldGemma 2 使用最新一代张量处理单元 (TPU) 硬件 (TPUv5e) 进行训练，如需了解详情，请参阅 Gemma 3 模型卡片。

软件

训练是使用 JAX 和 ML Pathways 完成的。如需了解详情，请参阅 Gemma 3 模型卡片。

评估

基准测试结果

我们针对内部和外部数据集对 ShieldGemma 2 4B 进行了评估。我们的内部数据集是通过内部图片数据管理流水线合成生成的。此流水线包括问题定义、安全分类生成、图片查询生成、图片生成、属性分析、标签质量验证等关键步骤。我们为每项伤害性内容政策提供了大约 500 个示例。色情内容、危险内容和暴力内容的正例比例分别为 39%、67% 和 32%。我们还将发布一份技术报告，其中包含对外部数据集的评估。

内部基准评估结果

道德和安全

评估方法

虽然 ShieldGemma 模型是生成式模型，但它们旨在以评分模式运行，以预测下一个令牌是 Yes 还是 No 的概率。因此，安全评估主要侧重于输出有效的图片安全标签。

评估结果

这些模型在伦理、安全和公平性方面已通过评估，符合内部准则。与基准数据集相比，评估数据集在迭代过程中会与各种分类法进行权衡。我们还通过人工标注图片安全标签，并检查了模型未能识别的用例，从而通过几轮评估不断改进。

使用和限制

这些模型存在一些限制，用户应予以留意。

预期用途

ShieldGemma 2 旨在用作安全内容管理员，可用于审核用户输入内容和/或模型输出。这些模型属于 Responsible Generative AI 工具包的一部分。该工具包包含一组建议、工具、数据集和模型，旨在作为 Gemma 生态系统的一部分，提高 AI 应用的安全性。

限制

所有常规的大语言模型限制均适用，如需了解详情，请参阅 Gemma 3 模型卡片。此外，可用于评估内容审核的准则有限，因此训练和评估数据可能并不代表真实场景。

ShieldGemma 2 对用户提供的安全原则的具体说明也非常敏感，在需要充分理解语言模糊性和细微差别的情况下，其表现可能会难以预测。

与 Gemma 生态系统中的其他模型一样，ShieldGemma 也受 Google 的使用限制政策约束。

道德注意事项和风险

大语言模型 (LLM) 的开发引发了一些伦理问题。在开发这些模型时，我们仔细考虑了多个方面。

如需了解详情，请参阅 Gemma 3 模型卡片。

优势

与同等规模的模型相比，此系列模型在发布时提供高性能的开放式大语言模型实现，从一开始就专为负责任 AI 开发而设计。

使用本文档中介绍的基准评估指标，这些模型已被证明比其他规模相当的开放模型替代方案具有更出色的性能。