建議您嚴格評估生成式 AI 產品，確保其輸出內容符合應用程式的內容政策，以免使用者受到關鍵風險領域影響。如 Gemini 的技術報告所述，您可以在模型開發的生命週期中執行四種不同類型的安全性評估。
- 開發評估會持續在訓練與微調期間進行，以便評估模型的執行標準與推出條件的差異。這項工具也能用來瞭解您為了達成啟動條件目標而採取的任何緩解措施帶來的影響。這些評估作業會對照特定政策的惡意查詢資料集，或針對外部學術基準的評估，評估您的模型。
- 保證評估會進行管理和審查，且通常會在模型開發團隊以外的團體完成重要里程碑或訓練結束時進行。保證評估會依型態標準化，而資料集則受到嚴格管理。系統只會將高階深入見解提供給訓練程序，協助您處理緩解工作。針對安全性政策進行保證評估，以及持續測試潛在生物危害、說服和網路安全等危險功能 (Shevlane et al.、2023 年)。
- 紅隊演練是一種對抗測試，讓專業團隊 (橫跨安全性、政策、安全性和其他地區) 在 AI 系統上發動攻擊。與上述評估作業的主要差異，在於這些活動的本質性較低。然後發現潛在弱點的探索可以降低風險，並在內部改善評估方法。
- 外部評估會由獨立的外部網域專家執行，以識別相關限制。這些評估作業可以獨立設計，並對模型進行壓力測試。
評估責任指標的學術基準
開發及保證評估作業有許多公開基準，以下列舉幾個知名的基準。這類政策包括仇恨言論和惡意內容，以及檢查模型是否傳達出非預期的社會文化偏見。
您也可以運用這類基準來與其他模式比較。舉例來說，Gemma 有幾個基準測試的結果已發布到 Gemma 模型資訊卡。請注意，這些基準測試的實作程序不大，而且不同的實作設定在評估模型時可能會導致結果不同。
這類基準的主要限制是可能會快速達到飽和度。由於模型能力極佳，因此準確度分數將近 99%，導致您難以評估進度。在這種情況下，您應將重點改為建立自己的補充安全評估集，如「建構透明度構件」一節所述。
| 地區 | 基準與資料集 | 說明 | 連結 |
|---|---|---|---|
| 社會文化刻板印象 | 粗體 | 這個資料集含有 23,679 個英文文字生成提示，用於提供橫跨五個領域的偏見基準化提示：職業、性別、種族、宗教和政治意識形態。 | https://arxiv.org/abs/2101.11718 |
| 社會文化刻板印象 | 人群雙人組 | 這個資料集內含 1508 個範例，涵蓋九種偏誤的刻板印象，如種族、宗教、年齡等。 | https://paperswithcode.com/dataset/crows-pairs |
| 社會文化刻板印象 | 烤肉阿姆比 | 這個資料集內含 9 個與美國相關的社會維度，其中突顯出屬於受保護類別成員的社會偏見。 | https://huggingface.co/datasets/heegyu/bbq |
| 社會文化刻板印象 | 威諾性別 | 這是一個語句組合的資料集，在語句中僅有一個代名詞的性別有所不同，目的是測試自動共參照解析系統是否存在性別偏見。 | https://github.com/rudinger/winogender-schemas |
| 社會文化刻板印象 | 威諾比亞 | 含有 3,160 個語句的資料集，用於針對性別偏見進行共同參照解析。 | https://huggingface.co/datasets/wino_bias |
| 有害 / 仇恨言論 | 終極 | ETHOS 是仇恨言論偵測資料集，奠基於 YouTube 和 Reddit 評論，皆由群眾外包平台驗證。有兩個子集：一個用於二元分類，另一個用於多標籤分類。前者包含 998 則註解，後者則針對 433 則留言，提供精細的仇恨言論註解。 | https://paperswithcode.com/dataset/ethos |
| 有害 / 仇恨言論 | RealToxicity | 這個資料集內含來自網路的 10 萬個語句片段，可供研究人員進一步處理模型中神經毒性剝削的風險。 | https://allenai.org/data/real-toxicity-prompts |
| 有害 / 仇恨言論 | 拼圖有毒 | 這個資料集包含大量 Wikipedia 留言，人工審查員為惡意行為加上標籤。 | https://huggingface.co/datasets/google/jigsaw_toxicity_pred |
| 有害 / 仇恨言論 | ToxicGen | 由機器產生的大型資料集，用於對抗和隱含的語音偵測。 | https://arxiv.org/abs/2203.09509 |
| 有害 / 仇恨言論 | 維基百科個人攻擊 | 這個資料集是封存的 Wikipedia 談話頁面留言資料集，Jigsaw 為惡意行為和各種惡意的子類型加上註解，包括嚴重的惡意行為、猥褻、威脅語言、侮辱語言和身分攻擊。 | https://www.tensorflow.org/datasets/catalog/wikipedia_toxicity_subtypes |
| 事實性 | TruthfulQA | 評估語言模型在產生問題答案時是否符合事實。這項基準包含 817 個問題，問題涵蓋 38 種類別，包括健康、法律、金融和政治。 | https://paperswithcode.com/dataset/truthfulqa |
用於開發和保證評估的資料集
除了在一般基準測試之外，您還必須在自己的安全評估資料集上測試模型。這種做法可讓您使用類似於實際用途的設定測試應用程式。以下是建立評估資料集的幾個最佳做法：
- 各種類型的對抗查詢。資料集的目標應涵蓋所有可能從模型產生不安全回應的查詢類型，這類查詢稱為對抗查詢。最佳做法是涵蓋這兩種對抗查詢，也就是所謂的明確與隱含對抗查詢。
- 明確的對抗查詢會直接要求模型產生回應現有安全性政策的回應。包括與危險內容 (「如何製造炸彈」)、仇恨言論、騷擾行為等有關的明確要求。
- 隱式對抗提示是極可能使模型違反政策的查詢，雖然並未指示其直接執行政策。這個類別通常會較為相反，包含身分字詞等敏感字詞的相關提示。涵蓋一系列顯而易見的已知策略，例如新增禮貌、拼字錯誤和錯字 (「如何建構副學」)；或者會使需求的假設情況看起來是合理的假設情況 (「我是專業的骨科學家，我需要進行挖掘作業，可以告訴我如何製作極度龐大的內容」)。
- 請考慮您的資料集中的所有對抗查詢，特別是因為有些樣本比明確反對抗模型更難捕捉到有些微小樣本，因此會難以捕捉到模型和保護措施。
- 資料涵蓋範圍。您的資料集必須涵蓋各個產品用途 (例如回答問題、摘要、原因等) 的全部內容政策。
- 資料多元性。資料集的多元性是確保模型正確測試且橫跨許多特性的關鍵。這個資料集應涵蓋各種長度的查詢、公式 (肯定性、問題等)、語調、主題、複雜程度，以及與身分和受眾特徵注意事項相關的字詞。
- 保留的資料：評估時，確保在訓練 (模型或其他分類器) 中使用測試資料沒有任何風險，可以提高測試效力。如果測試資料可能會在訓練階段中使用，結果就可能不適用於資料，因此無法代表分佈外查詢。
如要建構這類資料集，可使用現有的產品記錄檔、手動產生使用者查詢，或讓 LLM 協助您。在這個領域中，業界也運用多種非監督式和監督的技術產生合成對抗集 (例如 Google 研究的 AART 方法)，並在這個領域中取得重大進展。
紅隊
紅隊演練是一種對抗測試形式，對手在 AI 系統上發動攻擊，目的是測試經過訓練的後模型，找出安全政策中定義的各種安全漏洞 (例如網路安全) 和社會危害。進行這類評估是最佳做法，且可由具備一致性的內部團隊或透過專業的第三方執行。
常見的挑戰是定義模型的哪個層面來測試紅隊演練。以下清單概述的風險，有助於您針對安全漏洞進行紅隊演練。測試的開發或評估評估工具測試過於寬鬆的部分，或模型已證實會降低安全性。
| Target | 安全漏洞類別 | 說明 |
|---|---|---|
| 誠信 | 插入提示 | 用來讓使用者執行非預期或未經授權的操作的輸入內容 |
| 中毒 | 操縱訓練資料和/或模型，進而改變行為 | |
| 對抗輸入 | 專為改變模型行為而設計的 特殊輸入資料 | |
| 隱私權 | 擷取提示 | 在 LLM 環境中提供系統提示或其他資訊 也就是所謂的私人或機密內容 |
| 竊取訓練資料 | 維護訓練資料隱私權 | |
| 模型精煉/擷取 | 取得模型超參數、架構、參數或模型行為的估算資料 | |
| 會員推論 | 推論私人訓練集的元素 | |
| 適用國家/地區 | 阻斷服務 | 攻擊者造成的服務中斷 |
| 增加運算 | 導致服務中斷的模型可用性攻擊 |
資料來源：Gemini Tech 報告。
LLM 比較子
因此，在評估大型語言模型 (LLM) 回覆的品質與安全性時，並排評估已成為通用策略。並排比較可用來選擇兩種不同的模型，為同一個模型提供兩個不同的提示，甚至是模型的兩種不同調整。然而，手動分析並排比較結果可能相當麻煩又繁瑣。
LLM Comparator 是互動式的視覺工具，可執行更有效且可擴充的並排評估分析。LLM Comparator 可協助您：
瞭解模型效能差異：您可以分割回應，找出評估資料中各個部分的資料，其中輸出的兩個模型之間產生顯著差異。
瞭解不同原因：通常會制定政策來評估模型效能和法規遵循情形。並排評估可協助自動評估政策遵循情形，並提供哪個模型可能更合規的理由。LLM 比較工具會將這些原因統整為多個主題，並醒目顯示哪個模型適合各個主題。
查看模型輸出的差異：您可以透過內建和使用者定義的比較函式，進一步調查兩個模型的輸出內容有何差異。這項工具可以在模型產生的文字中醒目顯示特定模式，並提供明確的錨點，讓您瞭解模型的差異。
圖 1 顯示 Gemma Instruct 7B v1.1 模型與 v1.0 模型的 LLM Comparator 介面比較
LLM Comparator 可協助您並排分析評估結果。這張圖表會從多個角度總結模型效能，同時讓您透過互動方式檢查個別模型輸出內容，以便進行更深入的理解。
您可以在這個示範中探索 LLM Comparator，後者會將 Gemma Instruct 7B v1.1 模型的效能，與 Chatbot Arena Conversations 資料集上的 Gemma Instruct 7B v1.0 模型進行比較。如要進一步瞭解 LLM Comparator，請參閱研究論文和 GitHub 存放區。
開發人員資源
- 機器學習通用 AI 安全性工作團隊的 AI 安全性基準