模型對齊

為人工智慧 (AI) 模型 (例如 Gemini 或 Gemma) 建立提示，以便完美捕捉您的意圖，這項工作可能不容易。這通常 您必須手動撰寫提示，然後在各種用途中進行測試 並確定符合您的需求您可以根據結果更新指定目標 加入新句子或在同一處變更字詞 另一個例子。這過程不是很原則，不一定能獲得最佳 也就是預測結果

Google 已開發一種方法，利用 LLM 回覆 會根據網頁內容自動更新提示範本 以淺顯易懂的語言，針對模型輸出內容提供意見回饋。您的意見回饋會連同提示和模型輸出內容傳送至 LLM，以便更新提示，讓提示更符合您預期的行為。

這個方法有兩種方式：

開放原始碼程式庫

模型對齊功能是開放原始碼 Python 程式庫，以 PyPI 上的套件形式發布，可透過 API 對齊來自使用者回饋的提示。這個程式庫是根據我們研究的 鼓勵使用者提供意見 根據標籤資料自動建立分類器。

使用模型對齊程式庫為 Gemma 整理提示範本

啟動 Google Colab

這個程式庫支援兩種自動更新提示範本的工作流程：

  1. 根據原則反覆更新：這個工作流程會使用 LLM 從模型輸出內容的間接批評，或直接編輯模型輸出內容，藉此提煉規範。你可以 先反覆建立一或多項規範，再傳送至大型語言模型 更新提示範本以符合這些規範你可以 並搭配 LLM 資料彙整指南
  2. 直接批評模型輸出結果。這個工作流程會收集您對整個模型輸出的意見回饋，並將這些意見回饋與提示和模型輸出結果，直接提供給 LLM，以產生更新的提示範本。

這兩種工作流程對你的應用程式來說可能都很實用。值得注意的是 權衡取捨是製定實用、具體的流程 有助於您做出明智決策 資訊公開。

模型對齊流程圖

圖 1. 這張流程圖說明兩個 Model Alignment 程式庫工作流程的差異，以及如何根據規範直接更新提示範本。請注意，這項程序是重複進行的，而且這些工作流程並非互斥，您隨時可以切換。

查看採用 Gemini 的 Colab 筆記本，即可： 同時使用這兩種工作流程，為 Gemma 2 調整提示。

Vertex AI Studio 中的對齊

Google 的 Vertex AI Studio 新增了一個 透過「直接」工作流程執行「修正提示」功能 使用 ModelAlign 開放原始碼程式庫來補強程式碼的不足之處 包括執行、評估和比較工具

執行提示後，您可以針對模型應採取的不同行為提供意見回饋，而 Vertex AI Studio 會使用 Gemini 草擬重寫內容。您可以接受建議的變更，並按一下按鈕重新執行更新的提示，也可以更新意見回饋，讓 Gemini 編寫另一個候選版本。

在 Vertex AI Studio 中對齊模型

圖 2. 「修正提示」Vertex AI Studio 的功能 根據使用者意見回饋更新提示

您可以自行探索模型對齊功能：

  • 執行這個 Colab 筆記本，我們會運用 Gemini 調整多項工作 以這兩種校正方法為基礎，開啟開放權重 Gemma 2 模型的提示。
  • 試試「修正提示」模型校正特徵 Vertex AI Studio