为人工智能 (AI) 模型（例如 Gemini）创建提示，或 Gemma，完美体现了你的意图，绝非易事。通常，您必须手动编写提示，然后在各种用例中对其进行测试，以确保其符合您的需求。根据结果，您可以有针对性地进行更新 更改提示内容：在一个位置更改一些单词、 另一个。此过程缺乏原则性，可能无法取得最佳结果。
Google 开发了一种方法，可根据您以简单语言提供的有关模型输出的反馈，使用 LLM 自动更新提示模板。您的反馈以及问题和模型的输出会发送到 LLM，LLM 会更新问题，以更好地契合您的预期行为。
此方法通过以下两种方式提供：
- 借助开源
model-alignmentPython 库，您可以灵活地将此方法纳入到您的软件和工作流中。 - 这种方法的一个版本集成到了 Vertex 中， 使用 AI Studio，只需点击几下即可使用此工作流。
开源库
模型对齐是一个开源 Python 库，作为 基于 PyPI 的软件包，支持根据人工提示调整提示， 通过 API 获取反馈该库基于我们对通过人工反馈更新提示和根据标记数据自动创建分类器的研究。
使用模型对齐库为 Gemma 精选提示模板
 启动 Google Colab
|
此库支持两种自动更新提示模板的工作流：
- 根据原则进行迭代更新。此工作流使用 LLM 从对模型输出的间接批评或对模型输出的直接修改中提炼准则。您可以 以迭代方式创建一个或多个准则，然后再将其发送给 LLM； 更新提示模板，以遵守这些准则。您可以 还手动编制了指南，并将其与 LLM 提取的指南一起纳入其中。
- 直接对模型输出进行批评。此工作流会获取您对整个模型输出的反馈，并将其与问题和模型输出一起直接馈送给 LLM，以生成更新的问题模板。
这两个工作流可能都适用于您的应用。值得关注的 您需要权衡的是是否会出现指南，该流程是一个实用、具体的过程 有助于提供相关信息的工件，例如， 透明度。
图 1. 此流程图说明了两个“模型一致性”库工作流程在何处和如何分歧，以便根据准则或直接更新问题模板。请注意，该过程是一个迭代过程，这些工作流 并非互斥的，因此您可以随时在它们之间切换。
查看 Colab 笔记本，了解如何使用 Gemini 通过这两种工作流程为 Gemma 2 对齐提示。
Vertex AI Studio 中的对齐
Google 的 Vertex AI Studio 新增了 基于“直接”工作流程的“优化提示”功能 作为其编写基础， 运行、评估和对比工具。
运行提示后，你可以就模型的 行为方式不同，而 Vertex AI Studio 使用 Gemini 进行草稿 重写。您可以接受建议的更改，然后点击按钮重新运行更新后的提示，也可以更新反馈，让 Gemini 再起草一个候选答案。
图 2. Vertex AI Studio 的“优化问题”功能，用于根据用户反馈更新问题。
链接
亲自探索模型校准功能：
- 运行此 Colab 笔记本，该笔记本使用 Gemini 来校准各种模型 使用两种对齐方法的开放权重 Gemma 2 模型的提示。
- 试用 Vertex AI Studio 中的“优化问题”模型对齐功能。