Создание подсказки для модели искусственного интеллекта (ИИ), такой как Gemini или Gemma, которая идеально отражает ваши намерения, может оказаться нетривиальной задачей. Часто вам приходится писать подсказку вручную, а затем тестировать ее в различных вариантах использования, чтобы убедиться, что она соответствует вашим потребностям. По результатам вы можете внести целевые обновления в подсказку: изменить некоторые слова в одном месте, добавить новое предложение в другом. Этот процесс не очень принципиален и может привести не к лучшим результатам.
Google разработал метод , который использует LLM для автоматического обновления шаблона приглашения на основе ваших отзывов о результатах модели на простом языке. Ваш отзыв, а также подсказка и выходные данные модели отправляются в LLM, который обновляет подсказку, чтобы она лучше соответствовала вашему предполагаемому поведению.
Этот метод доступен двумя способами:
- Библиотека Python
model-alignmentс открытым исходным кодом позволяет гибко включать этот подход в ваше программное обеспечение и рабочие процессы. - Версия этого подхода интегрирована в Vertex AI Studio, что позволяет вам использовать этот рабочий процесс всего несколькими щелчками мыши.
Библиотека с открытым исходным кодом
Model Alignment — это библиотека Python с открытым исходным кодом , выпущенная в виде пакета PyPI , которая позволяет выравнивать подсказки на основе отзывов пользователей через API. Библиотека основана на наших исследованиях по оперативному обновлению посредством обратной связи с людьми и автоматического создания классификаторов на основе помеченных данных .
Курируйте шаблоны подсказок для Gemma с помощью библиотеки Model Alignment.
 Запустите Google Колаб |
Эта библиотека поддерживает два рабочих процесса для автоматического обновления шаблонов приглашений:
- Итеративные обновления принципов . В этом рабочем процессе используется LLM для извлечения рекомендаций либо из косвенной критики выходных данных модели, либо из прямых изменений выходных данных модели. Вы можете итеративно создать одно или несколько рекомендаций перед отправкой их в LLM, который обновит шаблон приглашения, чтобы он соответствовал этим рекомендациям. Вы также можете вручную составить рекомендации и включить их вместе с рекомендациями, полученными в рамках LLM.
- Прямая критика результатов модели . Этот рабочий процесс принимает ваши отзывы обо всех выходных данных модели и передает их вместе с приглашением и выходными данными модели непосредственно в LLM для создания обновленного шаблона приглашения.
Оба этих рабочих процесса могут быть полезны для вашего приложения. Заметным компромиссом является наличие руководящих принципов, которые могут быть полезным конкретным артефактом процесса, который может помочь, например, в вашем подходе к прозрачности .
Рис. 1. На этой блок-схеме показано, где и как два рабочих процесса библиотеки Model Alignment расходятся, чтобы обеспечить возможность обновления шаблонов подсказок на основе рекомендаций или напрямую. Обратите внимание, что процесс является итеративным, и эти рабочие процессы не являются взаимоисключающими, переключаться между ними можно в любой момент.
Ознакомьтесь с блокнотом Colab , в котором Gemini используется для согласования подсказок для Gemma 2 с использованием обоих рабочих процессов.
Выравнивание в Vertex AI Studio
В Vertex AI Studio от Google добавлена функция «подсказки по уточнению», основанная на прямом рабочем процессе из библиотеки с открытым исходным кодом Model Alignment, которая дополняет инструменты разработки, запуска, оценки и сравнения.
После запуска запроса вы можете предоставить отзыв о том, как модель должна вести себя по-другому, а Vertex AI Studio использует Gemini для черновика перезаписи. Вы можете принять предложенные изменения и повторно запустить обновленное приглашение одним нажатием кнопки или обновить свой отзыв и попросить Gemini выбрать другого кандидата.
Рис. 2. Функция «Уточнить подсказку» в Vertex AI Studio, используемая для обновления подсказки на основе отзывов пользователей.
Ссылки
Изучите выравнивание модели самостоятельно:
- Запустите этот блокнот Colab , который использует Gemini для выравнивания различных подсказок для нашей модели Gemma 2 с открытым весом, используя оба подхода к выравниванию.
- Попробуйте функцию выравнивания модели «уточнить подсказку» в Vertex AI Studio .