Выровняйте свои модели

Согласование — это процесс управления поведением генеративного ИИ (GenAI) для обеспечения соответствия его результатов потребностям и ожиданиям ваших продуктов. Эти усилия представляют собой открытую и активную область исследований, и вам нужно решить, что означает соответствие вашей модели вашему продукту и как вы планируете обеспечить это. В этом документе вы можете узнать о двух методах — шаблонах подсказок и настройке модели — а также инструментах, которые позволяют быстро выполнять рефакторинг и отладку , которые вы можете использовать для достижения целей согласования. Дополнительные сведения о целях и подходах к согласованию моделей см. в разделе Искусственный интеллект, ценности и согласование .

Шаблоны подсказок

Шаблоны подсказок, также называемые системными подсказками, предоставляют контекст вокруг пользовательского ввода и вывода модели, в зависимости от вашего варианта использования, в виде системных инструкций и нескольких примеров , которые направляют модель к более безопасным и качественным результатам. Например, если ваша цель — высококачественные обзоры научно-технических публикаций, возможно, вам будет полезно использовать такой шаблон подсказки:

The following examples show an expert scientist summarizing the
key points of an article. Article: {{article}}
Summary:

Где {{article}} является заполнителем для резюмируемой статьи.

Контекстуализированные шаблоны подсказок могут значительно улучшить качество и безопасность результатов вашей модели. Однако написание шаблонов подсказок может оказаться сложной задачей и требует творческого подхода, опыта и значительного количества итераций. Библиотека Model Alignment предоставляет два метода итеративного улучшения дизайна шаблона приглашения с помощью LLM, таких как Gemini. Кроме того, доступно множество руководств с подсказками, включая лучшие практики для Gemini API и Vertex AI .

Шаблоны подсказок обычно обеспечивают менее надежный контроль над выходными данными модели по сравнению с настройкой и более восприимчивы к непредвиденным результатам от состязательных входных данных. Чтобы точно понять, насколько хорошо шаблон подсказки соответствует конкретным целям безопасности, важно использовать набор оценочных данных, который также не использовался при разработке шаблона. Инструменты отладки подсказок также могут быть полезны для понимания конкретных взаимодействий между системой, пользователем и содержимым модели в подсказках, которые видит ваша модель. В частности, они могут связать части сгенерированного вывода с наиболее релевантным и влиятельным контентом в подсказке.

Тюнинг модели

Настройка модели начинается с контрольной точки, конкретной версии модели, и использует набор данных для уточнения поведения модели. Модели Gemma и другие LLM доступны как в вариантах с предварительной подготовкой (PT), так и в вариантах с настройкой инструкций (IT). Варианты PT рассматривают приглашение как префикс для продолжения, тогда как варианты, настроенные для ИТ, были дополнительно настроены так, чтобы рассматривать приглашение как набор инструкций, описывающих, как выполнить задачу. В большинстве случаев вам следует начать с ИТ-варианта, чтобы унаследовать основные преимущества выполнения инструкций и безопасности, но для достижения конкретных целей вашего приложения может потребоваться дальнейшая настройка.

Настройка моделей для обеспечения безопасности является деликатной и сложной задачей. Если модель перенастроена, она может потерять другие важные возможности. Для примера см. проблему катастрофических помех . Более того, безопасное поведение модели является контекстуальным. То, что безопасно для одного приложения, может быть небезопасно для другого. Если вы обнаружите, что ваша модель не работает должным образом при дополнительной настройке безопасности, рассмотрите возможность принятия вместо этого мер безопасности , обеспечивающих соблюдение ваших поведенческих политик.

Двумя наиболее известными подходами к настройке LLM являются контролируемая точная настройка (SFT) и обучение с подкреплением (RL).

• Контролируемая точная настройка (SFT) использует набор данных примеров, которые кодируют желаемое поведение вашего приложения путем маркировки данных. Чтобы использовать SFT для настройки вашей модели на безопасность, вам необходимо иметь набор данных с примерами безопасного и небезопасного поведения, чтобы модель могла научиться различать различия.
• Обучение с подкреплением на основе человеческих предпочтений (RLHF) использует модель вознаграждения для оценки поколений ваших студентов LLM на основе их соответствия поведенческой политике. Как и в случае с SFT, модель вознаграждения RLHF должна быть обучена как безопасному, так и небезопасному поведению, чтобы получить соответствующую оценку. Несмотря на более высокую стоимость, RLHF может привести к повышению производительности, поскольку модель вознаграждения обладает большей гибкостью для кодирования нюансов в своей оценке.

Для обоих методов окончательные результаты во многом зависят от качества ваших данных настройки. Если у вас есть нужные данные, вы можете настроить модель Gemma с помощью KerasNLP.

Инструкция по настройке Gemma

Запустите Google Колаб

Требования и характеристики данных

Исследования показали, что качество данных часто важнее количества, поэтому вам следует потратить время на просмотр примеров обучения, чтобы обеспечить качество ваших данных ( Touvron, 2023 ; Zhou, 2023 ).

Два распространенных подхода к сбору данных обучения и оценки для настройки — это внесение пользовательских данных вручную или с помощью LLM. Генерация человеческих данных часто более качественная и требует меньшего надзора, чем данные, генерируемые LLM, но ее сложнее масштабировать и зачастую она обходится дороже.

Контролируемые данные точной настройки

Данные для точной настройки безопасности во многом зависят от примеров пользовательских запросов, которые могут вызвать модельный ответ, нарушающий вашу политику в отношении контента. На этапе SFT модель обычно настраивается на пары состязательных запросов с безопасными ответами. Есть два типа состязательных запросов. Запросы с благими намерениями, которые могут непреднамеренно привести к непреднамеренному поведению приложения, а также запросы, разработанные враждебными пользователями, которые намерены заставить вашу систему действовать непреднамеренным образом. Более подробную информацию см. в руководстве по оценке модели и системы безопасности .

Пример точки данных точной настройки безопасности

данные RL

Обучение с подкреплением представляет собой двухэтапный процесс. Первый этап — обучение модели вознаграждения, а второй — использование модели вознаграждения для обучения модели вашего приложения. Для обучения модели вознаграждения необходимы пользовательские запросы, которые обычно включают два возможных ответа и метку, указывающую, какой из двух ответов следует предпочесть. Типичная точка данных выглядит следующим образом:

Пример данных по безопасности для RLHF

Для второго шага RLHF вам понадобится только набор пользовательских запросов. В случае, связанном с безопасностью, вы хотите тщательно сбалансировать свой набор данных с состязательными и несостязательными запросами. Дополнительную информацию о состязательных данных можно найти в разделе «Оценка модели и системы на предмет безопасности» .

Рекомендации по настройке модели

Как упоминалось ранее, качество вашего тюнингового набора определяет качество конечной модели. При создании набора данных настройки следует учитывать следующие факторы:

• Охват данных. Ваш набор данных должен охватывать все ваши политики в отношении контента для каждого варианта использования вашего продукта (например, ответы на вопросы, обобщение и обоснование).
• Разнообразие данных. Разнообразие вашего набора данных является ключом к правильной настройке вашей модели и ее охвату многих характеристик. Возможно, потребуется охватить запросы различной длины, формулировок (утвердительные, вопросы и т. д.), тональности, тем, уровней сложности, а также терминов, связанных с идентичностью и демографическими соображениями.
• Дедупликация : как и в случае с данными перед обучением, удаление дублированных данных снижает риск запоминания данных настройки, а также уменьшает размер вашего набора настроек.
• Загрязнение наборами оценок: данные, использованные для оценки, следует удалить из данных настройки.
• Ответственные методы обработки данных выходят за рамки фильтрации : неправильно маркированные данные являются распространенным источником ошибок модели. Предложите четкие инструкции людям, ответственным за маркировку ваших данных, вашей команде или внешним оценщикам, если вы используете платформы крауд-рейтинга, и стремитесь к разнообразию в ваших пулах оценщиков , чтобы избежать несправедливой предвзятости.

Ресурсы для разработчиков

• Высококачественные наборы данных по настройке, включая данные, связанные с безопасностью:
  • Набор данных Anthropic для RLHF
  • Наборы данных LLaMA, настроенные на безопасность
• Руководство Google People + AI предлагает глубокое понимание ответственного подхода к сбору и подготовке данных.
• сайт ЛИТ