Настройте модели для обеспечения безопасности

Как только вы поймете риски, присущие вашему приложению, и установите соответствующие политики для их снижения, вам необходимо привести свою модель в соответствие с вашими конкретными политиками безопасности. Один из наиболее мощных способов управления поведением модели — ее настройка .

Шаблоны подсказок

Шаблоны подсказок обеспечивают текстовый контекст для ввода пользователя. Этот метод обычно включает в себя дополнительные инструкции, которые помогут модели добиться более безопасных и лучших результатов. Например, если ваша цель — высококачественные обзоры научно-технических публикаций, возможно, вам будет полезно использовать такой шаблон подсказки:

The following examples show an expert scientist summarizing the
key points of an article. Article: {{article}}
Summary:

Где — это заполнитель для резюмируемой статьи. Шаблоны подсказок часто также содержат несколько примеров желаемого поведения (в этом случае их иногда называют подсказками с несколькими действиями).

Подобные контекстные шаблоны подсказок могут значительно улучшить качество и безопасность результатов вашей модели. Их также можно использовать для смягчения непреднамеренных искажений в поведении вашего приложения. Однако написание шаблонов подсказок может оказаться сложной задачей и требует творческого подхода, опыта и значительного количества повторений. Доступно множество руководств по подсказкам, в том числе «Введение в дизайн подсказок » Gemini API.

Шаблоны подсказок обычно обеспечивают меньший контроль над выходными данными модели по сравнению с настройкой. Шаблоны подсказок обычно более восприимчивы к непредвиденным результатам от состязательных входных данных. Это связано с тем, что небольшие различия в подсказках могут привести к разным ответам, а эффективность подсказки также может различаться в зависимости от модели. Чтобы точно понять, насколько хорошо шаблон подсказки обеспечивает желаемый результат в области безопасности, важно использовать набор оценочных данных, который также не использовался при разработке шаблона.

В некоторых приложениях, например в чат-ботах на базе искусственного интеллекта, вводимые пользователем данные могут значительно различаться и затрагивать широкий спектр тем. Для дальнейшего совершенствования шаблона приглашения вы можете адаптировать рекомендации и дополнительные инструкции в зависимости от типов вводимых пользователем данных. Для этого вам необходимо обучить модель, которая может помечать вводимые пользователем данные, и создать шаблон динамического приглашения, адаптируемый на основе метки.

Тюнинг моделей

Настройка модели начинается с контрольной точки, конкретной версии модели, и использует набор данных для уточнения поведения модели. Модели Gemma доступны как в версиях с предварительной подготовкой (PT), так и в версиях с настройкой инструкций (IT). Предварительно обученные модели обучены предсказывать наиболее вероятное следующее слово на основе большого набора данных для предварительного обучения. ИТ-версии Gemma были настроены таким образом, чтобы модель воспринимала подсказки как инструкции, начиная с версии Gemma для PT.

Настройка моделей для обеспечения безопасности может оказаться сложной задачей. Если модель перенастроена, она может потерять другие важные возможности. Для примера см. проблему катастрофических помех . Более того, безопасное поведение модели является контекстуальным. То, что безопасно для одного приложения, может быть небезопасно для другого. В большинстве случаев использования потребуется продолжить настройку с контрольной точки ИТ, чтобы унаследовать базовую способность следовать инструкциям и извлечь выгоду из базовой настройки безопасности в ИТ-моделях.

Двумя наиболее известными подходами к настройке LLM являются контролируемая точная настройка (SFT) и обучение с подкреплением (RL).

• Контролируемая точная настройка (SFT). Использует набор примеров, определяющий желаемое поведение вашего приложения. Чтобы использовать SFT для настройки безопасности вашей модели, вам необходимо иметь набор данных, в котором указаны оба примера входных данных, которые могут привести к небезопасному поведению, а также желаемый безопасный результат в этой ситуации.
• Обучение с подкреплением на основе человеческих предпочтений (RLHF): метод настройки, который может использовать наборы данных, содержащие как примеры желаемого поведения, так и примеры непреднамеренного поведения. RLHF предполагает первое обучение так называемой модели вознаграждения. Эта модель отвечает за предоставление показателя качества, который будет использоваться для обучения вашего LLM. RLHF можно использовать для настройки безопасности путем создания набора данных, содержащего входные данные, которые могут привести к небезопасному поведению, и для каждого из которых имеется пример предполагаемого безопасного реагирования, а также пример небезопасного.

Для обоих методов окончательные результаты во многом зависят от качества ваших данных настройки. Если у вас есть нужные данные, вы можете настроить модель Gemma с помощью KerasNLP.

Инструкция по настройке Gemma

Запустите Google Колаб

Обратите внимание: если вы выполняете настройку общих возможностей вашего приложения, а не только ради безопасности, вам может потребоваться обратить особое внимание на показатели безопасности после завершения настройки, поскольку последующая точная настройка может непреднамеренно вызвать снижение безопасности ( Qi et al., 2023 ).

Требования к данным для настройки инструкций

Несколько исследований показали, что качество данных часто важнее количества ( Touvron et al., 2023b ; Zhou et al., 2023 ), поэтому вам следует потратить время на анализ обучающих примеров, чтобы убедиться в качестве ваших данных.

Два распространенных подхода к сбору данных для настройки модели — это генерация пользовательских запросов вручную (часто более высокое качество, но труднее масштабировать) или с помощью LLM (требуется больше внимания для проверки качества результатов LLM, но его легче шкала).

Контролируемые данные точной настройки

Данные для точной настройки безопасности во многом зависят от примеров пользовательских запросов, которые могут вызвать модельный ответ, нарушающий вашу политику в отношении контента. На этапе SFT модель обычно настраивается на пары состязательных запросов с безопасными ответами. Есть два типа состязательных запросов. Запросы с благими намерениями, которые могут непреднамеренно привести к непреднамеренному поведению приложения, а также запросы, разработанные враждебными пользователями, которые намерены заставить вашу систему действовать непреднамеренным образом. Более подробную информацию см. в руководстве по оценке модели и системы безопасности .

Пример точки данных точной настройки безопасности

данные RL

Обучение с подкреплением представляет собой двухэтапный процесс. Первый этап — обучение модели вознаграждения, а второй — использование модели вознаграждения для обучения модели вашего приложения. Для обучения модели вознаграждения необходимы пользовательские запросы, которые обычно включают два возможных ответа и метку, указывающую, какой из двух ответов следует предпочесть. Типичная точка данных выглядит следующим образом:

Пример данных по безопасности для RLHF

Для второго шага RLHF вам понадобится только набор пользовательских запросов. В случае, связанном с безопасностью, вы хотите тщательно сбалансировать свой набор данных с состязательными и несостязательными запросами. Дополнительную информацию о состязательных данных можно найти в разделе «Оценка модели и системы на предмет безопасности» .

Рекомендации по настройке данных

Как упоминалось ранее, качество вашего тюнингового набора определяет качество конечной модели. При создании набора данных настройки следует учитывать следующие факторы:

• Охват данных. Ваш набор данных должен охватывать все ваши политики в отношении контента для каждого варианта использования вашего продукта (например, ответы на вопросы, обобщение и обоснование).
• Разнообразие данных. Разнообразие вашего набора данных является ключом к правильной настройке вашей модели и ее охвату многих характеристик. Возможно, потребуется охватить запросы различной длины, формулировок (утвердительные, вопросы и т. д.), тональности, тем, уровней сложности, а также терминов, связанных с идентичностью и демографическими соображениями.
• Дедупликация : как и в случае с данными перед обучением, удаление дублированных данных снижает риск запоминания данных настройки, а также уменьшает размер вашего набора настроек.
• Загрязнение наборами оценок: данные, использованные для оценки, следует удалить из данных настройки.
• Ответственные методы обработки данных выходят за рамки фильтрации : неправильно маркированные данные являются распространенным источником ошибок модели. Предложите четкие инструкции людям, ответственным за маркировку ваших данных, либо вашей команде, либо внешним оценщикам, если вы используете платформы крауд-рейтинга, и стремитесь к разнообразию в ваших пулах оценщиков, чтобы избежать несправедливой предвзятости.

Ресурсы для разработчиков

• Высококачественные наборы данных по настройке, включая данные, связанные с безопасностью:
  • Набор данных Anthropic для RLHF
  • Наборы данных LLaMA с настроенной безопасностью (Bianci et al., 2023)
• Руководство Google People + AI предлагает глубокое понимание ответственного подхода к сбору и подготовке данных.