Модели Gemma, настроенные на инструкции (IT), обучаются с помощью специального средства форматирования , которое аннотирует все примеры настройки инструкций дополнительной информацией как во время обучения, так и во время вывода. Форматер имеет две цели:
- Указание ролей в разговоре, например роли системы , пользователя или помощника .
- Обозначение поворотов в разговоре, особенно в многооборотном разговоре.
Ниже мы указываем управляющие токены, используемые Gemma, и варианты их использования. Обратите внимание, что токены управления зарезервированы и специфичны для нашего токенизатора.
- Токен для обозначения очереди пользователя:
user - Жетон, обозначающий поворот модели:
model - Токен, обозначающий начало хода диалога:
<start_of_turn> - Токен, обозначающий окончание хода диалога:
<end_of_turn>
Вот пример диалога:
<start_of_turn>user
knock knock<end_of_turn>
<start_of_turn>model
who is there<end_of_turn>
<start_of_turn>user
Gemma<end_of_turn>
<start_of_turn>model
Gemma who?<end_of_turn>
Токен "<end_of_turn>\n" является разделителем поворотов, а префикс приглашения — "<start_of_turn>model\n" . Это означает, что если вы хотите задать модели вопрос типа «Что такое правило Крамера?», вам следует вместо этого передать модели следующее:
"<start_of_turn>user
What is Cramer's Rule?<end_of_turn>
<start_of_turn>model"
Обратите внимание: если вы хотите точно настроить предварительно обученные модели Gemma с помощью собственных данных, вы можете использовать любую такую схему для управляющих токенов, если она согласуется между вашими вариантами использования обучения и вывода.
Системные инструкции
Модели Gemma, настроенные с помощью инструкций, предназначены для работы только с двумя ролями: user и model . Таким образом, system роль или системный ход не поддерживаются.
Вместо использования отдельной системной роли предоставляйте инструкции на уровне системы непосредственно в первоначальном приглашении пользователя. Возможности следования инструкциям модели позволяют Gemma эффективно интерпретировать инструкции. Например:
<start_of_turn>user
Only reply like a pirate.
What is the answer to life the universe and everything?<end_of_turn>
<start_of_turn>model
Arrr, 'tis 42,<end_of_turn>