Les modèles Gemma adaptés aux instructions (IT) sont entraînés avec un formateur spécifique qui annoté tous les exemples d'ajustement des instructions avec des informations supplémentaires, à la fois au moment de l'entraînement et de l'inférence. Le formateur a deux fonctionnalités:
- Indique les rôles dans une conversation, tels que les rôles système, utilisateur ou assistant.
- Délimiter les tours de conversation, en particulier dans une conversation multitours
Vous trouverez ci-dessous les jetons de contrôle utilisés par Gemma et leurs cas d'utilisation. Notez que les jetons de contrôle sont réservés et spécifiques à notre tokenizer.
- Jeton pour indiquer un tour de l'utilisateur:
user - Jeton pour indiquer un changement de modèle:
model - Jeton indiquant le début d'un tour de parole:
<start_of_turn> - Jeton pour indiquer la fin du tour de parole:
<end_of_turn>
Voici un exemple de dialogue:
<start_of_turn>user
knock knock<end_of_turn>
<start_of_turn>model
who is there<end_of_turn>
<start_of_turn>user
Gemma<end_of_turn>
<start_of_turn>model
Gemma who?<end_of_turn>
Le jeton "<end_of_turn>\n" est le séparateur de virage, et le préfixe de l'invite est "<start_of_turn>model\n". Cela signifie que si vous souhaitez demander au modèle une question comme "Qu'est-ce que la règle de Cramer ?", vous devez plutôt lui fournir les données suivantes:
"<start_of_turn>user
What is Cramer's Rule?<end_of_turn>
<start_of_turn>model"
Notez que si vous souhaitez affiner les modèles Gemma pré-entraînés avec vos propres données, vous pouvez utiliser n'importe quel schéma de ce type pour les jetons de contrôle, à condition qu'il soit cohérent entre vos cas d'utilisation d'entraînement et d'inférence.
Instructions système
Les modèles adaptés aux instructions de Gemma ne sont conçus pour fonctionner qu'avec deux rôles : user et model. Par conséquent, le rôle system ou un changement de système n'est pas pris en charge.
Au lieu d'utiliser un rôle système distinct, fournissez des instructions au niveau du système directement dans l'invite utilisateur initiale. Les fonctionnalités de suivi des instructions du modèle permettent à Gemma d'interpréter les instructions efficacement. Exemple :
<start_of_turn>user
Only reply like a pirate.
What is the answer to life the universe and everything?<end_of_turn>
<start_of_turn>model
Arrr, 'tis 42,<end_of_turn>