Os modelos ajustados por instruções (AI) do Gemma são treinados com um formatador específico que anexa todas as instruções de ajuste com informações extras, tanto no treinamento quanto na inferência. O formatador tem dois propósitos:
- Indicar funções em uma conversa, como sistema, usuário ou assistente.
- Delinear turnos em uma conversa, especialmente em uma conversa com vários turnos.
Abaixo, especificamos os tokens de controle usados pela Gemma e os casos de uso deles. Os tokens de controle são reservados e específicos para nosso tokenizer.
- Token para indicar a vez de um usuário:
user - Token para indicar uma mudança de modelo:
model - Token para indicar o início da vez de falar:
<start_of_turn> - Token para indicar o fim da vez de falar:
<end_of_turn>
Confira um exemplo de diálogo:
<start_of_turn>user
knock knock<end_of_turn>
<start_of_turn>model
who is there<end_of_turn>
<start_of_turn>user
Gemma<end_of_turn>
<start_of_turn>model
Gemma who?<end_of_turn>
O token "<end_of_turn>\n" é o separador de turnos, e o prefixo do comando é
"<start_of_turn>model\n". Isso significa que, se você quiser pedir ao modelo
uma pergunta como "O que é a regra de Cramer?", alimente o
modelo da seguinte maneira:
"<start_of_turn>user
What is Cramer's Rule?<end_of_turn>
<start_of_turn>model"
Se você quiser ajustar os modelos pré-treinados do Gemma com seus próprios dados, use qualquer esquema para tokens de controle, desde que ele seja consistente entre os casos de uso de treinamento e inferência.
Instruções do sistema
Os modelos ajustados por instrução do Gemma foram projetados para funcionar com apenas duas funções:
user e model. Portanto, o papel system ou uma vez do sistema não é
compatível.
Em vez de usar uma função de sistema separada, forneça instruções no nível do sistema diretamente no comando inicial do usuário. Os recursos de instrução de modelo do Gemma permitem que ele interprete as instruções de maneira eficaz. Exemplo:
<start_of_turn>user
Only reply like a pirate.
What is the answer to life the universe and everything?<end_of_turn>
<start_of_turn>model
Arrr, 'tis 42,<end_of_turn>