Gemma-Modelle mit Anweisungsabstimmung (Instruction-Tuned, IT) werden mit einem bestimmten Formatierer trainiert, der alle Beispiele für die Anweisungsabstimmung sowohl während des Trainings als auch während der Inferenz mit zusätzlichen Informationen annotiert. Der Formatierer hat zwei Zwecke:
- Rollen in einer Unterhaltung angeben, z. B. die Rollen System, Nutzer oder Assistent.
- Die Abgrenzung von Gesprächsrunden, insbesondere in Unterhaltungen mit mehreren Gesprächsrunden.
Unten findest du die von Gemma verwendeten Steuertokens und ihre Anwendungsfälle. Hinweis: Die Kontroll-Token sind für unseren Tokenisierer reserviert und spezifisch für ihn.
- Token für eine Nutzerkurve:
user - Token für eine Modellkurve:
model - Token, das den Beginn eines Dialogschritts angibt:
<start_of_turn> - Token, das das Ende eines Dialogschritts angibt:
<end_of_turn>
Hier ein Beispiel für einen Dialog:
<start_of_turn>user
knock knock<end_of_turn>
<start_of_turn>model
who is there<end_of_turn>
<start_of_turn>user
Gemma<end_of_turn>
<start_of_turn>model
Gemma who?<end_of_turn>
Das Token "<end_of_turn>\n" ist das Abbiegeverweiszeichen und das Prompt-Präfix ist "<start_of_turn>model\n". Wenn Sie dem Modell also eine Frage wie „Was ist Cramers Regel?“ stellen möchten, sollten Sie es stattdessen so füttern:
"<start_of_turn>user
What is Cramer's Rule?<end_of_turn>
<start_of_turn>model"
Wenn Sie die vortrainierten Gemma-Modelle mit Ihren eigenen Daten optimieren möchten, können Sie jedes dieser Schemas für Kontrolltokens verwenden, solange es für Ihre Anwendungsfälle für Training und Inferenz konsistent ist.
Systemanweisungen
Die auf Anweisungen abgestimmten Modelle von Gemma sind nur für zwei Rollen konzipiert: user und model. Daher werden die Rolle system oder eine Systemweitergabe nicht unterstützt.
Anstatt eine separate Systemrolle zu verwenden, geben Sie die Anweisungen auf Systemebene direkt im ersten Nutzerprompt an. Durch die Funktionen zur Modellanleitung kann Gemma die Anweisungen effektiv interpretieren. Beispiel:
<start_of_turn>user
Only reply like a pirate.
What is the answer to life the universe and everything?<end_of_turn>
<start_of_turn>model
Arrr, 'tis 42,<end_of_turn>