Modelle ausrichten

Bei der Ausrichtung wird das Verhalten generativer KI (GenAI) verwaltet, damit die Ergebnisse den Anforderungen und Erwartungen Ihres Produkts entsprechen. Diese Bemühungen sind ein offener und aktiver Forschungsbereich. Sie müssen entscheiden, was es bedeutet, dass Ihr Modell mit Ihrem Produkt übereinstimmt, und wie Sie dies durchsetzen möchten. In diesem Dokument werden zwei wie Aufforderungsvorlagen und Modellabstimmung sowie Tools, mit denen Sie eine Refaktorierung und Fehlerbehebung, die Sie anwenden können, um Ihre Abstimmungsziele zu erreichen. Weitere Informationen zu den Zielen und Ansätzen der Modellausrichtung finden Sie unter Künstliche Intelligenz, Werte und Ausrichtung.

Prompt-Vorlagen

Prompt-Vorlagen, auch Systemaufforderungen genannt, liefern Kontext zum Nutzer Eingabe- und Modellausgabe, je nach Anwendungsfall, z. B. Systemanweisungen und einige Aufnahmebeispiele, die das Modell sicherer machen und bessere Ergebnisse zu erzielen. Wenn Ihr Ziel beispielsweise „hohe Qualität“ ist, technisch wissenschaftlichen Veröffentlichungen zusammenfassen, kann es hilfreich sein, Prompt-Vorlage wie:

The following examples show an expert scientist summarizing the
key points of an article. Article: {{article}}
Summary:

Dabei ist {{article}} ein Platzhalter für den Artikel, in der sie zusammengefasst sind.

Kontextbasierte Prompt-Vorlagen können die Qualität und Sicherheit erheblich verbessern der Modellausgabe. Das Erstellen von Vorlagen für Prompts kann jedoch eine Herausforderung sein, erfordert Kreativität, Erfahrung und ein hohes Maß an Wiederholung. Die Die Modellausrichtungsbibliothek bietet zwei Methoden zur das Design Ihrer Prompt-Vorlage mithilfe von LLMs iterativ, wie Gemini. Darüber hinaus gibt es zahlreiche Leitfäden für Prompts. einschließlich Best Practices für die Gemini API und Vertex AI:

Prompt-Vorlagen bieten in der Regel eine weniger robuste Kontrolle über die Modellausgabe im Vergleich zur Abstimmung und sind anfälliger für unbeabsichtigte Resultate kontradiktorischen Eingaben. Um genau nachvollziehen zu können, wie gut eine Promptvorlage in Bezug auf bestimmte Sicherheitsziele abschneidet, ist es wichtig, einen Bewertungsdatensatz zu verwenden, der nicht auch bei der Entwicklung der Vorlage verwendet wurde. Debugging-Tools für Prompts können auch hilfreich sein, um die spezifischen Interaktionen zwischen System-, Nutzer- und Modellinhalten in den Prompts zu verstehen, die Ihr Modell sieht. Insbesondere können sie Teile der generierten Ausgabe zu den relevantesten und einflussreichsten Inhalten in der Aufforderung.

Modellabstimmung

Die Optimierung eines Modells beginnt bei einem Checkpoint, einer bestimmten Version eines Modells, und verwendet ein Dataset, um das Verhalten des Modells zu optimieren. Gemma-Modelle und andere LLMs sind sowohl in vortrainierten Varianten (PT) als auch in Instruction Tuned (IT)-Varianten verfügbar. Bei PT-Varianten wird der Prompt als Präfix behandelt, von dem aus fortgefahren wird. Bei IT-optimierten Varianten wurde der Prompt weiter optimiert, um ihn als eine Reihe von Anweisungen zu behandeln, die beschreiben, wie eine Aufgabe ausgeführt wird. In den meisten Fällen sollten Sie mit einer IT-Variante beginnen, um die grundlegenden Vorteile in Bezug auf die Ausführung von Anweisungen und Sicherheit zu nutzen. Möglicherweise ist jedoch eine weitere Optimierung erforderlich, um Ihre spezifischen Anwendungsziele zu erreichen.

Die Optimierung von Modellen im Hinblick auf die Sicherheit ist heikel und schwierig. Wenn ein Modell zu stark optimiert ist, können andere wichtige Funktionen verloren gehen. Ein Beispiel ist das Problem mit zerstörerischer Interferenz. Außerdem ist sicheres Verhalten für ein Modell kontextabhängig. Was für eine Anwendung sicher ist, ist für eine andere möglicherweise nicht sicher. Wenn Sie feststellen, dass Ihr Modell nicht gut funktioniert, zusätzliche Sicherheitseinstellungen vornehmen, sollten Sie Sicherheitsmaßnahmen ergreifen, Verhaltensrichtlinien durchzusetzen.

Zwei der bekanntesten Ansätze zur Optimierung von LLMs sind die überwachte Feinabstimmung (SFT) und das Reinforcement Learning (RL).

• Bei der überwachten Feinabstimmung wird ein Dataset mit Beispielen verwendet, das das gewünschte Verhalten Ihrer Anwendung durch Labeln der Daten codiert. Mit SFT können Sie um Ihr Modell auf Sicherheit abzustimmen, brauchen Sie ein Dataset mit und unsicheren Verhaltensweisen, damit das Modell lernen kann, Unterschiede.
• Bei bestärkendem Lernen durch menschliche Präferenzen (RLHF) wird ein Belohnungsmodell verwendet, um die von Ihren LLMs generierten Inhalte anhand ihrer Einhaltung von Verhaltensrichtlinien zu bewerten. Wie bei der SFT-Methode muss das RLHF-Belohnungsmodell sowohl mit sicheren als auch mit unsicheren Verhaltensweisen trainiert werden, um eine angemessene Bewertung zu erhalten. Während teurer ist, kann RLHF als Belohnungsmodell zu einer besseren Leistung führen. hat mehr Flexibilität, Nuancen in seine Scores zu codieren.

Bei beiden Verfahren hängen die Endergebnisse weitgehend von der Qualität Ihrer Tuning-Daten ab. Sobald Sie die richtigen Daten haben, können Sie das Gemma-Modell mit KerasNLP optimieren.

Anleitung zur Feinabstimmung von Gemma

Google Colab starten

Datenanforderungen und -merkmale

Studien haben gezeigt, dass die Datenqualität oft wichtiger ist als der Menge. Sie sollten also Zeit investieren, der Qualität der Daten (Touvron, 2023; Zhou, 2023).

Zwei gängige Ansätze zur Auswahl von Trainings- und Evaluationsdaten zur Abstimmung Nutzereingaben manuell oder mithilfe von LLMs zu generieren. Die von Menschen generierten Daten sind oft von höherer Qualität und erfordern weniger Kontrolle als von LLMs generierte Daten. Sie sind jedoch schwieriger zu skalieren und oft teurer.

Daten für die überwachte Feinabstimmung

Die Daten zur Anpassung der Sicherheit basieren größtenteils auf Beispielen für Nutzeranfragen. zu einer Modellantwort führen, die gegen Ihre Inhaltsrichtlinien verstößt. Während der SFT-Phase wird das Modell in der Regel auf feindliche Paare abgestimmt mit sicheren Antworten. Es gibt zwei Arten von kontradiktorischen Abfragen. Gut gemeinte Abfragen, die versehentlich zu unerwünschtem Anwendungsverhalten führen können, und Abfragen, die von böswilligen Nutzern erstellt wurden, die Ihr System auf unerwünschte Weise beeinflussen möchten. Weitere Informationen finden Sie in der Leitfaden Modell und System hinsichtlich der Sicherheit bewerten

Beispiel für einen Datenpunkt zur Feinabstimmung der Sicherheit

RL-Daten

Bestärkendes Lernen ist ein zweistufiger Prozess. In der ersten Phase wird das Belohnungsmodell trainiert und in der zweiten Phase wird das Modell Ihrer Anwendung mit dem Belohnungsmodell trainiert. Zum Trainieren des Belohnungsmodells sind Abfragen von Nutzern erforderlich und enthalten normalerweise zwei mögliche Antworten und ein Label, das angibt, welche der beiden sollten Antworten bevorzugt werden. Ein typischer Datenpunkt sieht so aus:

Beispiel eines Sicherheitsdatenpunkts für RLHF

Für den zweiten Schritt von RLHF benötigen Sie nur eine Reihe von Nutzeranfragen. Im sicherheitsspezifischen Fall sollten Sie Ihren Datensatz sorgfältig mit gegnerischen und nicht gegnerischen Abfragen ausbalancieren. Weitere Informationen zu bösartigen Daten im Abschnitt Modell und System hinsichtlich Sicherheit bewerten.

Best Practices für die Modelloptimierung

Wie bereits erwähnt, ist die Qualität des Tuning-Sets entscheidend für die Qualität des Endmodells. Beim Erstellen des Tuning-Datasets sollten Sie die folgenden Faktoren berücksichtigen:

• Datenabdeckung:Ihr Dataset muss alle Ihre Inhaltsrichtlinien abdecken. für jeden Ihrer Produktanwendungsfälle (z.B. Fragenbeantwortung, Zusammenfassung, und Argumentation).
• Datenvielfalt: Die Vielfalt Ihres Datasets ist entscheidend, um sicherzustellen, ist Ihr Modell richtig abgestimmt und umfasst viele Eigenschaften. Möglicherweise Anfragen unterschiedlicher Länge, Formulierungen (positiv, Tonfall, Themen, Komplexitätsgrad und Begriffe im Zusammenhang mit Identitäten und demografischen Merkmalen.
• Deduplizierung: Ähnlich wie bei Daten vor dem Training verringert das Entfernen doppelter Daten das Risiko, dass Anpassungsdaten gemerkt werden, und reduziert auch die Größe des Anpassungssatzes.
• Verunreinigung durch Bewertungssätze: Daten, die zur Bewertung verwendet werden, sollten aus den Tuning-Daten entfernt werden.
• Verantwortungsbewusste Datennutzung geht über das Filtern hinaus: Falsch gekennzeichnete Daten sind eine häufige Ursache von Modellfehlern. Erklären Sie den Teilnehmenden Ihre Daten mit Labels versehen, entweder Ihrem Team oder externen Prüfern, Crowd-Rating-Plattformen nutzen und Vielfalt der Prüfer-Pools, um unfaire Vorurteile zu vermeiden.

Entwicklerressourcen

• Hochwertige Abstimmungs-Datasets, einschließlich sicherheitsbezogener Daten:
  • Dataset von Anthropic für RLHF
  • Datasets mit sicherheitsoptimierten LLaMAs
• Das Leitfaden zu Menschen und KI von Google bietet einen umfassenden Einblick in einen verantwortungsbewussten Ansatz bei der Datenerhebung und ‑aufbereitung.
• LIT-Website