Einen Prompt für ein KI-Modell wie Gemini erstellen oder Gemma, das ist keine leichte Aufgabe. Häufig müssen Sie einen Prompt von Hand schreiben und ihn dann in verschiedenen Anwendungsfällen testen, um sicherzustellen, dass es Ihren Anforderungen entspricht. Basierend auf den Ergebnissen können Sie zum Prompt hinzufügen: das Ändern einiger Wörter an einer Stelle, das Hinzufügen eines neuen Satzes in eine andere. Dieser Prozess ist nicht sehr prinzipiell und führt möglicherweise nicht zu den besten Ergebnissen.
Google hat eine Methode entwickelt, mit der anhand von LLMs eine Promptvorlage automatisch anhand von Feedback aktualisiert wird, das Sie in einfacher Sprache zur Ausgabe des Modells geben. Ihr Feedback wird zusammen mit dem Prompt und der Ausgabe des Modells an ein LLM gesendet, das den Prompt aktualisiert, damit er besser zu Ihrem gewünschten Verhalten passt.
Diese Methode ist auf zwei Arten verfügbar:
- Mit der Open-Source-
model-alignment-Python-Bibliothek können Sie diesen Ansatz flexibel in Ihre Software und Workflows integrieren. - Eine Version dieses Ansatzes ist in Vertex integriert Mit AI Studio können Sie diesen Workflow mit nur wenigen Klicks verwenden.
Open-Source-Bibliothek
Model Ausrichtung ist eine Open-Source-Python-Bibliothek, die als PyPI-Paket, das Prompts mit menschlichen Nutzern abgleichen kann über eine API Feedback geben. Die Bibliothek basiert auf unserer Forschung zu spätere Aktualisierung durch menschliches Feedback und automatische Klassifikatorerstellung aus Daten mit Labels.
Prompt-Vorlagen für Gemma mithilfe der Modellausrichtungsbibliothek auswählen
 Google Colab starten
|
Diese Bibliothek unterstützt zwei Workflows für die automatische Aktualisierung von Prompt-Vorlagen:
- Iterative Aktualisierungen anhand von Prinzipien Bei diesem Workflow werden mithilfe eines LLM Richtlinien entweder aus indirekten Kritiken an der Ausgabe des Modells oder aus direkten Änderungen an der Modellausgabe abgeleitet. Sie können eine oder mehrere Richtlinien iterativ erstellen, bevor Sie sie an das LLM senden, Dadurch wird die Aufforderungsvorlage so aktualisiert, dass sie diesen Richtlinien entspricht. Sie können auch von Hand kuratierte Richtlinien und fügen sie zusammen mit den LLM-Brettungen ein.
- Direkte Kritik an Modellausgaben: Bei diesem Workflow wird Ihr Feedback zur gesamten Modellausgabe zusammen mit dem Prompt und der Modellausgabe direkt an das LLM gesendet, um eine aktualisierte Promptvorlage zu generieren.
Diese beiden Workflows können für Ihre Anwendung nützlich sein. Der bemerkenswerte Kompromiss ist die Anwesenheit von Richtlinien, die ein nützliches, konkretes Prozessartefakt sein können, das beispielsweise Ihren Ansatz für Transparenz beeinflussen kann.
Abbildung 1. In diesem Flussdiagramm wird dargestellt, wo und wie sich die beiden Workflows der Bibliothek für die Modellausrichtung unterscheiden, um richtlinienbasierte oder direkte Aktualisierungen Ihrer Prompt-Vorlagen zu ermöglichen. Beachten Sie, dass der Prozess iterativ ist und diese Workflows sich nicht gegenseitig ausschließen. Sie können jederzeit zwischen ihnen wechseln.
Sehen Sie sich das Colab-Notebook an, in dem mit Gemini Prompts für Gemma 2 mit beiden Workflows ausgerichtet werden.
Ausrichtung in Vertex AI Studio
Vertex AI Studio von Google hat ein Funktion Prompt optimieren basierend auf dem direkten Workflow Open-Source-Bibliothek für die Modellausrichtung, um das Authoring zu ergänzen, Ausführungs-, Bewertungs- und Vergleichstools.
Nachdem Sie einen Prompt ausgeführt haben, können Sie Feedback dazu geben, wie sich das Modell anders verhalten sollte. In Vertex AI Studio wird dann Gemini verwendet, um einen Neuabzug zu erstellen. Sie können die vorgeschlagenen Änderungen akzeptieren und den aktualisierten Prompt mit nur einem Klick noch einmal ausführen oder Ihr Feedback aktualisieren und Gemini einen weiteren Kandidaten erstellen lassen.
Abbildung 2: Die Funktion „Prompt optimieren“ in Vertex AI Studio wird verwendet, um einen Prompt basierend auf Nutzerfeedback zu aktualisieren.
Links
Sehen Sie sich die Modellausrichtung an:
- Führen Sie dieses Colab-Notebook aus, in dem mit Gemini verschiedene Prompts für unser offenes Gemma 2-Modell mit beiden Ausrichtungsansätzen ausgerichtet werden.
- Versuchen Sie es mit dem Optimierungsvorschlag. Modellausrichtungsfunktion in Vertex AI Studio