Alignement du modèle

Créer une requête pour un modèle d'intelligence artificielle (IA), comme Gemini ou Gemma, qui capture parfaitement votre intention peut être une tâche ardue. Souvent, vous devez rédiger une invite manuellement, puis la tester dans différents cas d'utilisation pour vous assurer qu'elle répond à vos besoins. En fonction des résultats, vous pouvez effectuer des mises à jour ciblées à la requête: changer des mots à un endroit, ajouter une nouvelle phrase dans une autre. Ce processus n'est pas très rigoureux et peut ne pas donner les meilleurs résultats.

Google a développé une méthode qui utilise des LLM pour mettre à jour automatiquement un modèle d'invite en fonction des commentaires que vous fournissez sur la sortie du modèle en langage clair. Vos commentaires, ainsi que la requête et la sortie du modèle, sont envoyés à un LLM qui met à jour la requête pour mieux l'adapter à votre comportement souhaité.

Cette méthode est disponible de deux manières:

Bibliothèque Open Source

Model Alignment est une bibliothèque Python Open Source, publiée en tant que package sur PyPI, qui permet d'aligner les invites à partir de commentaires humains via une API. La bibliothèque est basée sur nos recherches sur la mise à jour rapide grâce aux commentaires des utilisateurs et la création automatique de classificateurs à partir de données annotées.

Sélectionner des modèles de requêtes pour Gemma à l'aide de la bibliothèque d'alignement de modèles

Démarrer Google Colab

Cette bibliothèque prend en charge deux workflows pour la mise à jour automatique des modèles d'invites :

  1. Mises à jour itératives des principes. Ce workflow utilise un LLM pour distiller directives, que ce soit suite à des critiques indirectes de la sortie du modèle ou des modifications directes de la sortie du modèle. Vous pouvez créer de manière itérative une ou plusieurs directives avant de les envoyer au LLM, ce qui met à jour le modèle de requête pour respecter ces directives. Vous pouvez Il sélectionne également manuellement des consignes et les associe à celles distillées par LLM.
  2. Critique directe des sorties du modèle Ce workflow prend en compte vos commentaires sur l'ensemble de la sortie du modèle et les transmet, ainsi que la requête et la sortie du modèle, directement au LLM pour générer un modèle de requête mis à jour.

Ces deux workflows peuvent être utiles pour votre application. Les remarquables La contrepartie est la présence de directives, qui peuvent être un processus utile et concret d'artefacts pouvant vous aider à éclairer, par exemple, votre approche transparence.

Organigramme de l'alignement du modèle

Figure 1. Cet organigramme montre où et comment les deux les workflows de votre bibliothèque divergent pour permettre des mises à jour directes ou directes de vos modèles de requête. Notez que le processus est itératif et que ces workflows mutuellement exclusifs, vous pouvez passer de l'un à l'autre à tout moment.

Consultez le notebook Colab qui utilise Gemini pour : aligner les requêtes pour Gemma 2 en utilisant les deux workflows.

Alignement dans Vertex AI Studio

Vertex AI Studio de Google a ajouté une fonctionnalité de requête d'affinage basée sur le workflow direct de la bibliothèque Open Source Model Alignment pour compléter ses outils d'authoring, d'exécution, d'évaluation et de comparaison.

Après avoir exécuté une requête, vous pouvez fournir des commentaires sur la façon dont le modèle doit se comporter différemment. Vertex AI Studio utilise Gemini pour rédiger une nouvelle version. Vous pouvez accepter les modifications proposées et réexécuter la requête mise à jour en un clic, ou modifiez vos commentaires et demandez à Gemini de rédiger un autre candidat.

Alignement du modèle dans Vertex AI Studio

Figure 2. "Améliorer la requête" fonctionnalité de Vertex AI Studio permettant modifier une requête en fonction des commentaires des utilisateurs.

Explorez l'alignement de modèles:

  • Exécutez ce notebook Colab, qui utilise Gemini pour aligner divers pour notre modèle Gemma 2 à pondérations ouvertes qui utilise les deux approches d'alignement.
  • Essayez "Améliorer la requête" d'alignement du modèle Vertex AI Studio