Alineación de modelos

Crear una instrucción para un modelo de inteligencia artificial (IA), como Gemini o Gemma, eso perfectamente captura una tu intención puede ser una tarea importante. A menudo, debes escribir una instrucción a mano y, luego, probarla en diversos casos de uso para para garantizar que se ajuste a tus necesidades. En función de los resultados, puedes realizar actualizaciones orientadas a la instrucción: cambiar algunas palabras en un lugar, agregar una oración nueva en con el otro. Este proceso no se basa en principios y es posible que no genere los mejores resultados.

Google desarrolló un método que usa LLM para actualizar automáticamente una plantilla de instrucción en función de los comentarios que proporcionas sobre el resultado del modelo en lenguaje sencillo. Tus comentarios, junto con la instrucción y el resultado del modelo, se envían a un LLM que actualiza la instrucción para que se alinee mejor con el comportamiento deseado.

Este método está disponible de dos maneras:

Biblioteca de código abierto

La alineación de modelos es una biblioteca de Python de código abierto que se lanzó como paquete en PyPI que permite la alineación de instrucciones de humanos comentarios a través de una API. La biblioteca se basa en nuestra investigación sobre la actualización del mensaje con comentarios manuales la creación automática de clasificadores a partir de datos etiquetados.

Cómo seleccionar plantillas de instrucciones para Gemma con la biblioteca de alineación de modelos

Iniciar Google Colab

Esta biblioteca admite dos flujos de trabajo para actualizar automáticamente las plantillas de instrucciones:

  1. Actualizaciones iterativas a partir de los principios. Este flujo de trabajo usa un LLM para extraer lineamientos, ya sea a partir de críticas indirectas del resultado del modelo o de ediciones directas del resultado del modelo. Puedes crear de forma iterativa uno o más lineamientos antes de enviarlos al LLM, lo que actualiza la plantilla de instrucciones para que cumpla con esos lineamientos. También puedes seleccionar lineamientos de forma manual y, luego, incluirlos junto con los destilados por LLM.
  2. Crítica directa de los resultados del modelo. Este flujo de trabajo toma tus comentarios sobre todo el resultado del modelo y lo entrega, junto con la instrucción y el modelo directamente al LLM para generar una plantilla de instrucciones actualizada.

Ambos flujos de trabajo pueden ser útiles para tu aplicación. La compensación notable es la presencia de lineamientos, que pueden ser un artefacto de proceso útil y concreto que puede ayudar a fundamentar, por ejemplo, tu enfoque de transparencia.

Diagrama de flujo de alineación de modelos

Figura 1: En este diagrama de flujo, se ilustra dónde y cómo divergen los dos flujos de trabajo de la biblioteca de alineación de modelos para permitir actualizaciones directas o basadas en lineamientos en tus plantillas de instrucciones. Ten en cuenta que el proceso es iterativo y que estos flujos de trabajo no son mutuamente excluyentes, por lo que puedes cambiar entre ellos en cualquier momento.

Consulta el notebook de Colab que usa Gemini para hacer lo siguiente: alinea las instrucciones para Gemma 2 usando ambos flujos de trabajo.

Alineación en Vertex AI Studio

Vertex AI Studio de Google agregó una función de "refine prompt" basada en el flujo de trabajo directo de la biblioteca de código abierto de Model Alignment para complementar sus herramientas de autoría, ejecución, evaluación y comparación.

Después de ejecutar una instrucción, puedes proporcionar comentarios sobre las formas en que el modelo debería comportarse de manera diferente, y Vertex AI Studio usa Gemini para redactar una nueva versión. Puedes aceptar los cambios propuestos y volver a ejecutar la instrucción actualizada con un clic, o bien actualizar tus comentarios y hacer que Gemini redacte otro candidato.

Alineación de modelos en Vertex AI Studio

Figura 2: La función "definir mejor la instrucción" de Vertex AI Studio se usa para actualizar una instrucción según los comentarios de los usuarios.

Explora la alineación de modelos por tu cuenta:

  • Ejecuta este notebook de Colab que usa Gemini para alinear varios instrucciones para nuestro modelo de peso abierto Gemma 2 con ambos enfoques de alineación.
  • Prueba la función de alineación del modelo "definir mejor la instrucción" en Vertex AI Studio.