Alinea tus modelos

La alineación es el proceso de administrar el comportamiento de IA generativa para garantizar que sus resultados se ajusten a las necesidades de tus productos con sus expectativas. Estos esfuerzos son un área de investigación abierta y activa, y debes decidir qué significa que tu modelo esté alineado con tu producto y cómo planeas aplicarlo. En este documento, puedes obtener información sobre dos técnicas: las plantillas de instrucciones y el ajuste de modelos, y las herramientas que permiten la refactorización y la depuración inmediatas que puedes emplear para lograr tus objetivos de alineación. Para obtener más información sobre los objetivos y los enfoques de alineación de modelos, consulta Inteligencia artificial, valores y alineación.

Plantillas de instrucciones

Las plantillas de instrucciones, también llamadas instrucciones del sistema, proporcionan contexto sobre la entrada del usuario y la salida del modelo, según tu caso de uso, como instrucciones del sistema y ejemplos de pocas imágenes que guían al modelo hacia resultados más seguros y de mayor calidad. Por ejemplo, si tu objetivo es crear resúmenes de alta calidad de publicaciones científicas técnicas, te puede resultar útil usar una plantilla de instrucción como la siguiente:

The following examples show an expert scientist summarizing the
key points of an article. Article: {{article}}
Summary:

donde {{article}} es un marcador de posición para el artículo que se resume.

Las plantillas de instrucciones contextualizadas pueden mejorar significativamente la calidad y la seguridad de los resultados de tu modelo. Sin embargo, escribir plantillas de instrucciones puede ser desafiante y requiere creatividad, experiencia y una cantidad significativa de iteraciones. La biblioteca de alineación de modelos proporciona dos métodos para mejorar de forma iterativa el diseño de tu plantilla de instrucción con la ayuda de LLM, como Gemini. Además, hay muchas guías de instrucciones disponibles, incluidas las prácticas recomendadas para la API de Gemini y Vertex AI:

Por lo general, las plantillas de instrucciones proporcionan un control menos sólido sobre el resultado del modelo en comparación con el ajuste y son más susceptibles a resultados no deseados de entradas adversas. Para comprender con precisión el rendimiento de una plantilla de instrucción en relación con objetivos de seguridad específicos, es importante usar un conjunto de datos de evaluación que no se haya usado en el desarrollo de la plantilla. Las herramientas de depuración de instrucciones también pueden ser útiles para comprender las interacciones específicas entre el sistema, el usuario y el contenido del modelo en las instrucciones que ve tu modelo. Específicamente, pueden conectar partes de la salida generada el contenido más relevante e influyente en la instrucción.

Ajuste de modelo

El ajuste de un modelo comienza desde un punto de control, una versión específica de un modelo, y utiliza un conjunto de datos para definir mejor el comportamiento del modelo. Modelos Gemma y otros Los LLM están disponibles en variantes de entrenamiento previo (PT) y de ajuste de instrucciones (IT). Las variantes de PT tratan la instrucción como un prefijo desde el que continuar, mientras que las variantes ajustadas de TI se ajustaron aún más para tratar la instrucción como un conjunto de instrucciones que describen cómo completar una tarea. En la mayoría de los casos, deberías empezar por un área de TI para heredar los beneficios de seguridad y seguimiento de instrucciones básicos, es posible que se requieran más ajustes para lograr los objetivos específicos de tu aplicación.

El ajuste de modelos para la seguridad es delicado y desafiante. Si un modelo está sobreajustado, se pueden perder otras capacidades importantes. Para ver un ejemplo, consulta el problema de interferencia catastrófica. Además, es seguro de un modelo es contextual. Lo que es seguro para una aplicación puede no serlo para otra. Si descubres que tu modelo no tiene un buen rendimiento ajustes de seguridad adicionales, considera adoptar protecciones que y, en su lugar, aplicar las políticas de comportamiento.

Dos de los enfoques más conocidos para ajustar los LLM son el ajuste supervisado (SFT) y aprendizaje por refuerzo (RL).

• El ajuste fino supervisado (SFT) usa un conjunto de datos de ejemplos que codifican el comportamiento deseado de tu aplicación etiquetando los datos. Para usar la SFT y ajustar tu modelo para la seguridad, debes tener un conjunto de datos con ejemplos de comportamientos seguros y no seguros, de modo que el modelo pueda aprender a distinguir las diferencias.
• El aprendizaje por refuerzo a partir de preferencias humanas (RLHF) usa un modelo de recompensa. para puntuar a tus generaciones de LLM según su cumplimiento y políticas de seguridad. Al igual que con el SFT, el modelo de recompensas del RLHF debe entrenarse en comportamientos seguros y no seguros para generar una puntuación adecuada. Si bien es más costoso, el RLHF puede generar un mejor rendimiento, ya que el modelo de recompensa tiene más flexibilidad para codificar matices en su puntuación.

Para ambas técnicas, los resultados finales dependen en gran medida de la calidad del tus datos de ajuste. Una vez que tengas los datos correctos, puedes ajustar el modelo de Gemma con KerasNLP.

Instructivo de ajuste de instrucciones de Gemma

Iniciar Google Colab

Requisitos y características de los datos

Los estudios de investigación han demostrado que la calidad de los datos suele ser más importante que por lo que debe dedicar tiempo a revisar sus ejemplos de capacitación para asegurarse la calidad de tus datos. (Touvron, 2023; Zhou, 2023).

Dos enfoques comunes para seleccionar datos de entrenamiento y evaluación para el ajuste son generar entradas del usuario de forma manual o con la ayuda de LLM. La generación de datos humanos es suele ser de mayor calidad y requiere menos revisión de supervisión que los datos generados por los LLM, pero es más difícil de escalar y, a menudo, es más costoso.

Ajuste supervisado de datos

Los datos para el ajuste fino de la seguridad dependen en gran medida de ejemplos de consultas de los usuarios que podrían generar una respuesta del modelo que incumpla tus políticas de contenido. Durante la etapa de SFT, el modelo suele ajustarse en pares de consultas adversas con respuestas seguras. Existen dos tipos de consultas adversariales. Consultas bien intencionadas que podrían generar, de forma inadvertida, un comportamiento no deseado de la aplicación y consultas diseñadas por usuarios hostiles que intentan hacer que tu sistema actúe de formas no deseadas. Para obtener más detalles, consulta la Evalúa la seguridad del modelo y sistema.

Ejemplo de dato de ajuste de seguridad

Datos de RL

El aprendizaje por refuerzo es un proceso de dos etapas. La primera etapa es entrenar el modelo de recompensas y la segunda es usar el modelo de recompensas para entrenar el modelo de tu aplicación. Para entrenar el modelo de recompensa, se necesitan las consultas de los usuarios suelen incluir dos respuestas posibles y una etiqueta que indique cuál de las dos se prefieren las respuestas automáticas. Un dato típico se ve de la siguiente manera:

Ejemplo de dato de seguridad para RLHF

Para el segundo paso de RLHF, solo necesitas un conjunto de consultas de los usuarios. En el caso específico de la seguridad, debes equilibrar cuidadosamente tu conjunto de datos con consultas adversariales y no adversariales. Puedes encontrar más información sobre los datos adversariales en la sección Evalúa el modelo y el sistema en busca de seguridad.

Prácticas recomendadas para el ajuste de modelos

Como se mencionó antes, la calidad del conjunto de ajustes condiciona la calidad el modelo final. Debes considerar los siguientes factores al crear tu conjunto de datos de ajuste:

• Cobertura de datos: Tu conjunto de datos debe cubrir todas tus políticas de contenido. para cada caso de uso de tu producto (p.ej., búsqueda de respuestas, resumen, y razonamiento).
• Diversidad de datos: La diversidad de tu conjunto de datos es clave para garantizar que que tu modelo esté ajustado de forma adecuada y abarque muchas características. Es posible que debas cubrir consultas de varias longitudes, formulaciones (preguntas afirmativas, etc.), tonos, temas, niveles de complejidad, así como términos relacionados con identidades y consideraciones demográficas.
• Anulación de duplicación: Al igual que con los datos previos al entrenamiento, quitar los datos duplicados reduce el riesgo de que se memoricen los datos de ajuste y también reduce el tamaño de tu conjunto de ajuste.
• Contaminación con conjuntos de evaluación: Los datos que se usan para la evaluación deben quitarse de los datos de ajuste.
• Las prácticas de datos responsables van más allá del filtrado: Los datos etiquetados de forma incorrecta son una fuente común de errores del modelo. Ofrecer instrucciones claras a las personas de de etiquetar tus datos, ya sea tu equipo o evaluadores externos, si utilizan plataformas de clasificación colectiva y apuntan a diversidad en tus grupos de evaluadores para evitar sesgos injustos.

Recursos para desarrolladores

• Conjuntos de datos de ajuste de alta calidad, incluidos los datos relacionados con la seguridad:
  • Conjunto de datos de Anthropoic para RLHF
  • Conjuntos de datos de LLAMAs ajustados para la seguridad
• La guía People + AI Guidebook de Google ofrece información detallada sobre un enfoque responsable para la recopilación y preparación de datos.
• Sitio web de LIT