Alinhe seus modelos

Alinhamento é o processo de gerenciar o comportamento dos a IA generativa (GenAI) para garantir que os resultados estejam em conformidade com as necessidades e as expectativas da empresa. Esses esforços são uma área de pesquisa aberta e ativa, e você precisa decidir o que significa alinhar seu modelo ao produto e como você planeja fazer isso. Neste documento, você vai aprender sobre duas técnicas (modelos de comando e ajuste de modelo) e ferramentas que permitem refactoring e depuração de comandos que podem ser utilizadas para alcançar seus objetivos de alinhamento. Para mais informações sobre alinhamento de modelos, metas e abordagens, consulte Inteligência artificial, valores e alinhamento (em inglês).

Modelos de comandos

Os modelos de comandos, também chamados de prompts do sistema, fornecem contexto sobre o usuário entrada e saída do modelo, dependendo do caso de uso, instruções do sistema e exemplos few-shot que orientam o modelo para uma abordagem e resultados de maior qualidade. Por exemplo, se o seu objetivo é alta qualidade resumos de publicações técnicas científicas, pode ser útil usar um de comando, como:

The following examples show an expert scientist summarizing the
key points of an article. Article: {{article}}
Summary:

em que {{article}} é um marcador para o artigo que está sendo resumido.

Modelos de comando contextualizados podem melhorar significativamente a qualidade e a segurança da saída do modelo. No entanto, escrever modelos de comandos pode ser desafiador e requer criatividade, experiência e uma quantidade significativa de iteração. O A biblioteca Model alinhamento fornece dois métodos para melhorar iterativamente o design de modelos de comandos com a ajuda de LLMs, como o Gemini. Além disso, há muitos guias de comando disponíveis, incluindo práticas recomendadas para a API Gemini e a Vertex AI.

Os modelos de comando geralmente oferecem um controle menos robusto sobre a saída do modelo em comparação com o ajuste e são mais suscetíveis a resultados não intencionais de entradas adversas. Para entender com precisão o desempenho de um modelo de comando em relação a objetivos de segurança específicos, é importante usar um conjunto de dados de avaliação que não foi usado no desenvolvimento do modelo. As ferramentas de depuração de comandos também podem ser úteis para entender as interações específicas entre o sistema, o usuário e o conteúdo do modelo nos comandos que o modelo recebe. Especificamente, eles podem conectar partes da saída gerada ao conteúdo mais relevante e influente do comando.

Ajuste de modelos

O ajuste de um modelo começa em um ponto de verificação, uma versão específica de um modelo, e usa um conjunto de dados para refinar o comportamento do modelo. Os modelos Gemma e outros LLMs estão disponíveis nas variantes Pretrained (PT) e Instruction Tuned (IT). As variantes PT tratam o comando como um prefixo para prosseguir, enquanto as variantes ajustadas variantes foram ajustadas para tratar o comando como um conjunto de instruções que descrevem como concluir uma tarefa. Na maioria dos casos, você deve começar com para herdar as instruções básicas de seguir e os benefícios de segurança, mais ajustes podem ser necessários para atingir os objetivos específicos do seu aplicativo.

O ajuste de modelos visando a segurança é delicado e desafiador. Se um modelo estiver ajustado em excesso, ele pode perder outros recursos importantes. Para ver um exemplo, consulte problema de interferência catastrófica. Além disso, o comportamento seguro de um modelo é contextual. O que é seguro para um aplicativo pode não ser seguro para outro. Se você perceber que o modelo não está funcionando bem para ajustes de segurança adicionais, considere adotar proteções que apliquem suas políticas comportamentais.

Duas das abordagens mais conhecidas para ajustar LLMs são o ajuste supervisionado (SFT) e o aprendizado por reforço (RL).

• O ajuste supervisionado (SFT) usa um conjunto de dados de exemplos que codifica o comportamento desejado do aplicativo rotulando os dados. Usar o SFT para ajustar seu modelo com foco na segurança, é preciso ter um conjunto de dados com exemplos e comportamentos inseguros, para que o modelo aprenda a distinguir os diferenças.
• O aprendizado por reforço com preferências humanas (RLHF, na sigla em inglês) usa um modelo de recompensa. para pontuar suas gerações de LLMs com base em conformidade com políticas. Assim como no SFT, o modelo de recompensa de RLHF precisa ser treinado com comportamentos seguros e não seguros para gerar uma pontuação adequada. Embora mais caro, o RLHF pode resultar em uma performance melhor, já que o modelo de recompensa tem mais flexibilidade para codificar nuances na pontuação.

Para ambas as técnicas, os resultados finais dependem em grande parte da qualidade seus dados de ajuste. Depois de ter os dados corretos, é possível ajustar o Gemma usando KerasNLP.

Tutorial de ajuste de instruções do Gemma

Iniciar o Google Colab

Requisitos e características de dados

Estudos de pesquisa mostraram que a qualidade dos dados é mais importante do que a quantidade. Portanto, invista tempo revisando seus exemplos de treinamento para garantir a qualidade dos dados (Touvron, 2023; Zhou, 2023).

Duas abordagens comuns para selecionar dados de treinamento e avaliação para ajuste são gerar a entrada do usuário manualmente ou com a ajuda de LLMs. A geração de dados humanos é costumam ser de maior qualidade e exigem menos revisão supervisão do que os dados gerados pelo LLM, mas é mais difícil de escalonar e geralmente mais caro.

Dados de ajuste supervisionados

Os dados para ajuste fino de segurança dependem em grande parte de exemplos de consultas de usuários que provavelmente geram uma resposta de modelo que viola suas políticas de conteúdo. Na fase SFT, o modelo costuma ser ajustado em pares de consultas seguras com respostas seguras. Há dois tipos de consultas adversas. Consultas bem-intencionadas que podem resultar acidentalmente em comportamento indesejado do aplicativo e consultas projetadas por usuários adversários que pretendem fazer com que seu sistema aja de maneiras indesejadas. Para mais detalhes, consulte o guia Avaliar a segurança do modelo e do sistema.

Exemplo de ponto de dados de ajuste fino de segurança

Dados de RL

O aprendizado por reforço é um processo de duas etapas. A primeira etapa é treinar modelo de recompensa. O segundo é usar esse modelo para treinar modelo do aplicativo. Para treinar o modelo de recompensas, é preciso fazer consultas dos usuários e normalmente incluem duas respostas possíveis e um marcador indicando qual das duas dará preferência às respostas. Um ponto de dados típico tem a seguinte aparência:

Exemplo de ponto de dados de segurança para RLHF

Para a segunda etapa do RLHF, você só precisa de um conjunto de consultas de usuários. No caso específico de segurança, é preciso equilibrar cuidadosamente o conjunto de dados com consultas adversas e não adversas. Mais informações sobre dados de adversários podem ser encontradas na seção Avaliar a segurança do modelo e do sistema.

Práticas recomendadas para ajuste de modelos

Como mencionado anteriormente, a qualidade do conjunto de ajustes condiciona a qualidade do modelo final. Considere os seguintes fatores ao criar seu conjunto de dados de ajuste:

• Cobertura de dados: seu conjunto de dados precisa abranger todas as políticas de conteúdo para cada um dos casos de uso do seu produto (por exemplo, resposta a perguntas, resumo e raciocínio).
• Diversidade de dados:a diversidade do conjunto de dados é fundamental para garantir que seu modelo é ajustado corretamente e abrange muitas características. Talvez seja necessário cobrir consultas de vários tamanhos, formulações (afirmativas, perguntas etc.), tons, tópicos, níveis de complexidade, bem como termos relacionados a identidades e considerações demográficas.
• Eliminação de duplicação: assim como nos dados de pré-treinamento, a remoção de dados duplicados reduz o risco de que os dados de ajuste sejam memorizados e também reduz o tamanho do conjunto de ajuste.
• Contaminação com conjuntos de avaliação: os dados usados para avaliação precisam ser removidos dos dados de ajuste.
• Práticas responsáveis relacionadas a dados vão além da filtragem: dados rotulados incorretamente são uma fonte comum de erros de modelo. Ofereça instruções claras para as pessoas encarregado de rotular seus dados, seja sua equipe ou avaliadores externos, se você estão usando plataformas de crowdrating e visam diversidade nos grupos de avaliadores para evitar vieses injustos.

Recursos para desenvolvedores

• Conjuntos de dados para ajustes de alta qualidade, incluindo dados relacionados à segurança:
  • Conjunto de dados do Anthropic para RLHF
  • Conjuntos de dados de LLaMAs com configuração de segurança
• O Guia Pessoas + IA do Google oferece insights detalhados uma abordagem responsável à coleta e preparação de dados.
• Site da LIT (em inglês)