Creare un prompt per un modello di intelligenza artificiale (IA), come Gemini o Gemma, che catturi perfettamente la tua intenzione può essere un'attività non banale. Spesso, è necessario scrivere un prompt a mano e testarlo in vari casi d'uso per per assicurarti che soddisfi le tue esigenze. In base ai risultati, potresti apportare aggiornamenti mirati al prompt: modificando alcune parole in un posto, aggiungendo una nuova frase un'altra. Questa procedura non è molto basata su principi e potrebbe non portare ai risultati migliori.
Google ha sviluppato un metodo che utilizza gli LLM per aggiorna automaticamente un modello di prompt in base feedback che fornisci sull'output del modello in un linguaggio semplice. Il tuo feedback, insieme al prompt e all'output del modello, vengono inviati a un LLM che si aggiorna della richiesta per allinearsi meglio al comportamento previsto.
Questo metodo è disponibile in due modi:
- La libreria Python
model-alignmentopen source ti consente di incorporare in modo flessibile questo approccio nel tuo software e nei tuoi flussi di lavoro. - Una versione di questo approccio è integrata in Vertex AI Studio e ti permette di utilizzare questo flusso di lavoro con pochi clic.
Libreria open source
Allineamento del modello è una libreria Python open source, rilasciata come un pacchetto su PyPI che consente l'allineamento dei prompt degli utenti feedback tramite un'API. La libreria si basa sulla nostra ricerca chiedere l'aggiornamento tramite feedback umano e creazione automatica di classificatori dai dati etichettati.
Selezionare modelli di prompt per Gemma utilizzando la libreria Allineamento modello
 Avvia Google Colab
|
Questa libreria supporta due flussi di lavoro per l'aggiornamento automatico dei modelli di prompt:
- Aggiornamenti iterativi basati sui principi. Questo flusso di lavoro utilizza un modello LLM per ricavare linee guida da critiche indirette dell' output del modello o da modifiche dirette dell'output del modello. Puoi creare iterativamente una o più linee guida prima di inviarle all'LLM, che aggiorna il modello di prompt per rispettare queste linee guida. Puoi anche per la creazione manuale delle linee guida e includerle insieme a quelle distillate tramite LLM.
- Valutazione diretta degli output del modello. Questo flusso di lavoro prende il tuo feedback sulla produzione dell'intero modello e lo invia, insieme al prompt e all'output del modello, direttamente all'LLM per generare un modello aggiornato modello di prompt.
Questi due flussi di lavoro possono essere utili per la tua applicazione. Il degno di nota un compromesso è la presenza di linee guida, che possono essere un processo utile e concreto che possono aiutarti a informare, ad esempio, il tuo approccio trasparenza.
Figura 1. Questo diagramma di flusso illustra dove e come i due workflow della libreria di allineamento del modello divergono per consentire aggiornamenti diretti o basati sulle linee guida ai modelli di prompt. Tieni presente che la procedura è iterativa e che questi flussi di lavoro non sono mutuamente esclusivi, quindi puoi passare da uno all'altro in qualsiasi momento.
Dai un'occhiata al notebook di Colab che utilizza Gemini per allineare i prompt per Gemma 2 utilizzando entrambi i flussi di lavoro.
Allineamento in Vertex AI Studio
Vertex AI Studio di Google ha aggiunto la funzionalità "affina prompt" basata sul flusso di lavoro diretto della libreria open source Model Alignment per completare i suoi strumenti di creazione, esecuzione, valutazione e confronto.
Dopo aver eseguito un prompt, puoi fornire feedback su come il modello dovrebbe comportarsi in modo diverso e Vertex AI Studio utilizza Gemini per creare una bozza di riscrittura. Puoi accettare le modifiche proposte ed eseguire nuovamente il prompt aggiornato con un clic o aggiorna il tuo feedback e lascia che Gemini ne crei un'altra candidato.
Figura 2. "Perfeziona prompt" di Vertex AI Studio utilizzata per aggiornare una richiesta in base al feedback degli utenti.
Link
Esplora l'allineamento del modello:
- Esegui questo blocco note di Colab che utilizza Gemini per allineare vari per il nostro modello Gemma 2 a pesi aperti utilizzando entrambi gli approcci di allineamento.
- Prova il "messaggio di perfezionamento" funzionalità di allineamento del modello Vertex AI Studio