Menyelaraskan model

Penyesuaian adalah proses pengelolaan perilaku AI generatif (GenAI) untuk memastikan output-nya sesuai dengan kebutuhan dan harapan produk Anda. Upaya ini adalah area riset yang terbuka dan aktif, dan Anda perlu menentukan apa artinya model Anda harus selaras dengan produk Anda, dan bagaimana Anda berencana untuk menerapkannya. Dalam dokumen ini, Anda dapat mempelajari dua yang memungkinkan seperti template prompt dan penyesuaian model, serta alat yang perintah pemfaktoran ulang dan proses debug yang telah Anda digunakan untuk mencapai tujuan keselarasan. Untuk mengetahui informasi selengkapnya tentang perataan model tujuan dan pendekatan, melihat Kecerdasan Buatan, Nilai, dan Penyelarasan.

Template perintah

Template perintah, yang juga disebut perintah sistem, memberikan konteks seputar pengguna input dan output model, bergantung pada kasus penggunaan Anda, yaitu petunjuk sistem dan contoh beberapa tampilan yang memandu model agar lebih aman dan hasil yang berkualitas lebih tinggi. Misalnya, jika tujuan Anda adalah ringkasan berkualitas tinggi publikasi ilmiah teknis, Anda mungkin akan merasa terbantu dengan menggunakan template perintah seperti:

The following examples show an expert scientist summarizing the
key points of an article. Article: {{article}}
Summary:

Dengan {{article}} adalah placeholder untuk artikel yang disingkat.

Template perintah yang dikontekstualisasikan dapat meningkatkan kualitas dan keamanan output model Anda secara signifikan. Namun, menulis {i>template<i} perintah dapat menjadi tantangan dan membutuhkan kreativitas, pengalaman, dan sejumlah besar pengulangan. Library Model Alignment menyediakan dua metode untuk meningkatkan desain template perintah secara iteratif dengan bantuan LLM, seperti Gemini. Selain itu, ada banyak panduan perintah yang tersedia, termasuk praktik terbaik untuk Gemini API dan Vertex AI.

Template perintah biasanya memberikan kontrol yang kurang andal atas output model dibandingkan dengan tuning, dan lebih rentan terhadap hasil yang tidak diinginkan dari input jahat. Untuk memahami secara akurat seberapa baik performa template perintah terhadap tujuan keamanan tertentu, penting untuk menggunakan set data evaluasi yang juga tidak digunakan dalam pengembangan template. Alat proses debug perintah juga dapat berguna untuk memahami interaksi tertentu antara konten sistem, pengguna, dan model dalam perintah yang dilihat model Anda. Secara khusus, model ini dapat menghubungkan bagian output yang dihasilkan ke konten yang paling relevan dan berpengaruh dalam perintah.

Penyesuaian model

Menyesuaikan model dimulai dari sebuah checkpoint, yaitu versi model tertentu, lalu menggunakan set data untuk menyaring perilaku model. Model Gemma, dan LLM lainnya, tersedia dalam varian Pra-Pelatihan (PT) dan Penyesuaian Instruksi (IT). Varian PT memperlakukan perintah sebagai awalan untuk melanjutkan, sedangkan perintah IT disesuaikan varian telah disesuaikan lebih jauh untuk memperlakukan perintah sebagai serangkaian petunjuk yang menjelaskan cara menyelesaikan tugas. Dalam kebanyakan kasus, Anda harus memulai dengan spesialis yang berbeda, untuk mewarisi manfaat dasar untuk mengikuti instruksi dan keselamatan, tetapi penyesuaian lebih lanjut mungkin diperlukan untuk mencapai tujuan aplikasi spesifik.

Menyesuaikan model untuk keamanan itu sulit dan menantang. Jika model di-over-tune, maka komputer itu dapat kehilangan kemampuan penting lainnya. Misalnya, lihat masalah interferensi bencana. Selain itu, perilaku yang aman untuk model bersifat kontekstual. Apa yang aman untuk satu aplikasi mungkin tidak aman bagi orang lain. Jika model Anda tidak berperforma baik peningkatan keamanan tambahan, pertimbangkan untuk mengadopsi perlindungan yang menegakkan kebijakan perilaku.

Dua pendekatan yang paling dikenal untuk menyesuaikan LLM adalah penyesuaian presisi yang diawasi (SFT) dan reinforcement learning (RL).

• Penyesuaian halus yang diawasi (SFT) menggunakan set data contoh yang mengenkode perilaku aplikasi yang diinginkan dengan memberi label pada data. Untuk menggunakan SFT untuk keamanan model, Anda perlu memiliki set data dengan contoh dan perilaku tidak aman, sehingga model bisa belajar membedakan perbedaan tersebut.
• Reinforcement learning from human preferences (RLHF) menggunakan model reward untuk menilai generasi LLM Anda berdasarkan kepatuhannya terhadap kebijakan perilaku. Seperti halnya SFT, model reward RLHF perlu dilatih pada perilaku yang aman dan tidak aman untuk menghasilkan skor yang sesuai. Meskipun lebih mahal, RLHF dapat menghasilkan performa yang lebih baik sebagai model reward memiliki lebih banyak fleksibilitas untuk mengenkode perbedaan ke dalam skornya.

Untuk kedua teknik tersebut, hasil akhirnya sangat tergantung pada kualitas data tuning Anda. Setelah memiliki data yang tepat, Anda dapat menyesuaikan Model Gemma menggunakan KerasNLP.

Tutorial Penyesuaian Petunjuk Gemma

Mulai Google Colab

Karakteristik dan persyaratan data

Studi penelitian telah menunjukkan bahwa kualitas data sering kali lebih penting daripada jadi Anda harus menginvestasikan waktu untuk meninjau contoh pelatihan guna memastikan kualitas data Anda (Touvron, 2023; Zhou, 2023).

Dua pendekatan umum untuk menyeleksi data pelatihan dan evaluasi untuk penyesuaian adalah dengan menghasilkan input pengguna secara manual atau dengan bantuan LLM. Pembuatan data manusia sering kali memiliki kualitas yang lebih tinggi dan memerlukan lebih sedikit peninjauan pengawasan daripada data yang dihasilkan LLM, tetapi lebih sulit diskalakan dan sering kali lebih mahal.

Data fine-tuning yang diawasi

Data untuk penyesuaian keamanan sebagian besar bergantung pada contoh kueri pengguna yang cenderung memicu respons model yang melanggar kebijakan konten Anda. Selama tahap SFT, model ini biasanya di-fine-tune berdasarkan pasangan kueri dengan respons yang aman. Ada dua jenis kueri berlawanan. Kueri yang dimaksudkan dengan baik yang mungkin secara tidak sengaja menyebabkan perilaku aplikasi yang tidak diinginkan dan kueri yang dirancang oleh pengguna yang berniat jahat yang ingin membuat sistem Anda bertindak dengan cara yang tidak diinginkan. Untuk mengetahui detail selengkapnya, lihat panduan Mengevaluasi model dan sistem untuk keselamatan.

Contoh titik data fine-tuning keamanan

Data RL

Reinforcement Learning adalah proses dua tahap. Tahap pertama adalah melatih model reward, dan yang kedua adalah menggunakan model reward untuk melatih model aplikasi Anda. Untuk melatih model reward, diperlukan kueri pengguna dan biasanya mencakup dua kemungkinan tanggapan dan label yang menunjukkan mana dari keduanya respons yang lebih disukai. Titik data standar terlihat seperti berikut:

Contoh titik data keselamatan untuk RLHF

Untuk langkah kedua RLHF, Anda hanya memerlukan sekumpulan kueri pengguna. Di kolom keamanan, Anda ingin secara hati-hati menyeimbangkan {i>dataset<i} Anda dengan kueri jahat dan non-adversarial. Informasi selengkapnya tentang data adversarial dapat ditemukan di bagian Mengevaluasi keamanan model dan sistem.

Praktik terbaik untuk penyesuaian model

Seperti yang disebutkan sebelumnya, kualitas set penyesuaian Anda akan menentukan kualitas model akhir. Anda harus mempertimbangkan faktor-faktor berikut saat membuat set data penyesuaian:

• Cakupan data: Set data Anda harus mencakup semua kebijakan konten untuk setiap kasus penggunaan produk (misalnya, menjawab pertanyaan, meringkas, dan bernalar).
• Keberagaman data: Keberagaman set data Anda adalah kunci untuk memastikan bahwa model Anda di-tune dengan tepat dan mencakup berbagai karakteristik. Mungkin harus mencakup kueri dengan panjang, rumusan yang bervariasi (afirmatif, pertanyaan, dll.), nada, topik, tingkat kompleksitas serta istilah terkait dengan pertimbangan demografis dan identitas.
• Penghapusan duplikat: Sama seperti data pra-pelatihan, menghapus data duplikat akan mengurangi risiko data penyesuaian diingat dan juga mengurangi ukuran set penyesuaian Anda.
• Kontaminasi dengan set evaluasi: Data yang digunakan untuk evaluasi harus dihapus dari data penyesuaian.
• Praktik data yang bertanggung jawab lebih dari sekadar pemfilteran: Data yang diberi label salah sumber error model yang umum. Tawarkan pengajaran yang jelas kepada orang-orang di bertanggung jawab untuk pelabelan data Anda, baik penilai tim Anda atau eksternal jika Anda menggunakan platform {i>crowd-rating, <i} dan berupaya keberagaman di kumpulan pemberi rating Anda untuk menghindari bias yang tidak adil.

Resource untuk developer

• Set data penyesuaian berkualitas tinggi, termasuk data terkait keselamatan:
  • Set data Anthropic untuk RLHF
  • Set data LLaMA yang Disesuaikan Keamanan
• Buku Panduan People + AI dari Google menawarkan insight mendalam tentang pendekatan yang bertanggung jawab untuk pengumpulan dan persiapan data.
• Situs LIT