Membuat perintah untuk model kecerdasan buatan (AI), seperti Gemini atau Gemma, yang menangkap intent Anda dengan sempurna dapat menjadi tugas yang tidak mudah. Sering kali, Anda harus menulis prompt secara manual, lalu mengujinya dalam berbagai kasus penggunaan untuk memastikannya sesuai dengan kebutuhan Anda. Berdasarkan hasilnya, Anda dapat membuat pembaruan yang ditargetkan pada perintah: mengubah beberapa kata di satu tempat, menambahkan kalimat baru di lain. Proses ini tidak terlalu berprinsip dan mungkin tidak memberikan hasil terbaik hasil pengujian tersebut.
Google telah mengembangkan metode yang menggunakan LLM untuk memperbarui template perintah secara otomatis berdasarkan masukan yang Anda berikan tentang output model dalam bahasa yang sederhana. Masukan Anda, bersama dengan prompt dan output model, dikirim ke LLM yang memperbarui perintah untuk lebih menyesuaikan dengan perilaku yang Anda inginkan.
Metode ini tersedia dalam dua cara:
- Library Python
model-alignmentopen source memungkinkan Anda menggabungkan pendekatan ini secara fleksibel ke dalam software dan alur kerja Anda. - Versi pendekatan ini terintegrasi ke dalam Vertex Generative AI Studio, memungkinkan Anda menggunakan alur kerja ini hanya dengan beberapa klik.
Library Open Source
Model Alignment adalah library Python open source, yang dirilis sebagai paket di PyPI yang memungkinkan penyelarasan perintah dari masukan manusia melalui API. Perpustakaan ini didasarkan pada penelitian kita tentang perintah untuk memperbarui melalui masukan manual dan pembuatan pengklasifikasi otomatis dari data berlabel.
Menyeleksi template perintah untuk Gemma menggunakan library Penyelarasan Model
 Mulai Google Colab
|
Library ini mendukung dua alur kerja untuk memperbarui template perintah secara otomatis:
- Pembaruan berulang dari prinsip-prinsip. Alur kerja ini menggunakan LLM untuk menyaring pedoman baik dari kritik tidak langsung terhadap output model, maupun dari pengeditan langsung output model. Anda dapat membuat satu atau beberapa panduan secara iteratif sebelum mengirimkannya ke LLM, yang akan memperbarui template perintah untuk mematuhi panduan tersebut. Anda juga dapat memilih panduan secara manual dan menyertakannya bersama panduan yang distilasi LLM.
- Kritik langsung terhadap output model. Alur kerja ini menggunakan masukan Anda tentang seluruh output model dan memasukkannya, bersama dengan output perintah dan model, langsung ke LLM untuk membuat template perintah yang diperbarui.
Kedua alur kerja ini mungkin berguna untuk aplikasi Anda. Kompromi yang signifikan adalah adanya panduan, yang dapat menjadi artefak proses konkret yang berguna dan dapat membantu menginformasikan, misalnya, pendekatan Anda terhadap transparansi.
Gambar 1. Diagram alir ini menggambarkan tempat dan cara dua alur kerja library Model Alignment berbeda untuk memungkinkan pembaruan langsung atau yang didasarkan pada pedoman ke template perintah Anda. Perhatikan bahwa prosesnya bersifat iteratif, dan alur kerja ini tidak saling eksklusif, Anda dapat beralih di antara keduanya kapan saja.
Lihat notebook Colab yang menggunakan Gemini untuk menyelaraskan perintah untuk Gemma 2 menggunakan kedua alur kerja.
Keselarasan dalam Vertex AI Studio
Vertex AI Studio Google telah menambahkan Fitur "pertajam perintah" berdasarkan alur kerja langsung dari library open source Model Alignment untuk melengkapi penyusunannya, berjalan, evaluasi, dan perbandingan.
Setelah menjalankan perintah, Anda dapat memberikan masukan tentang cara model harus berperilaku secara berbeda, dan Vertex AI Studio menggunakan Gemini untuk membuat draf penulisan ulang. Anda dapat menyetujui perubahan yang diusulkan dan menjalankan kembali perintah yang diperbarui dengan mengklik tombol, atau memperbarui masukan Anda dan meminta Gemini membuat draf tambahan kandidat.
Gambar 2. Fitur "pertajam perintah" di Vertex AI Studio digunakan untuk memperbarui perintah berdasarkan masukan pengguna.
Link
Jelajahi sendiri penyelarasan model:
- Jalankan notebook Colab yang menggunakan Gemini untuk menyelaraskan berbagai prompt untuk model Gemma 2 bobot terbuka menggunakan kedua pendekatan penyelarasan.
- Coba fitur penyelarasan model "pertajam perintah" di Vertex AI Studio.