Gemini veya Gemma gibi bir yapay zeka (AI) modeli için amacınızı mükemmel şekilde yakalayan bir istem oluşturmak kolay bir iş olmayabilir. Genellikle, istemi manuel olarak yazmanız ve ardından ihtiyaçlarınıza uygun olduğundan emin olmak için çeşitli kullanım alanlarında test etmeniz gerekir. Sonuçlara göre istemde hedeflenen güncellemeler yapabilirsiniz: Bir yerdeki bazı kelimeleri değiştirebilir, başka bir yere yeni bir cümle ekleyebilirsiniz. Bu süreç pek ilkelere dayanmaz ve en iyi sonuca sonuç.
Google, modelin çıktısı hakkında verdiğiniz geri bildirime göre istem şablonunu otomatik olarak güncellemek için LLM'leri kullanan bir yöntem geliştirdi. Geri bildiriminiz, istem ve modelin çıkışıyla birlikte, istemi istediğiniz davranışla daha uyumlu olacak şekilde güncelleyen bir LLM'ye gönderilir.
Bu yöntem iki şekilde kullanılabilir:
- Açık kaynak
model-alignmentPython kitaplığı, bu yaklaşımı yazılımınıza ve iş akışlarınıza esnek bir şekilde dahil etmenizi sağlar. - Bu yaklaşımın bir sürümü, Vertex topluluğumuza entegre AI Studio sayesinde bu iş akışını yalnızca birkaç tıklamayla kullanabilirsiniz.
Açık Kaynak Kitaplığı
Model Hizalama, PyPI'de paket olarak yayınlanan ve API aracılığıyla kullanıcı geri bildiriminde bulunan istemlerin hizalanmasını sağlayan açık kaynak bir Python kitaplığıdır. Kitaplık, gerçek kişiler tarafından yapılan geri bildirimlerle güncelleme etiketli verilerden otomatik sınıflandırıcı oluşturma.
Model Eşleme kitaplığını kullanarak Gemma için istem şablonları oluşturma
 Google Colab'ı başlatın
|
Bu kitaplık, istem şablonlarını otomatik olarak güncellemek için iki iş akışını destekler:
- İlkelerden yinelenen güncellemeler. Bu iş akışında, ayrıştırma için LLM kullanılır. yönergelerini doğrudan gözden geçirme model çıkışının doğrudan düzenlemelerinden kaynaklanabilir. LLM'ye göndermeden önce iteratif olarak bir veya daha fazla yönerge oluşturabilirsiniz. Bu yönergeler, istem şablonunu bu yönergelere uygun olacak şekilde günceller. Şunları yapabilirsiniz: ayrıca kılavuzlar seçin ve bunları LLM ile damıtılmış olanların yanına ekleyin.
- Model çıktılarının doğrudan eleştirisi. Bu iş akışı, geri bildirimlerinizi alır kontrol eder ve bunu, istem ve modelle birlikte besler. çıktısını doğrudan LLM'ye aktarabilir.
Bu iki iş akışı da uygulamanız için yararlı olabilir. Bu yaklaşımın en önemli avantajı, şeffaflık gibi konulara yaklaşımınızı şekillendirmenize yardımcı olabilecek yararlı ve somut bir süreç öğesi olan yönergelerin varlığıdır.
Şekil 1. Bu akış şemasında, iki model uyumluluğu kitaplığı iş akışının nerede ve nasıl ayrıldığı gösterilerek istem şablonlarınızda kurala dayalı veya doğrudan güncellemeler yapılmasına olanak sağlanmaktadır. Sürecin yinelemeli olduğunu ve bu iş akışlarının ikisi arasında istediğiniz zaman geçiş yapabilirsiniz.
Şu işlemler için Gemini'ı kullanan Colab not defterine göz atın: Gemma 2 için istemleri her iki iş akışını da kullanarak aynı hizaya getirin.
Vertex AI Studio'da hizalama
Google'ın Vertex AI Studio'su doğrudan iş akışına göre "istemi hassaslaştır" özelliği özelliğini kullanmak için Model Hizalama açık kaynak kitaplığından değerlendirme ve karşılaştırma araçlarını içerir.
Bir isteği çalıştırdıktan sonra, modelin farklı davranması gereken durumlarla ilgili geri bildirimde bulunabilirsiniz. Vertex AI Studio, yeniden yazma taslağı oluşturmak için Gemini'yi kullanır. Önerilen değişiklikleri kabul edip güncellenen istemi yeniden çalıştırabilirsiniz veya geri bildiriminizi güncelleyip Gemini'ın yeni bir taslak oluşturmasını sağlayın. bir adaydır.
Şekil 2. Vertex AI Studio'nun "istemi hassaslaştırma" özelliği, bir istemi kullanıcı geri bildirimlerine göre güncellemek için kullanılıyor.
Bağlantılar
Model hizalamasını kendiniz keşfedin:
- Çeşitli öğeleri hizalamak için Gemini'ı kullanan bu Colab not defterini açık ağırlıklı Gemma 2 modelimiz için iki hizalama yaklaşımını kullanıyoruz.
- Vertex AI Studio'da "istemi hassaslaştır" model uyumlulaştırma özelliğini deneyin.