Gemini API ile ince ayarlar

Birkaç denemelik istem gibi istem tasarım stratejileri her zaman yardımcı olur. İnce ayar, modelinizin kalitesini iyileştirebilen belirli görevlerde daha iyi performans göstermesini sağlayabilir veya modelin belirli çıktılara uymasını sağlayabilirsiniz. bir dizi örneğiniz olması ve bu şartlardan yararlanmanın bir örnekle açıklayacağım.

Bu sayfada, arka plandaki metin modelinde ince ayar yapmaya ilişkin kavramsal bir genel bakış sunulmaktadır. Gemini API metin hizmetiyle Ayarlamaya hazır olduğunuzda şunu deneyin: ince ayar eğiticisi. Şunu isterseniz: LLM'leri belirli kullanım alanları için özelleştirmeye daha genel bir giriş, dışarıda LLM'ler: Hassas ayar, damıtma ve istem mühendisliği Makine Öğrenimi Hızlandırılmış Kursu.

İnce ayarların işleyiş şekli

İnce ayarın amacı, modelin performansını daha da artırmaktır. en iyi yöntemin ne olduğunu öğreneceğiz. İnce ayar, modele görevin birçok örneğini içeren bir eğitim veri kümesi sağlayarak çalışır. Niş görevler için model üzerinde küçük bir ayarlamayla model performansında önemli artışlar izin verebilirsiniz. Bu tür model ince ayarları gözetimli ince ayar ile diğer ince ayar türlerinden ayırt edebilirsiniz.

Eğitim verileriniz, istem girişlerine ve ek açıklamaların yer aldığı ve beklenen yanıt çıkışları hakkında daha fazla bilgi edineceksiniz. Doğrudan örnek verileri kullanarak da modellerde ince ayar yapabilirsiniz. ekleyebilirsiniz. Amaç, modele bu davranışı veya görevi gösteren birçok örnek vererek istenen davranışı ya da görevi taklit etmeyi öğretmektir.

Bir ince ayar işi çalıştırdığınızda model, işin tamamlanmasına yardımcı olan ek parametreler öğrenir istenen görevi gerçekleştirmek veya isteneni öğrenmek için gerekli bilgileri kodlamak gösterir. Bu parametreler, daha sonra çıkarım zamanında kullanılabilir. Ayarlama işinin çıktısı, yeni öğrenilen parametrelerin ve orijinal modelin bir kombinasyonu olan yeni bir modeldir.

Veri kümenizi hazırlama

İnce ayar yapmaya başlamadan önce modeli ayarlarken kullanacağınız bir veri kümesine ihtiyacınız vardır. En iyi performans için veri kümesindeki örnekler yüksek kaliteli, çeşitli ve gerçek girişleri ve çıkışları temsil etmelidir.

Biçim

Veri kümenize dahil edilen örnekler, beklediğiniz üretimle eşleşmelidir yardımcı olur. Veri kümenizde belirli biçimlendirme, anahtar kelimeler, talimatlar, üretim verileri de yine aynı şekilde biçimlendirilmiş olmalı ve aynı talimatları içermelidir.

Örneğin, veri kümenizdeki örnekler bir "question:" ve bir "context:", üretim trafiği de bir Veri kümesinde göründüğü sırayla "question:" ve bir "context:" örnekler. Bağlamı hariç tutarsanız model, kalıbı veri kümesindeki bir örnekte yer alsa da geçerlidir.

Başka bir örnek olarak, bir sıradaki sonraki sayıyı oluşturan bir uygulama için Python eğitim verilerini aşağıda bulabilirsiniz:

training_data = [
  {"text_input": "1", "output": "2"},
  {"text_input": "3", "output": "4"},
  {"text_input": "-3", "output": "-2"},
  {"text_input": "twenty two", "output": "twenty three"},
  {"text_input": "two hundred", "output": "two hundred one"},
  {"text_input": "ninety nine", "output": "one hundred"},
  {"text_input": "8", "output": "9"},
  {"text_input": "-98", "output": "-97"},
  {"text_input": "1,000", "output": "1,001"},
  {"text_input": "10,100,000", "output": "10,100,001"},
  {"text_input": "thirteen", "output": "fourteen"},
  {"text_input": "eighty", "output": "eighty one"},
  {"text_input": "one", "output": "two"},
  {"text_input": "three", "output": "four"},
  {"text_input": "seven", "output": "eight"},
]

Veri kümenizdeki her örneğin önüne bir istem veya önsöz eklemek de işe yarayabilir. hassaslaştırılmış modelin performansını iyileştirmenizi sağlar. Bir istem veya önsözde veri kümenize dahil edilmişse, önceden ayarlanmış modelidir.

Sınırlamalar

Not: Gemini 1.5 Flash için veri kümelerinde ince ayarlar aşağıdaki gibidir: sınırlamalar:

• Örnek başına maksimum giriş boyutu 40.000 karakterdir.
• Örnek başına maksimum çıkış boyutu 5.000 karakterdir.

Eğitim verileri boyutu

20 örnek kadar az sayıda örnek kullanarak bir modelde ince ayar yapabilirsiniz. Ek veri ve genellikle yanıtların kalitesini artırır. 100 veya üzeri ve 500 örnek bulunuyor. Aşağıdaki tabloda Metin modelinde çeşitli yaygın görevlere yönelik ince ayarlar yapmak için önerilen veri kümesi boyutları şunlardır:

Ayarlama veri kümenizi yükleme

Veriler, API kullanılarak veya Google AI Studio'ya yüklenen dosyalar aracılığıyla satır içi olarak iletilir.

İstemci kitaplığını kullanmak için createTunedModel çağrısında veri dosyasını sağlayın. Dosya boyutu sınırı 4 MB'tır. Bkz. Python ile ince ayar hızlı başlangıç kılavuzu seçerek başlayın.

cURL'ı kullanarak REST API'yi çağırmak için training_data bağımsız değişkenine JSON biçiminde eğitim örnekleri sağlayın. Bkz. cURL ile ayarlama hızlı başlangıç kılavuzu seçerek başlayın.

Gelişmiş ince ayar ayarları

Ayarlama işi oluştururken aşağıdaki gelişmiş ayarları belirtebilirsiniz:

• Dönemler: Tüm eğitim setini kapsayan tam bir eğitim geçişidir. Böylece, örnek bir kez işlendi.
• Grup boyutu: Bir eğitim iterlemesinde kullanılan örnek kümesi. İlgili içeriği oluşturmak için kullanılan grup boyutu bir gruptaki örnek sayısını belirler.
• Öğrenme hızı: Algoritmaya öğrenme hızının model parametrelerini her yinelemede ayarlamak için güçlü bir şekilde ayarlanması gerekir. Örneğin, 0,3 olan bir öğrenme hızı, ağırlıkları ve yanlılıkları üç kat daha fazla ayarlar daha güçlü olduğunu söylüyor. Yüksek ve düşük öğrenme oranları, kendine özgü dengeleri vardır ve kullanım alanınıza göre ayarlanmalıdır.
• Öğrenme oranı çarpanı: Ücret çarpanı, modelin orijinal öğrenme hızı. 1 değeri, modeli. 1'den büyük değerler öğrenme hızını ve 1 arasındaki değerleri artırır. öğrenme hızını düşürür.

Önerilen yapılandırmalar

Aşağıdaki tabloda, temel modelde ince ayar yapmak için önerilen yapılandırmalar gösterilmektedir:

Kayıp eğrisi, modelin tahmininin ideal değerden ne kadar saptığını gösterir. tahminlerle ilgili daha fazla bilgi edinebilirsiniz. İdeal olarak bir süre eğrinin en düşük noktasında yükselir. Örneğin, aşağıdaki grafik, 4-6. dönem civarındaki kayıp eğrisini gösterir. Bu, Epoch parametresini 4 olarak ayarlayıp aynı performansı elde edebilirsiniz.

Ayarlama işinin durumunu kontrol etme

Ayarlama işinizin durumunu Google AI Studio'daki şu bölümünden kontrol edebilirsiniz: Kitaplığım sekmesinden veyametadata Gemini API.

Hataları giderme

Bu bölümde, çalışırken karşılaşabileceğiniz hataların nasıl giderileceğine hassaslaştırılmış modelinizi oluşturun.

Kimlik doğrulama

API ve istemci kitaplığını kullanarak ayarlama yapmak için kullanıcı kimlik doğrulaması gerekir. API anahtarı tek başına yeterli değildir. 'PermissionDenied: 403 Request had insufficient authentication scopes' hatası görüyorsanız kullanıcı kimlik doğrulamasını ayarlamanız gerekir.

Python için OAuth kimlik bilgilerini yapılandırmak üzere bkz. OAuth kurulum eğiticisini inceleyin.

İptal edilen modeller

İnce ayar işini, iş tamamlanmadan önce istediğiniz zaman iptal edebilirsiniz. Ancak, iptal edilen bir modelin çıkarım performansı öngörülemezdir, özellikle de ayarlama işi eğitimin başlarında iptal edilir. Üyeliğinizi eğitimi daha erken bir dönemde durdurmak isterseniz, daha düşük bir değere ayarlayabilirsiniz.

Hassaslaştırılmış modellerle ilgili sınırlamalar

Not: Ayarlanmış modellerde aşağıdaki sınırlamalar geçerlidir:

• Ayarlanmış bir Gemini 1.5 Flash modelinin giriş sınırı 40.000 karakterdir.
• Hassaslaştırılmış modellerde JSON modu desteklenmez.
• Yalnızca metin girişi desteklenir.

Sırada ne var?

İnce ayar eğiticileriyle başlayın:

• İnce ayar eğiticisi (Python)
• İnce ayar eğiticisi (REST)