Bu sayfada, PaliGemma modelleri için istem biçimlendirmesi ve sistem talimatları açıklanmaktadır. Bu Gemma model varyantları, Gemma temel modelleriyle aynı genel biçimlendirmeyi kullanır ve görüntüyle ilgili belirli görevler için özel bir söz dizimi destekler.
İstem biçimi
PaliGemma modelleri, temel aldıkları Gemma temel modelleriyle aynı istem biçimlendirmesini kullanır. Ancak PaliGemma modelleri, bir sonraki bölümde açıklanan özel bir görev söz dizimini de destekler. Gemma istemi biçimlendirmesi hakkında daha fazla bilgi için Gemma istemi ve sistem talimatları başlıklı makaleyi inceleyin.
Resim ve metin verilerinin sırası
PaliGemma modellerine metin ve resim verileri ile istem gönderirken her zaman önce resim verileri, ardından metin istem verileri sağlanmalıdır. Resim ve metin istemi verilerinin sırasını tersine çevirmek veya resim ve metin verilerini karıştırmak genellikle kullanılamayan yanıtlar oluşturur.
İstem görevi söz dizimi
PaliGemma modelleri, nesne tanımlama ve resimlere altyazı ekleme gibi görevler için belirli istem kalıpları ve söz dizimi ile eğitilir. PaliGemma modellerinden belirli bir davranışı istemek için aşağıdaki istem görevi söz dizimini kullanabilirsiniz:
"cap {lang}\n": Çok kısa ve ham altyazı (yalnızca PT tarafından desteklenir)"caption {lang}\n": Kısa altyazılar"describe {lang}\n": Biraz daha uzun ve daha açıklayıcı altyazılar (yalnızca PT tarafından desteklenir)"ocr": Optik karakter tanıma (yalnızca PT tarafından desteklenir)"answer {lang} {question}\n": Resim içeriğiyle ilgili soru yanıtlama"question {lang} {answer}\n": Belirli bir yanıt için soru oluşturma (yalnızca PT tarafından desteklenir)"detect {object} ; {object}\n": Bir resimde listelenen nesneleri bulun ve bu nesnelerin sınır kutularını döndürün"segment {object} ; {object}\n": Bir resimde listelenen nesnelerin kapladığı alanı bulup söz konusu nesne için resim segmentasyonu oluşturun
{lang} seçenekleri dil kodları içindir. PaliGemma, bu seçenekle görev istemleri için 34 farklı dilde dil tanımayı destekler. Desteklenen dillerin listesini GitHub'da bulabilirsiniz.
Bu söz dizimi nasıl kullanılacağını gösteren ayrıntılı kod örnekleri için Keras ile PaliGemma çıkışı oluşturma eğitim makalesine bakın.
Doğal dil ile istem verme
Önceki bölümdeki söz dizimi önerilir ancak karma modeller, görevlerin çoğu için doğal dili de destekler. Örneğin, tam söz dizimi istenmese bile "bu resmi kısaca açıkla" veya "bu metin nedir?" gibi ifadeler işe yarayacaktır.
Toplu istem komutları
Tek bir istemde talimat grubu olarak birden fazla istem komutu sağlayabilirsiniz. Her istem komutu \n karakteriyle bitmelidir. Aşağıdaki örnekte, istem metninizin birden fazla talimat sağlayacak şekilde nasıl yapılandırılacağı gösterilmektedir.
prompts = [
'answer en where is the cow standing?\n',
'answer en what color is the cow?\n',
'describe en\n',
'detect cow\n',
'segment cow\n',
]
images = [cow_image, cow_image, cow_image, cow_image, cow_image]
outputs = paligemma.generate(
inputs={
"images": images,
"prompts": prompts,
}
)
for output in outputs:
print(output)
Sistem talimatları
PaliGemma modelleri, temel aldıkları temel modellerdeki Gemma sistem talimatlarının dışında ek sistem talimatlarını desteklemez.