Bu sayfada, PaliGemma modelleri için istem biçimlendirmesi ve sistem talimatları açıklanmaktadır. Bu Gemma model varyantları, Gemma temel modelleriyle aynı genel biçimlendirmeyi kullanır ve ayrıca görüntüyle ilgili belirli görevler için özel bir söz dizimi destekler.
İstem biçimi
PaliGemma modelleri, temel aldıkları Gemma temel modelleriyle aynı istem biçimlendirmesini kullanır. Ancak PaliGemma modelleri, bir sonraki bölümde açıklanan özel bir görev söz dizimini de destekler. Gemma istemi biçimlendirmesi hakkında daha fazla bilgi için Gemma istemi ve sistem talimatları başlıklı makaleyi inceleyin.
Resim ve metin verilerinin sırası
PaliGemma modellerine metin ve resim verileri ile istem gönderirken her zaman önce resim verileri, ardından metin istem verileri sağlanmalıdır. Resim ve metin istemi verilerinin sırasını tersine çevirmek veya resim ve metin verilerini karıştırmak genellikle kullanılamayan yanıtlar oluşturur.
İstem görev söz dizimi
PaliGemma modelleri, nesne tanımlama ve görüntüye altyazı ekleme gibi görevler için belirli istem kalıpları ve söz dizimi ile eğitilir. PaliGemma modellerinden belirli bir davranışı istemek için aşağıdaki istem görevi söz dizimini kullanabilirsiniz:
"cap {lang}\n": Çok ham kısa altyazı (WebLI-alt'ten)"caption {lang}\n": COCO'ya benzer, hoş kısa altyazılar"describe {lang}\n": Biraz daha uzun ve daha açıklayıcı altyazılar"ocr": Optik karakter tanıma"answer {lang} {question}\n": Resim içeriğiyle ilgili soru yanıtlama"question {lang} {answer}\n": Belirli bir yanıt için soru oluşturma"detect {object} ; {object}\n": Bir resimde listelenen nesneleri bulun ve bu nesnelerin sınır kutularını döndürün"segment {object}\n": Bir nesne için resim segmentasyonu oluşturmak üzere nesnenin resimdeki alanını bulun
{lang} seçenekleri dil kodları içindir. PaliGemma, bu seçenekle görev istemleri için 34 farklı dilde dil tanımayı destekler. Desteklenen dillerin listesini GitHub'da bulabilirsiniz.
Bu söz dizimi nasıl kullanılacağını gösteren ayrıntılı kod örnekleri için Keras ile PaliGemma çıkışı oluşturma eğitim makalesine bakın.
Toplu istem komutları
Tek bir istemde talimat grubu olarak birden fazla istem komutu sağlayabilirsiniz. Her istem komutu \n karakteriyle bitmelidir. Aşağıdaki örnekte, istem metninizin birden fazla talimat sağlayacak şekilde nasıl yapılandırılacağı gösterilmektedir.
prompts = [
'answer en where is the cow standing?\n',
'answer en what color is the cow?\n',
'describe en\n',
'detect cow\n',
'segment cow\n',
]
images = [cow_image, cow_image, cow_image, cow_image, cow_image]
outputs = paligemma.generate(
inputs={
"images": images,
"prompts": prompts,
}
)
for output in outputs:
print(output)
Sistem talimatları
PaliGemma modelleri, temel aldıkları temel modellerdeki Gemma sistem talimatlarının dışında ek sistem talimatlarını desteklemez.