Gemma içerik üretme ve çıkarımlarını çalıştırma

Bir Gemma modelini çalıştırmak istediğinizde iki önemli karar vermeniz gerekir: 1) hangi Gemma varyantını çalıştırmak istediğiniz ve 2) bu varyantı çalıştırmak için hangi yapay zeka yürütme çerçevesini kullanacağınız. Bu iki kararı vermede önemli bir konu, modelin çalıştırılması için sizin ve kullanıcılarınızın sahip olduğu donanımla ilgilidir.

Bu genel bakış, bu kararlarda gezinmenize ve Gemma modelleriyle çalışmaya başlamanıza yardımcı olur. Gemma modelini çalıştırmaya yönelik genel adımlar şunlardır:

Çerçeve seçin

Gemma modelleri, çeşitli üretken yapay zeka yürütme çerçeveleriyle uyumludur. Gemma modelini çalıştırırken karar verme sürecindeki önemli faktörlerden biri, modeli çalıştırmak için kullanabileceğiniz (veya kullanacağınız) bilgi işlem kaynaklarıdır. Uyumlu yapay zeka çerçevelerinin çoğu, Gemma modelini etkili bir şekilde çalıştırmak için GPU veya TPU gibi özel donanımlara ihtiyaç duyar. Google Colab gibi araçlar, bu özel bilgi işlem kaynaklarını sınırlı olarak sağlayabilir. Ollama ve Gemma.cpp gibi bazı yapay zeka yürütme çerçeveleri, x86 uyumlu veya ARM mimarilerini kullanarak Gemma'yı daha yaygın CPU'larda çalıştırmanıza olanak tanır.

Gemma modellerini çeşitli yapay zeka çalışma zamanı çerçeveleriyle çalıştırmayla ilgili kılavuzları aşağıda bulabilirsiniz:

Keras doğal biçimi, Safetensors veya GGUF gibi dağıtmak istediğiniz Gemma model biçiminin, seçtiğiniz çerçeve tarafından desteklediğinden emin olun.

Gemma varyantı seçme

Gemma modelleri, temel veya çekirdek Gemma modelleri, PaliGemma ve DataGemma gibi daha özel model varyantları ve Kaggle ve Hugging Face gibi sitelerde yapay zeka geliştirici topluluğu tarafından oluşturulan birçok varyant dahil olmak üzere çeşitli varyant ve boyutlarda mevcuttur. Hangi varyantla başlamanız gerektiğinden emin değilseniz en düşük parametre sayısına sahip en yeni Gemma çekirdek talimat ayarlı (IT) modelini seçin. Bu tür Gemma modellerinin bilgi işlem gereksinimleri düşüktür ve ek geliştirme gerektirmeden çok çeşitli istemlere yanıt verebilir.

Gemma varyantı seçerken aşağıdaki faktörleri göz önünde bulundurun:

  • Gemma çekirdeği ve PaliGemma, CodeGemma gibi diğer varyant aileleri: Gemma'yı (çekirdek) öneririz. Temel sürümün dışındaki Gemma varyantları, temel modelle aynı mimariye sahiptir ve belirli görevlerde daha iyi performans göstermek için eğitilmiştir. Uygulamanız veya hedefleriniz belirli bir Gemma varyantının uzmanlık alanına uymuyorsa en iyi seçenek bir Gemma çekirdek veya temel modeliyle başlamaktır.
  • Talimatlara göre ayarlanmış (IT), önceden eğitilmiş (PT), hassas ayarlanmış (FT), karma (mix): IT'yi önerin.
    • Talimatlar için ayarlanmış (IT) Gemma varyantları, çeşitli talimatlara veya isteklere insan dilinde yanıt vermek üzere eğitilmiş modellerdir. Bu model varyantları, başka model eğitimi olmadan istemlere yanıt verebildiği için başlangıç için en iyi seçenektir.
    • Önceden eğitilmiş (PT) Gemma varyantları, dil veya diğer veriler hakkında çıkarım yapmak için eğitilmiş ancak insan talimatlarını takip etmek için eğitilmemiş modellerdir. Bu modeller, görevleri etkili bir şekilde gerçekleştirebilmek için ek eğitim veya ayarlama gerektirir. Modelin ve mimarisinin özelliklerini incelemek ya da geliştirmek isteyen araştırmacılara veya geliştiricilere yöneliktir.
    • İnce ayarlanmış (FT) Gemma varyantları BT varyantları olarak kabul edilebilir ancak genellikle belirli bir görevi gerçekleştirmek veya belirli bir üretken yapay zeka karşılaştırmasında iyi performans göstermek için eğitilir. PaliGemma varyant ailesi, çeşitli FT varyantlarını içerir.
    • Karışık (mix) Gemma varyantları, PaliGemma modellerinin çeşitli talimatlarla ayarlanmış ve genel kullanıma uygun sürümleridir.
  • Parameters: Kullanılabilir en küçük sayıyı önerin. Genel olarak, bir modelin ne kadar fazla parametresi varsa o kadar yetenekli olur. Ancak daha büyük modellerin çalıştırılması daha büyük ve daha karmaşık bilgi işlem kaynakları gerektirir ve genellikle yapay zeka uygulamasının geliştirilmesini yavaşlatır. Daha küçük bir Gemma modelinin ihtiyaçlarınızı karşılayamayacağını belirlemediyseniz az sayıda parametre içeren bir model seçin.
  • Kantizasyon seviyeleri: Ayarlama dışında yarı hassasiyet (16 bit) önerilir. Nicemleme, verilerin boyutu ve hassasiyeti ile üretken yapay zeka modelinin hesaplamalar ve yanıt oluşturmak için ne kadar bellek kullandığıyla ilgili karmaşık bir konudur. Bir model, genellikle 32 bit kayan noktalı veri olan yüksek hassasiyetli verilerle eğitildikten sonra Gemma gibi modeller, 16, 8 veya 4 bit boyutları gibi daha düşük hassasiyetli veriler kullanacak şekilde değiştirilebilir. Bu kesirli Gemma modelleri, görevlerin karmaşıklığına bağlı olarak önemli ölçüde daha az bilgi işlem ve bellek kaynağı kullanırken yine iyi performans gösterebilir. Ancak, kesirli modelleri ayarlamak için kullanılan araçlar sınırlıdır ve seçtiğiniz yapay zeka geliştirme çerçevesinde kullanılamayabilir. Genellikle Gemma gibi bir modelde tam hassasiyetle hassas ayar yapmanız ve ardından elde edilen modeli kesme noktalarına ayırmanız gerekir.

Google tarafından yayınlanan önemli Gemma modellerinin listesi için Gemma modellerini kullanmaya başlama başlıklı makalenin Gemma modelleri listesine bakın.

Oluşturma ve çıkarım isteklerini çalıştırma

Bir yapay zeka yürütme çerçevesi ve Gemma varyantı seçtikten sonra modeli çalıştırmaya başlayabilir ve içerik oluşturmasını veya görevleri tamamlamasını isteyebilirsiniz. Gemma'yı belirli bir çerçeveyle çalıştırma hakkında daha fazla bilgi için Çerçeve seçme bölümündeki bağlantılara göz atın.

İstem biçimlendirmesi

Talimatla ayarlanmış tüm Gemma varyantlarının belirli istem biçimlendirmesi gereksinimleri vardır. Bu biçimlendirme koşullarından bazıları, Gemma modellerini çalıştırmak için kullandığınız çerçeve tarafından otomatik olarak ele alınır. Ancak istem verilerini doğrudan bir dize parçalayıcıya gönderirken belirli etiketler eklemeniz gerekir. Etiketleme koşulları, kullandığınız Gemma varyantına bağlı olarak değişebilir. Gemma varyant istemi biçimlendirme ve sistem talimatları hakkında bilgi edinmek için aşağıdaki kılavuzlara bakın: