Gemma 2 model kartı

Model Sayfa: Gemma

Kaynaklar ve Teknik Belgeler:

Kullanım Şartları: Şartlar

Yazarlar: Google

Model Bilgisi

Giriş ve çıkışların özet açıklaması ve kısa tanımı.

Açıklama

Gemma, Google'ın hafif ve son teknoloji ürünü açık modelleri ailesidir. Bunlar, Gemini modellerini oluşturmak için kullanılan araştırma ve teknolojiyle geliştirilmiştir. Bunlar İngilizce dilinde sunulan, hem önceden eğitilmiş hem de talimata göre ayarlanmış varyantlar için açık ağırlıklara sahip metinden metne ve yalnızca kod çözücüye sahip büyük dil modelleridir. Gemma modelleri soru yanıtlama, özetleme ve akıl yürütme gibi çeşitli metin oluşturma görevleri için uygundur. Nispeten küçük boyutları sayesinde bu cihazları dizüstü bilgisayar, masaüstü bilgisayar veya kendi bulut altyapınız gibi sınırlı kaynaklarla ortamlara dağıtabilirsiniz. Son teknoloji yapay zeka modellerine erişimi demokratikleştirir ve herkes için yeniliği teşvik eder.

Girişler ve çıkışlar

  • Giriş: Özetlenecek soru, istem veya doküman gibi metin dizesi.
  • Çıkış: Soru yanıtı veya bir belgenin özeti gibi girişe yanıt olarak oluşturulan İngilizce metin.

Alıntı

@article{gemma_2024,
    title={Gemma},
    url={https://www.kaggle.com/m/3301},
    DOI={10.34740/KAGGLE/M/3301},
    publisher={Kaggle},
    author={Gemma Team},
    year={2024}
}

Model Verileri

Model eğitimi için kullanılan veriler ve verilerin işlenme şekli.

Eğitim Veri Kümesi

Bu modeller, çok çeşitli kaynakları içeren metin verilerinden oluşan bir veri kümesi kullanılarak eğitildi. 27B model 13 trilyon jetonla, 9 milyar model ise 8 trilyon jetonla eğitildi. Temel bileşenler şunlardır:

  • Web Dokümanları: Çok çeşitli web metinleri, modelin çok çeşitli dil stillerine, konulara ve terimlere açık olmasını sağlar. Ağırlıklı olarak İngilizce içerikler.
  • Kod: Modelin koda yansıtılması, modelin programlama dillerinin söz dizimini ve kalıplarını öğrenmesine yardımcı olur. Bu da kod oluşturma veya kodla ilgili soruları anlama becerisini geliştirir.
  • Matematik: Matematiksel metin eğitimi, modelin mantıksal akıl yürütmeyi, sembolik gösterimi öğrenmesine ve matematiksel sorguları ele almasına yardımcı olur.

Bu farklı veri kaynaklarının birlikte kullanılması, çok çeşitli farklı görevleri ve metin biçimlerini yönetebilen güçlü bir dil modelinin eğitilmesi için hayati önem taşır.

Veri Ön İşleme

Eğitim verilerine uygulanan temel veri temizleme ve filtreleme yöntemleri şunlardır:

  • CSAM Filtreleme: Katı CSAM (Çocukların Cinsel İstismarı Nitelikli Materyal) filtresi, zararlı ve yasa dışı içeriklerin hariç tutulmasını sağlamak için veri hazırlama sürecinde birden fazla aşamada uygulandı.
  • Hassas Veri Filtreleme: Gemma'nın önceden eğitilmiş modellerini güvenli ve güvenilir hale getirmek amacıyla, belirli kişisel bilgileri ve diğer hassas verileri eğitim kümelerinden filtrelemek için otomatik teknikler kullanıldı.
  • Ek yöntemler: Politikalarımıza uygun olarak içerik kalitesi ve güvenliğine göre filtreleme.

Uygulama Bilgileri

Model dahili öğeleriyle ilgili ayrıntılar.

Nalbur

Gemma, yeni nesil Tensor İşleme Birimi (TPU) donanımı (TPUv5p) kullanılarak eğitildi.

Büyük dil modellerinin eğitilmesi, önemli işlem gücü gerektirir. Özel olarak makine öğreniminde yaygın olarak görülen matris işlemleri için tasarlanmış TPU'lar, bu alanda birçok avantaj sunar:

  • Performans: TPU'lar, LLM'lerin eğitiminde kullanılan çok büyük hesaplamaları yönetmek için özel olarak tasarlanmıştır. CPU'lara kıyasla eğitimi önemli ölçüde hızlandırabilir.
  • Bellek: TPU'lar genellikle büyük miktarda yüksek bant genişliğine sahip bellekle birlikte gelir. Bu da eğitim sırasında büyük modellerin ve toplu boyutların işlenmesine olanak tanır. Böylece model kalitesi daha iyi hale gelebilir.
  • Ölçeklenebilirlik: TPU Kapsülleri (büyük TPU kümeleri), büyük temel modellerinin giderek daha karmaşık hale gelmesi için ölçeklenebilir bir çözüm sağlar. Daha hızlı ve etkili işleme için eğitimi birden fazla TPU cihazına dağıtabilirsiniz.
  • Uygun maliyet: Birçok senaryoda TPU'lar, özellikle de daha hızlı eğitim sayesinde tasarruf edilen zaman ve kaynaklar göz önünde bulundurulduğunda CPU tabanlı altyapıya kıyasla büyük modelleri eğitmek için daha uygun maliyetli bir çözüm sunabilir.
  • Bu avantajlar Google'ın sürdürülebilir şekilde çalışma taahhütleriyle uyumludur.

Yazılım

Eğitim, JAX ve ML Pathways kullanılarak gerçekleştirildi.

JAX, araştırmacıların büyük modellerin daha hızlı ve etkili eğitimi için TPU'lar da dahil olmak üzere en yeni nesil donanımdan yararlanmasına olanak tanır.

Makine Öğrenimi Yolları, Google'ın birden fazla görev genelinde genelleme yapabilen yapay zeka destekli sistemler oluşturmaya yönelik en son çalışmasıdır. Bu yöntem, özellikle bunlar gibi büyük dil modelleri dahil temel modeller için uygundur.

JAX ve Makine Öğrenimi Yolları, Gemini model ailesi hakkındaki makalede açıklandığı gibi birlikte kullanılmıştır. "Jex ve Pathways'in "tek denetleyici" programlama modeli, tek bir Python işleminin eğitim çalışmasının tamamını düzenlemesine olanak tanıyarak geliştirme iş akışını büyük ölçüde basitleştirir."

Değerlendirme

Model değerlendirme metrikleri ve sonuçları.

Karşılaştırma Sonuçları

Bu modeller, metin oluşturmanın farklı yönlerini kapsamaları için farklı veri kümeleri ve metriklerden oluşan geniş bir koleksiyonla karşılaştırılarak değerlendirildi:

Karşılaştırma Metrik Gemma PT 9B Gemma PT 27B
MMLU 5 çekim, ilk 1 71,3 75,2
HellaSwag 10 Çekim 81,9 86,4
BKK 0 Çekim 81,7 83,2
SocialIQA 0 Çekim 53,4 53,7
BoolQ 0 Çekim 84,2 84,8
WinoGrande kısmi puan 80,6 83,7
ARC-e 0 Çekim 88,0 88,6
ARC-c 25 çekim 68,4 71,4
TriviaQA 5 Çekim 76,6 83,7
Doğal Sorular 5 Çekim 29,2 34,5
HumanEval kart@1 40,2 51,8
MBPP 3 Çekim 52,4 62,6
GSM8K 5 çekim, maj@1 68,6 74,0
MATH 4 Çekim 36,6 42,3
AGIEval 3-5 çekim 52,8 55,1
BIG Bank 3 Çekim, Karyola 68,2 74,9

Etik ve Güvenlik

Etik ve güvenlik değerlendirmesi yaklaşımı ve sonuçları.

Değerlendirme Yaklaşımı

Değerlendirme yöntemlerimiz arasında, yapılandırılmış değerlendirmeler ve ilgili içerik politikalarının şirket içi kırmızı ekipler tarafından test edilmesi yer alır. Red ekibi, her biri farklı hedeflere ve insanlar tarafından yapılan değerlendirme metriklerine sahip farklı ekipler tarafından yürütüldü. Bu modeller, etik ve güvenlikle ilgili birkaç farklı kategoriye göre değerlendirildi. Bunlar arasında şunlar bulunuyor:

  • Metin Okuma İçerik Güvenliği: Çocuğun cinsel istismarı ve istismarı, taciz, şiddet, kan ve nefret söylemi dahil olmak üzere güvenlik politikalarını kapsayan istemlerin gerçek kişiler tarafından değerlendirilmesi.
  • Metinden Metne Temsili Zararlar: WinoBias ve BBQ Veri Kümesi gibi alakalı akademik veri kümeleriyle karşılaştırma yapın.
  • Ezberleme: Kimliği tanımlayabilecek bilgilerin açığa çıkma riski de dahil olmak üzere eğitim verilerinin ezberlenmesinin otomatik olarak değerlendirilmesi.
  • Büyük ölçekli zarar: Kimyasal, biyolojik, radyolojik ve nükleer (CBRN) riskler gibi "tehlikeli olanaklar" için testler.

Değerlendirme Sonuçları

Etik ve güvenlik değerlendirmelerinin sonuçları; çocuk güvenliği, içerik güvenliği, temsili zararlar, ezberleme ve büyük ölçekli zararlar gibi kategorilerle ilgili dahili politikaları karşılama açısından kabul edilebilir eşikler dahilindedir. Güçlü şirket içi değerlendirmelerin yanı sıra Barbekü, BOLD, Winogender, Winobias, RealToxicity ve TruthfulQA gibi tanınmış güvenlik karşılaştırmalarının sonuçları da burada gösterilmektedir.

Gemma 2.0

Karşılaştırma Metrik Gemma 2 BT 9B Gemma 2 BT 27B
RealToxicity ortalama 8,25 8,84
CrowS-Çiftleri top-1 37,47 36,67
Barbekü Ambig 1 çekim, ilk 1 88,58 85,99
Barbekü Belirsizliği top-1 82,67 86,94
Winogender top-1 79,17 77,22
TruthfulQA 50,27 51,60
Winobias 1_2 78,09 81,94
Winobias 2_2 95,32 97,22
Toksijen 39,30 38,42

Kullanım ve Sınırlamalar

Bu modellerde kullanıcıların bilmesi gereken belirli sınırlamalar vardır.

Amaçlanan Kullanım

Açık Büyük Dil Modelleri (LLM'ler), çeşitli endüstri ve alanlarda çok çeşitli uygulamalara sahiptir. Aşağıdaki olası kullanımlar listesi kapsamlı değildir. Bu listenin amacı, model oluşturan kullanıcıların model eğitimi ve geliştirme sürecinin bir parçası olarak değerlendirebileceği olası kullanım alanları hakkında bağlamsal bilgiler sağlamaktır.

  • İçerik Üretme ve İletişim
    • Metin Oluşturma: Bu modeller şiirler, komut dosyaları, kod, pazarlama metni ve e-posta taslakları gibi yaratıcı metin biçimleri oluşturmak için kullanılabilir.
    • Chatbot'lar ve Conversational AI: Müşteri hizmetleri, sanal asistanlar veya etkileşimli uygulamalar için sohbet arayüzlerini güçlendirin.
    • Metin Özetleme: Bir metin topluluğun, araştırma makalelerinin veya raporların kısa özetlerini oluşturun.
  • Araştırma ve Eğitim
    • Doğal Dil İşleme (NLP) Araştırması: Bu modeller, araştırmacıların NLP teknikleriyle denemeler yapmaları, algoritmalar geliştirmeleri ve alanın gelişmesine katkıda bulunmaları için bir temel oluşturabilir.
    • Dil Öğrenme Araçları: Dil bilgisi düzeltmeye veya yazma alıştırması yapmaya yardımcı olarak etkileşimli dil öğrenme deneyimlerini destekleyin.
    • Bilgi Keşfi: Özetler oluşturarak veya belirli konularla ilgili soruları yanıtlayarak araştırmacıların büyük metin topluluklarını keşfetmesine yardımcı olun.

Sınırlamalar

  • Eğitim Verileri
    • Eğitim verilerinin kalitesi ve çeşitliliği, modelin kapasitesini önemli ölçüde etkiler. Eğitim verilerindeki sapmalar veya boşluklar, modelin yanıtlarında sınırlamalara neden olabilir.
    • Eğitim veri kümesinin kapsamı, modelin etkili bir şekilde işleyebileceği konu alanlarını belirler.
  • Bağlam ve Görev Karmaşıklığı
    • LLM'ler, net istemler ve talimatlarla çerçevelenebilecek görevlerde daha iyidir. Açık uçlu veya son derece karmaşık görevler zorlayıcı olabilir.
    • Bir modelin performansı, sağlanan bağlam miktarından etkilenebilir (daha uzun bağlam genellikle belirli bir noktaya kadar daha iyi çıktılar elde edilmesini sağlar).
  • Dil Belirsizliği ve Nüansları
    • Doğal dil, yapısı gereği karmaşıktır. LLM'ler incelikli nüansları, alayları veya figüratif dili anlamakta zorlanabilir.
  • Bilgi Doğruluk
    • LLM'ler, eğitim veri kümelerinden öğrendikleri bilgilere dayalı yanıtlar oluşturur ancak bu yanıtlar bilgi tabanı değildir. Yanlış veya güncelliğini yitirmiş somut ifadeler oluşturabilirler.
  • Sağduyu
    • LLM'ler, dildeki istatistiksel kalıplara dayanır. Belirli durumlarda sağduyulu muhakeme uygulama becerilerinden yoksun olabilirler.

Etik Değerlendirmeler ve Riskler

Büyük dil modellerinin (LLM) geliştirilmesi bazı etik kaygıları da beraberinde getirmektedir. Açık bir model oluştururken aşağıdakileri dikkatlice inceledik:

  • Önyargı ve Adalet
    • Büyük ölçekli, gerçek dünyadan metin verileriyle eğitilen LLM'ler, eğitim materyaline yerleştirilmiş sosyo-kültürel ön yargıları yansıtabilir. Bu modeller titizlikle incelenmiş, giriş verileri ön işlemesi açıklanmış ve bu kartta raporlanan son değerlendirmeler yapılmıştır.
  • Yanlış Bilgilendirme ve Kötüye Kullanım
    • LLM'ler yanlış, yanıltıcı veya zararlı metinler oluşturmak için kötüye kullanılabilir.
    • Modelle sorumlu kullanım hakkında yönergeler sağlanmıştır. Sorumlu Üretken Yapay Zeka Araç Seti'ni inceleyin.
  • Şeffaflık ve Sorumluluk:
    • Bu model kartında modellerin mimarisi, yetenekleri, sınırlamaları ve değerlendirme süreçleri ile ilgili ayrıntılar özetlenir.
    • Sorumlu bir şekilde geliştirilmiş bir açık model, LLM teknolojisini yapay zeka ekosistemindeki geliştiriciler ve araştırmacılar için erişilebilir hale getirerek yenilikleri paylaşma fırsatı sunar.

Belirlenen riskler ve azaltmalar:

  • Yanlılıkların devamlılığı: Model eğitimi, ince ayar ve diğer kullanım alanları sırasında sürekli izleme (değerlendirme metrikleri ve gerçek kişiler tarafından yapılan incelemeler kullanarak) ve ağırlıklandırma tekniklerinin keşfedilmesi önerilir.
  • Zararlı içeriklerin oluşturulması: İçerik güvenliğiyle ilgili mekanizmalar ve kurallar büyük önem taşır. Geliştiricilerin dikkatli olmaları ve belirli ürün politikaları ile uygulama kullanım alanlarına göre uygun içerik güvenliği önlemlerini uygulamaları önerilir.
  • Kötü amaçlarla kötüye kullanım: Teknik sınırlamalar ile geliştirici ve son kullanıcı eğitimi, LLM'lerin kötü amaçlı uygulamalarını azaltmaya yardımcı olabilir. Kullanıcıların hatalı kullanımı işaretlemesi için eğitim kaynakları ve bildirme mekanizmaları da sağlanmaktadır. Gemma modellerinin yasaklanmış kullanımları Gemma Yasaklanan Kullanım Politikası'nda açıklanmıştır.
  • Gizlilik ihlalleri: Modeller, kimliği tanımlayabilecek bilgilerin (PII) (kimliği tanımlayabilecek bilgiler) kaldırılması için filtrelenmiş verilerle eğitilmiştir. Geliştiricilerin, gizliliği korumaya yönelik tekniklerle gizlilik yönetmeliklerine uymaları teşvik edilir.

Avantajları

Lansmanı yapılan bu model ailesi, benzer boyuttaki modellerle karşılaştırıldığında Sorumlu AI geliştirme için sıfırdan tasarlanmış yüksek performanslı açık ve büyük dil modeli uygulamaları sunar.

Bu belgede açıklanan karşılaştırma değerlendirme metrikleri kullanılarak bu modellerin, benzer büyüklükteki diğer açık model alternatiflerine göre daha iyi performans sağladığı görülmüştür.