DiffusionGemma model kartı

Hugging Face | GitHub | Lansman Blogu | Belgeler
Lisans: Apache 2.0 | Yazarlar: Google DeepMind

DiffusionGemma, Google DeepMind tarafından geliştirilen bir üretken modeldir. 26B A4B Mixture-of-Experts (MoE) Gemma 4 mimarisini temel alan DiffusionGemma, ayrık difüzyon kullanarak jetonlar oluşturur. Bu açık ağırlıklı model, çok formatlıdır. Metin çıkışı oluşturmak için metin, resim ve video girişlerini işler.

MoE temeli üzerine inşa edilen DiffusionGemma, çeşitli donanım ortamlarında dağıtılabilirliğini korurken üretim hızını (saniye başına jeton) artıracak şekilde tasarlanmıştır. DiffusionGemma, Gemma 4'ün mimari ve yetenek alanındaki gelişmelerini temel alarak çeşitli temel özellikler sunar:

• Ayrık Metin Difüzyonu: Jeton bazlı otoregresyondan blok otoregresif çoklu tuval örneklemesine geçiş yapar. Metin oluşturmak için jeton bloklarındaki ("tuval") gürültüyü paralel olarak iteratif şekilde azaltır. Bu sayede kod çözme hızı önemli ölçüde artar.
• Çok formatlı giriş işleme: Metin çıkışları oluşturmak için arasına resim eklenmiş metin, resim (değişken en boy oranı ve çözünürlük desteğiyle) ve video girişlerini işler.
• Kodlayıcı-kod çözücü mimarisi: İstem bağlamını işlemek ve önbelleğe almak için otomatik regresif bir kodlayıcı kullanır. Bu kodlayıcı, oluşturma tuvaline çift yönlü dikkat uygulayan bir kod çözücüyle eşleştirilir.
• Uzmanların Karışımı (MoE) Verimliliği: Güçlü akıl yürütme özellikleri sunmak için seyrek bir MoE tasarımı (toplam 128 uzmandan 8'i etkin) kullanır. Aynı zamanda yerel yürütmeye uygun, bellekte kaplanan yerin az olmasını sağlar.
• Düşünme Modu (Akıl Yürütme): Yapılandırılabilir düşünme modlarıyla son derece yetenekli bir akıl yürütme aracı olarak tasarlanmıştır.
• Küçük toplu boyut çıkarımı için optimize edilmiştir: Tek bir yetenekli hızlandırıcıda düşük gecikmeli, yüksek hızlı üretim için özel olarak tasarlanmıştır.
• Yerel sistem istemi desteği: Gemma 4'te olduğu gibi, system rolünün güncellenmesini destekleyerek daha yapılandırılmış ve kontrol edilebilir sohbetler sağlar.

Modele Genel Bakış

DiffusionGemma, standart nedensel dil modellerinin sıralı darboğazlarını azaltmak için tasarlanmıştır. Çıkarım hızı için özel olarak optimize edilmiş bir kodlayıcı-kod çözücü mimarisi kullanır.

Kodlayıcı, ön doldurma kapasitesinde çalışarak ilk istemi işler ve KV önbelleğini oluşturur. Kod çözücü, giriş parçası bloğunu ("canvas") işlemek için çift yönlü dikkat mekanizmasını kullanır ve önbelleğe alınmış bağlama çapraz dikkat mekanizması aracılığıyla erişir.

DiffusionGemma, çıkarım sırasında çoklu tuval örneklemeden yararlanır. Model, her seferinde bir jeton oluşturmak yerine bir difüzyon örnekleyici kullanarak tam bir jeton bloğunun gürültüsünü iteratif olarak giderir. Tuvaldeki gürültü tamamen giderildikten sonra kodlayıcı tarafından işlenir ve KV önbelleğine eklenir. Ardından model, bir sonraki tuvali oluşturur. Bu blok otoregresif yaklaşım, metin oluşturma işlemini daha yüksek hızlarda gerçekleştirir.

DiffusionGemma

Mülk	DiffusionGemma 26B A4B
Toplam parametre sayısı	25,2 Mr
Etkin Parametreler	3,8 milyar
Katmanlar	30
Kayan pencere	1024 jeton
Bağlam uzunluğu	256 bin parçaya kadar
Canvas Uzunluğu	256
Kelime listesi boyutu	262 bin
Uzman Sayısı	8 etkin / toplam 128 ve 1 paylaşılan
Desteklenen modaliteler	Metin, resim
Görüntü Kodlayıcı Parametreleri	~550 milyon

Karşılaştırma Sonuçları

Bu modeller, metin oluşturmanın farklı yönlerini kapsayacak şekilde farklı veri kümeleri ve metriklerden oluşan büyük bir koleksiyona göre değerlendirildi. Tabloda işaretlenen değerlendirme sonuçları, önerilen entropi sınırı (EB) örnekleyicisiyle talimata göre ayarlanmış modeller içindir (aşağıdaki En İyi Uygulamalar bölümüne bakın).

Karşılaştırma	DiffusionGemma 26B A4B	Gemma 4 26B A4B
MMLU Pro	%77,6	%82,6
AIME 2026 no tools	%69,1	%88,3
LiveCodeBench v6	%69,1	%77,1
Codeforces ELO	1429	1718
GPQA Diamond	%73,2	%82,3
Tau2 (3 üzerinden ortalama)	%56,2	%68,2
HLE no tools	%11,0	%8,7
Arama ile HLE	%11,9	%17,2
BigBench Extra Hard	%47,6	%64,8
MMMLU	%81,5	%86,3
Görme
MMMU Pro	%54,3	%73,8
OmniDocBench 1.5 (ortalama düzenleme mesafesi, daha düşük değer daha iyidir)	0,319	0,149
MATH-Vision	%70,5	%82,4
MedXPertQA MM	%49,0	%58,1
Uzun Bağlam
MRCR v2 8 iğne 128 bin (ortalama)	%32,0	%44,1

Temel Özellikler

DiffusionGemma, metin ve görüntüyle ilgili çok çeşitli görevleri yerine getirir. Temel özellikler:

• Yüksek Hızlı Üretim: Difüzyon örnekleme yoluyla 256 jetonun paralel gürültü giderme işlemi, ileri geçiş başına 15-20 jeton üreterek düşük gecikme süresi sağlar. Bu sayede, düşük toplu boyut ayarlarında (H100, FP8) saniyede 1.100 jetonu aşan kullanıcı başına üretim hızları elde edilir.
• Uyarlanabilir Çıkarım Süresi Hesaplaması: Daha basit istemler ve kod gibi yapılandırılmış görevler daha az gürültü giderme adımı gerektirir. Bu sayede, görev karmaşıklığına göre dinamik saniye başına jeton hızları elde edilir.
• Düşünme: Modelin yanıt vermeden önce adım adım düşünmesini sağlayan yerleşik akıl yürütme modu.
• Uzun bağlam: 256 bin parçaya kadar bağlam pencereleri.
• Görüntü Anlama: Nesne tespit etme, belge/PDF ayrıştırma, ekran ve kullanıcı arayüzü anlama, grafik anlama, OCR (çok dilli dahil), el yazısı tanıma ve işaret etme. Görseller, değişken en boy oranlarında ve çözünürlüklerde işlenebilir.
• Video Understanding: Kare dizilerini işleyerek video içeriğini analiz eder ve açıklar.
• Araya Eklemeli Çok Formatlı Giriş: Bağlam açısından yoğun akıl yürütme için tek bir istemde resim, video ve metni bir arada kullanın.
• İşlev Çağırma: Yapılandırılmış araç kullanımı için yerel destek sunarak temsilci tabanlı iş akışlarını mümkün kılar.
• Kodlama ve akıl yürütme: Kod oluşturma, tamamlama ve adım adım mantık yürütme yeteneğine sahiptir.
• Çok dilli: 35'ten fazla dil için kullanıma hazır destek, 140'tan fazla dilde önceden eğitilmiştir.

En iyi uygulamalar

En iyi performans için aşağıdaki yapılandırmaları ve en iyi uygulamaları kullanın:

1. Difüzyon Örnekleme Ayarları

Tüm kullanım alanlarında aşağıdaki standartlaştırılmış örnekleme yapılandırmasını kullanın:

• Yöntem: Entropi sınırlı gürültü giderme ve uyarlanabilir durdurma ile difüzyon örnekleme.
• Örnekleme Yapılandırması:
  • Maksimum gürültü giderme adımı sayısı = 48
  • Sıcaklık programı (logit şekillendirme için): 0,8'den 0,4'e doğrusal azalma
  • Jeton seçimi: Örnekleyici, her adımda en düşük entropili jetonları seçer. Bu jetonların karşılıklı bilgi sınırı, entropi sınırının (0,1) altında kalır.
  • Jetonları yeniden gürültü ekleme: Örnekleyici, seçilmeyen jetonlara tamamen yeniden gürültü ekler.
• Uyarlanabilir Durdurma: Örnekleme, yalnızca aşağıdaki koşulların her ikisi de aynı anda karşılandığında erken sonlandırılır:
  • Güvenilir tahminler: Kanvas üzerindeki ortalama model entropisi, entropi eşiğinin (0,005) altındadır.
  • Kararlı tahminler: En yüksek olasılıklı jeton tahminleri, art arda iki gürültü giderme adımında aynı kalır.

2. Düşünen Mod Yapılandırması

Gemma 4 modellerine benzer şekilde standart system, assistant ve user rollerini kullanırız. Düşünme sürecini doğru şekilde yönetmek için aşağıdaki kontrol jetonlarını kullanın:

• Düşünmeyi tetikleme: Düşünme, sistem isteminin başına <|think|> jetonu eklenerek etkinleştirilir. Düşünme özelliğini devre dışı bırakmak için jetonu kaldırın (boş bir düşünme kanalı yine de yayınlanabilir).
• Standart Üretim: Düşünme etkinleştirildiğinde model, dahili akıl yürütme sürecini ve ardından şu yapıyı kullanarak nihai yanıtı verir: <|channel>thought\n[Dahili akıl yürütme]<channel|>.
• Devre dışı bırakılmış düşünme davranışı: Düşünme devre dışı bırakılırsa model, etiketleri oluşturmaya devam eder ancak boş bir düşünce bloğu kullanır: <|channel>thought\n<channel|>[Son yanıt].

Transformers gibi birçok kitaplığın, sohbet şablonunun karmaşık kısımlarını sizin yerinize hallettiğini unutmayın.

3. Çok aşamalı etkileşimler

• Geçmişte Düşünme İçeriği Yok: Çok turlu sohbetlerde, geçmiş model çıktısı yalnızca son yanıtı içermelidir. Önceki model sıralarındaki düşünceler, bir sonraki kullanıcı sırası başlamadan önce eklenmemelidir.

4. Yöntem sırası

• Çok formatlı girişlerle optimum performans elde etmek için resim içeriğini isteminizdeki metnin önüne yerleştirin.

5. Değişken Resim Çözünürlüğü

DiffusionGemma, değişken en boy oranlarının yanı sıra yapılandırılabilir bir görsel jeton bütçesi aracılığıyla değişken görüntü çözünürlüğünü de destekler. Bu bütçe, bir görüntüyü temsil etmek için kaç jeton kullanılacağını kontrol eder. Daha yüksek bir jeton bütçesi, ek işlem maliyeti karşılığında daha fazla görsel ayrıntıyı korur. Daha düşük bir bütçe ise ayrıntılı anlama gerektirmeyen görevler için daha hızlı çıkarım sağlar.

• Desteklenen jeton bütçeleri şunlardır: 70, 140, 280, 560 ve 1120.
  • Sınıflandırma, altyazı ekleme veya video anlama gibi daha hızlı çıkarım yapmanın ve çok sayıda kareyi işlemenin ayrıntılı detaylardan daha önemli olduğu durumlarda daha düşük bütçeler kullanın.
  • OCR, belge ayrıştırma veya küçük metinleri okuma gibi görevler için daha yüksek bütçeler kullanın.

6. Video Uzunluğu

Tüm modeller, görüntü girişlerini destekler ve videoları kare olarak işleyebilir. Video, resimlerin saniyede bir kare olarak işlendiği varsayıldığında maksimum 60 saniyeyi destekler.

Model Verileri

Model eğitimi için kullanılan veriler ve verilerin nasıl işlendiği

Eğitim veri kümesi

Ön eğitim veri kümemiz, Ocak 2025'e kadar olan web belgeleri, kodlar, resimler ve sesler dahil olmak üzere çok çeşitli alanları ve modaliteleri kapsayan büyük ölçekli ve çeşitli bir veri koleksiyonudur. Temel bileşenler şunlardır:

• Web dokümanları: Çeşitli web metinlerinden oluşan bir koleksiyon, modelin çok çeşitli dil stillerine, konulara ve kelime dağarcığına maruz kalmasını sağlar. Eğitim veri kümesi, 140'tan fazla dilde içerik barındırır.
• Kod: Modelin kodla etkileşime girmesi, programlama dillerinin söz dizimini ve kalıplarını öğrenmesine yardımcı olur. Bu da kod oluşturma ve kodla ilgili soruları anlama becerisini geliştirir.
• Matematik: Matematiksel metinlerle eğitilen model, mantıksal akıl yürütmeyi ve sembolik gösterimi öğrenir, matematiksel sorguları yanıtlar.
• Görseller: Çok çeşitli görseller, modelin görsel analiz ve görsel veri ayıklama görevlerini gerçekleştirmesini sağlar.

Bu çeşitli veri kaynaklarının birleşimi, çok çeşitli görevleri ve veri biçimlerini işleyebilen güçlü bir çok formatlı modelin eğitilmesi için çok önemlidir.

Veri Ön İşleme

Eğitim verilerine uygulanan temel veri temizleme ve filtreleme yöntemleri şunlardır:

• CSAM Filtreleme: Zararlı ve yasa dışı içeriklerin hariç tutulması için veri hazırlama sürecinin birden fazla aşamasında sıkı CSAM (Çocukların Cinsel İstismarı Nitelikli Materyal) filtrelemesi uygulandı.
• Hassas veri filtreleme: Gemma önceden eğitilmiş modellerini güvenli ve güvenilir hale getirmek için eğitim setlerinden belirli kişisel bilgileri ve diğer hassas verileri filtrelemek amacıyla otomatik teknikler kullanıldı.
• Ek yöntemler: Politikalarımız doğrultusunda içerik kalitesi ve güvenliğine dayalı filtreleme.

Etik ve Güvenlik

Açık modeller kurumsal altyapının merkezine yerleştikçe kaynak ve güvenlik de büyük önem kazanıyor. Google DeepMind tarafından geliştirilen DiffusionGemma, tescilli Gemini modellerimizle aynı titiz güvenlik değerlendirmelerinden geçer.

Değerlendirme Yaklaşımı

DiffusionGemma, şirket içi güvenlik ve sorumlu yapay zeka ekipleriyle işbirliği içinde geliştirilmiştir. Model güvenliğini artırmak için hem otomatik hem de uzmanlar tarafından yapılan çeşitli değerlendirmeler gerçekleştirildi. Bu değerlendirmeler, Google'ın yapay zeka ilkeleri ve güvenlik politikalarıyla uyumludur. Bu politikalar, üretken yapay zeka modellerimizin aşağıdakiler gibi zararlı içerikler üretmesini önlemeyi amaçlar:

• Çocukların cinsel istismarı nitelikli materyal ve çocuk istismarı ile ilgili içerikler
• Tehlikeli içerikler (ör. intiharı teşvik eden veya gerçek dünyada zarara yol açabilecek faaliyetlerle ilgili talimatlar veren içerikler)
• Müstehcen içerik
• Nefret söylemi (ör. koruma altındaki grupların üyelerini aşağılama)
• Taciz (ör. insanlara karşı şiddeti teşvik etme)

Değerlendirme Sonuçları

Güvenlik testinin tüm alanlarında, Gemma modellerinin önceki nesillerine kıyasla içerik güvenliğinin tüm kategorilerinde önemli iyileştirmeler gördük. Genel olarak DiffusionGemma, Gemma 4 modelleri gibi, haksız retleri düşük tutarken güvenliği artırma konusunda Gemma 3 ve 3n modellerinden önemli ölçüde daha iyi performans gösterir. Modelin ham yeteneklerini ve temel davranışlarını değerlendirmek için tüm testler kasıtlı olarak güvenlik filtreleri olmadan yapıldı. Hem metinden metin oluşturma hem de görüntüden metne görevlerinde ve tüm model boyutlarında, model minimum düzeyde politika ihlali yaptı ve önceki Gemma modellerine kıyasla önemli iyileştirmeler gösterdi.

Kullanım ve Sınırlamalar

Bu modellerin, kullanıcıların bilmesi gereken bazı sınırlamaları vardır.

Kullanım Amacı

Çok formatlı modeller (görüntü, dil ve/veya ses işleyebilen), çeşitli sektörlerde ve alanlarda geniş bir uygulama yelpazesine sahiptir. Aşağıdaki olası kullanım alanları listesi kapsamlı değildir. Bu listenin amacı, model oluşturucuların model eğitimi ve geliştirme kapsamında değerlendirdiği olası kullanım alanları hakkında bağlamsal bilgi sağlamaktır.

• İçerik Üretimi ve İletişim
  • Metin oluşturma: Şiir, senaryo, kod, pazarlama metni ve e-posta taslağı gibi yaratıcı metin biçimleri oluşturur.
  • Chatbot'lar ve etkileşimli yapay zeka: Müşteri hizmetleri, sanal asistanlar veya etkileşimli uygulamalar için etkileşimli arayüzleri destekler.
  • Metin Özetleme: Metin korpusu, araştırma makaleleri veya raporların kısa özetlerini oluşturur.
  • Görsel Veri Çıkarma: Metin iletişimleri için görsel verileri çıkarır, yorumlar ve özetler.
• Araştırma ve Eğitim
  • Doğal Dil İşleme (NLP) ve VLM Araştırması: Araştırmacıların VLM ve NLP teknikleriyle denemeler yapması, algoritmalar geliştirmesi ve alanın ilerlemesine katkıda bulunması için bir temel oluşturur.
  • Dil öğrenme araçları: Etkileşimli dil öğrenme deneyimlerini destekleyerek dil bilgisi düzeltme veya yazma pratiği yapma konusunda yardımcı olur.
  • Bilgi keşfi: Özetler oluşturarak veya belirli konularla ilgili soruları yanıtlayarak araştırmacıların büyük metinleri incelemesine yardımcı olur.

Sınırlamalar

• Eğitim Verileri
  • Eğitim verilerinin kalitesi ve çeşitliliği, modelin yeteneklerini önemli ölçüde etkiler. Eğitim verilerindeki önyargılar veya eksiklikler, modelin yanıtlarında sınırlamalara yol açabilir.
  • Eğitim veri kümesinin kapsamı, modelin etkili bir şekilde ele alabileceği konu alanlarını belirler.
• Bağlam ve Görev Karmaşıklığı
  • Model, net istemler ve talimatlarla çerçevelenebilen görevlerde iyi performans gösterir. Açık uçlu veya son derece karmaşık görevler zorlayıcı olabilir.
  • Modelin performansı, sağlanan bağlam miktarından etkilenebilir (daha uzun bağlam, genellikle belirli bir noktaya kadar daha iyi sonuçlar verir).
• Dil belirsizliği ve nüans
  • Doğal dil, doğası gereği karmaşıktır. Model, ince nüansları, alaycı ifadeleri veya mecazi dili anlamakta zorlanabilir.
• Gerçeklere Dayalı Doğruluk
  • Model, eğitim veri kümelerinden öğrendiği bilgilere göre yanıtlar üretir ancak bunlar bilgi tabanı değildir. Yanlış veya güncel olmayan bilgiler üretebilir.
• Common Sense
  • Model, dildeki istatistiksel kalıpları kullanır. Belirli durumlarda sağduyuya dayalı akıl yürütme becerisi eksik olabilir.

Etik Konular ve Riskler

Açık bir görüntü-dil modeli oluştururken aşağıdakileri dikkatlice değerlendirdik:

• Önyargı ve Adalet
  • Büyük ölçekli, gerçek dünya metin ve görüntü verileriyle eğitilen VLM'ler, eğitim materyalinde yer alan sosyokültürel önyargıları yansıtabilir. DiffusionGemma, bu önyargıların riskini azaltmak için bu kartta belirtildiği gibi dikkatli bir inceleme, giriş verilerinin ön işleme tabi tutulması ve eğitim sonrası değerlendirmelerden geçirilmiştir.
• Yanlış bilgilendirme ve kötüye kullanım
  • VLM'ler yanlış, yanıltıcı veya zararlı metinler oluşturmak için kötüye kullanılabilir.
  • Modelin sorumlu kullanımıyla ilgili yönergeler için Sorumlu Üretken Yapay Zeka Araç Seti'ne bakın.
• Şeffaflık ve Sorumluluk
  • Bu model kartında, modelin mimarisi, özellikleri, sınırlamaları ve değerlendirme süreçleri hakkında ayrıntılı bilgiler yer alır.
  • Sorumlu bir şekilde geliştirilen açık model, VLM teknolojisini yapay zeka ekosistemindeki geliştiriciler ve araştırmacılar için erişilebilir hale getirerek inovasyonu paylaşma fırsatı sunar.

Belirlenen riskler ve risk azaltma yöntemleri:

• Zararlı içerik üretimi: İçerik güvenliği için mekanizmalar ve yönergeler çok önemlidir. Geliştiricilerin dikkatli olmaları ve kendi ürün politikaları ile uygulama kullanım alanlarına göre uygun içerik güvenliği önlemlerini uygulamaları önerilir.
• Kötü amaçlı kullanım: Teknik sınırlamalar ve geliştirici ile son kullanıcı eğitimi, VLM'lerin kötü amaçlı uygulamalarına karşı korunmaya yardımcı olabilir. Kullanıcıların kötüye kullanımı bildirmesi için eğitim kaynakları ve raporlama mekanizmaları sağlanır.
• Gizlilik ihlalleri: Modeller, belirli kişisel bilgilerin ve diğer hassas verilerin kaldırılması için filtrelenmiş verilerle eğitilmiştir. Geliştiricilerin, gizliliği korumaya yönelik tekniklerle gizlilikle ilgili yönetmeliklere uyması teşvik edilir.
• Önyargıların kalıcı hale gelmesi: Model eğitimi, ince ayar ve diğer kullanım alanları sırasında sürekli izleme (değerlendirme metrikleri, uzman incelemesi kullanarak) yapılması ve önyargıları ortadan kaldırma tekniklerinin araştırılması önerilir.

Avantajlar

Yayınlandığı sırada bu model, düşük gecikme süreli ve yüksek performanslı açık bir görüntü-dil modelidir. Geliştiriciler ve difüzyon dil modellerini araştırmak isteyenler için ilgi çekici bir seçenek sunar. Model, benzer boyuttaki modellere kıyasla sorumlu yapay zeka geliştirme için sıfırdan tasarlanmıştır.