Kartu model DiffusionGemma

Hugging Face | GitHub | Blog Peluncuran | Dokumentasi
Lisensi: Apache 2.0 | Penulis: Google DeepMind

DiffusionGemma adalah model generatif yang dibuat oleh Google DeepMind. Berdasarkan arsitektur Gemma 4 Mixture-of-Experts (MoE) 26B A4B, DiffusionGemma menghasilkan token menggunakan difusi diskret. Model open-weights ini bersifat multimodal, menangani input teks, gambar, dan video untuk menghasilkan output teks.

Dibangun di atas fondasi MoE, DiffusionGemma dirancang untuk meningkatkan kecepatan pembuatan (token per detik) sekaligus tetap dapat di-deploy di berbagai lingkungan hardware. DiffusionGemma dibangun berdasarkan kemajuan arsitektur dan kemampuan Gemma 4, dengan memperkenalkan beberapa fitur inti:

  • Discrete Text Diffusion – Beralih dari autoregresi token demi token ke sampling multi-kanvas autoregresif blok. Model ini menghasilkan teks dengan menghilangkan derau blok token ('kanvas') secara iteratif dan paralel, sehingga meningkatkan kecepatan decoding secara signifikan.
  • Pemrosesan Input Multimodal – Memproses input teks, gambar (dengan dukungan rasio aspek dan resolusi variabel), dan video yang disisipkan untuk menghasilkan output teks.
  • Arsitektur Encoder-Decoder – Menggunakan encoder autoregresif untuk memproses dan meng-cache konteks perintah, yang dipasangkan dengan decoder yang menerapkan atensi dua arah pada kanvas pembuatan.
  • Efisiensi Mixture-of-Experts (MoE) – Memanfaatkan desain MoE sparse (8 pakar aktif dari total 128) untuk memberikan kemampuan penalaran yang kuat sekaligus mempertahankan jejak memori yang rendah yang cocok untuk eksekusi lokal.
  • Mode Penalaran (Penalaran) – Dirancang sebagai penalaran yang sangat mumpuni, dengan mode penalaran yang dapat dikonfigurasi.
  • Dioptimalkan untuk Inferensi Ukuran Batch Kecil – Dirancang khusus untuk pembuatan berkecepatan tinggi dan latensi rendah pada satu akselerator yang mumpuni.
  • Dukungan Perintah Sistem Native – Seperti Gemma 4, model ini mendukung pembaruan peran system, sehingga memungkinkan percakapan yang lebih terstruktur dan dapat dikontrol.

Ringkasan Model

DiffusionGemma dirancang untuk mengurangi bottleneck berurutan dari model bahasa kausal standar. Model ini menggunakan arsitektur encoder-decoder yang dioptimalkan secara khusus untuk kecepatan inferensi.

Encoder beroperasi dalam kapasitas pra-pengisian, memproses perintah awal dan menghasilkan cache KV. Decoder kemudian menggunakan bidirectional attention untuk memproses blok input ('canvas') token, mengakses konteks yang di-cache melalui cross-attention.

Selama inferensi, DiffusionGemma memanfaatkan pengambilan sampel multi-kanvas. Alih-alih menghasilkan satu token pada satu waktu, model ini secara iteratif menghilangkan derau dari blok token lengkap menggunakan sampler difusi. Setelah kanvas sepenuhnya didenoisasi, kanvas tersebut akan diproses oleh encoder dan ditambahkan ke cache KV, setelah itu model akan menghasilkan kanvas berikutnya. Pendekatan autoregresif blok ini memfasilitasi pembuatan teks dengan kecepatan yang lebih tinggi.

DiffusionGemma

Properti DiffusionGemma 26B A4B
Total Parameter 25,2 M
Parameter Aktif 3,8 M
Lapisan 30
Periode Sliding 1024 token
Panjang Konteks Hingga 256 ribu token
Panjang Kanvas 256
Ukuran Kosakata 262 RB
Jumlah Pakar 8 aktif / total 128 dan 1 dibagikan
Modalitas yang Didukung Teks, Gambar
Parameter Vision Encoder ~550 JT

Hasil Tolok Ukur

Model ini dievaluasi terhadap banyak koleksi set data dan metrik yang berbeda untuk mencakup berbagai aspek pembuatan teks. Hasil evaluasi yang ditandai dalam tabel adalah untuk model yang disesuaikan dengan instruksi, dengan sampler Entropy Bound (EB) yang direkomendasikan (lihat Praktik Terbaik di bawah).

Benchmark DiffusionGemma 26B A4B Gemma 4 26B A4B
MMLU Pro 77,6% 82,6%
AIME 2026 tanpa alat 69,1% 88,3%
LiveCodeBench v6 69,1% 77,1%
ELO Codeforces 1429 1718
GPQA Diamond 73,2% 82,3%
Tau2 (rata-rata lebih dari 3) 56,2% 68,2%
HLE tanpa alat 11,0% 8,7%
HLE dengan penelusuran 11,9% 17,2%
BigBench Extra Hard 47,6% 64,8%
MMMLU 81,5% 86,3%
Penglihatan
MMMU Pro 54,3% 73,8%
OmniDocBench 1.5 (jarak edit rata-rata, lebih rendah lebih baik) 0,319 0,149
MATH-Vision 70,5% 82,4%
MedXPertQA MM 49,0% 58,1%
Konteks Panjang
MRCR v2 8 needle 128k (rata-rata) 32,0% 44,1%

Kemampuan Inti

DiffusionGemma menangani berbagai tugas di seluruh teks dan visi. Kemampuan utamanya meliputi:

  • Pembuatan Berkecepatan Tinggi - denoising paralel 256 token melalui pengambilan sampel difusi mencapai latensi rendah dengan menghasilkan 15-20 token per penerusan, sehingga memungkinkan kecepatan pembuatan per pengguna melebihi 1.100 token per detik dalam setelan ukuran batch rendah (H100, FP8).
  • Komputasi Waktu Inferensi Adaptif - Perintah yang lebih sederhana dan tugas terstruktur seperti kode memerlukan lebih sedikit langkah denoising, sehingga memungkinkan kecepatan token per detik yang dinamis berdasarkan kompleksitas tugas.
  • Penalaran – Mode penalaran bawaan yang memungkinkan model berpikir langkah demi langkah sebelum menjawab.
  • Konteks Panjang – Jendela konteks hingga 256 ribu token.
  • Pemahaman Gambar – Deteksi objek, penguraian Dokumen/PDF, pemahaman layar dan UI, pemahaman diagram, OCR (termasuk multibahasa), pengenalan tulisan tangan, dan penunjuk. Gambar dapat diproses dengan berbagai rasio aspek dan resolusi.
  • Pemahaman Video – Menganalisis dan mendeskripsikan konten video dengan memproses urutan frame.
  • Input Multimodal yang Disisipkan – Gabungkan gambar, video, dan teks dalam satu perintah untuk penalaran yang kaya konteks.
  • Pemanggilan Fungsi – Dukungan native untuk penggunaan alat terstruktur, yang memungkinkan Agentic Workflows.
  • Coding & Penalaran – Mampu membuat dan melengkapi kode, serta melakukan penalaran logis langkah demi langkah.
  • Multibahasa – Dukungan siap pakai untuk lebih dari 35 bahasa, yang telah dilatih sebelumnya dalam lebih dari 140 bahasa.

Praktik Terbaik

Untuk performa terbaik, gunakan konfigurasi dan praktik terbaik berikut:

1. Setelan Sampling Difusi

Gunakan konfigurasi pengambilan sampel standar berikut di semua kasus penggunaan:

  • Metode: Sampling difusi dengan Entropy-Bounded Denoising dan Adaptive Stopping.
  • Konfigurasi Pengambilan Sampel:
    • Jumlah maksimum Langkah Penghilang Noise = 48
    • Jadwal suhu (untuk pembentukan logit): Penurunan linear dari 0,8 → 0,4
    • Pemilihan Token: Di setiap langkah, sampler memilih token dengan entropi terendah sehingga batas informasi timbal baliknya tetap di bawah batas entropi = 0,1
    • Token Renoising: Sampler akan sepenuhnya menambahkan derau ulang ke token yang tidak dipilih
  • Penghentian Adaptif: Sampling dihentikan lebih awal jika dan hanya jika kedua kondisi berikut terpenuhi secara bersamaan:
    • Prediksi yang meyakinkan: Entropi model rata-rata di seluruh kanvas berada di bawah nilai minimum entropi = 0,005
    • Prediksi stabil: Prediksi token dengan probabilitas tertinggi tetap identik di dua langkah penghilangan derau yang berurutan

2. Konfigurasi Mode Penalaran

Serupa dengan model Gemma 4, kami menggunakan peran system, assistant, dan user standar. Untuk mengelola proses penalaran dengan benar, gunakan token kontrol berikut:

  • Memicu Penalaran: Penalaran diaktifkan dengan menyertakan token <|think|> di awal perintah sistem. Untuk menonaktifkan penalaran, hapus token (perhatikan bahwa saluran penalaran kosong mungkin masih ditampilkan).
  • Pembuatan Standar: Jika penalaran diaktifkan, model akan menampilkan penalaran internalnya, diikuti dengan jawaban akhir menggunakan struktur ini: <|channel>thought\n[Penalaran internal]<channel|>.
  • Perilaku Penalaran yang Dinonaktifkan: Jika penalaran dinonaktifkan, model akan tetap membuat tag, tetapi dengan blok pemikiran kosong: <|channel>thought\n<channel|>[Jawaban akhir].

Perhatikan bahwa banyak library seperti transformer menangani kompleksitas template chat untuk Anda.

3. Percakapan Multi-Giliran

  • Tidak Ada Konten Penalaran dalam Histori: Dalam percakapan multi-giliran, output model historis hanya boleh menyertakan respons akhir. Pemikiran dari giliran model sebelumnya tidak boleh ditambahkan sebelum giliran pengguna berikutnya dimulai.

4. Urutan modalitas

  • Untuk performa yang optimal dengan input multimodal, tempatkan konten gambar sebelum teks dalam perintah Anda.

5. Resolusi Gambar Variabel

Selain rasio aspek variabel, DiffusionGemma mendukung resolusi gambar variabel melalui anggaran token visual yang dapat dikonfigurasi, yang mengontrol jumlah token yang digunakan untuk merepresentasikan gambar. Anggaran token yang lebih tinggi mempertahankan lebih banyak detail visual dengan mengorbankan komputasi tambahan, sedangkan anggaran yang lebih rendah memungkinkan inferensi yang lebih cepat untuk tugas yang tidak memerlukan pemahaman mendetail.

  • Anggaran token yang didukung adalah: 70, 140, 280, 560, dan 1120.
    • Gunakan anggaran yang lebih rendah untuk klasifikasi, pemberian teks, atau pemahaman video, yang mengutamakan inferensi yang lebih cepat dan pemrosesan banyak frame daripada detail yang mendetail.
    • Gunakan anggaran yang lebih tinggi untuk tugas seperti OCR, penguraian dokumen, atau pembacaan teks kecil.

6. Durasi Video

Semua model mendukung input gambar dan dapat memproses video sebagai frame. Video mendukung maksimum 60 detik dengan asumsi gambar diproses pada satu frame per detik.

Data Model

Data yang digunakan untuk pelatihan model dan cara data tersebut diproses.

Set Data Pelatihan

Set data pra-pelatihan kami adalah kumpulan data berskala besar dan beragam yang mencakup berbagai domain dan modalitas, yang mencakup dokumen web, kode, gambar, audio, dengan tanggal batas Januari 2025. Berikut adalah komponen utamanya:

  • Dokumen Web: Beragam koleksi teks web memastikan model terpapar berbagai gaya linguistik, topik, dan kosakata. Set data pelatihan mencakup konten dalam lebih dari 140 bahasa.
  • Kode: Mengekspos model ke kode akan membantunya mempelajari sintaksis dan pola bahasa pemrograman, sehingga meningkatkan kemampuannya untuk menghasilkan kode dan memahami pertanyaan terkait kode.
  • Matematika: Pelatihan tentang teks matematika membantu model mempelajari penalaran logis, representasi simbolis, dan menjawab kueri matematika.
  • Gambar: Berbagai macam gambar memungkinkan model melakukan tugas analisis gambar dan ekstraksi data visual.

Kombinasi berbagai sumber data ini sangat penting untuk melatih model multimodal yang andal yang dapat menangani berbagai tugas dan format data yang berbeda.

Pra-pemrosesan Data

Berikut adalah metode pembersihan dan pemfilteran data utama yang diterapkan pada data pelatihan:

  • Pemfilteran CSAM: Pemfilteran CSAM (Materi Pelecehan Seksual terhadap Anak-Anak) yang ketat diterapkan pada beberapa tahap dalam proses penyiapan data untuk memastikan pengecualian konten berbahaya dan ilegal.
  • Pemfilteran Data Sensitif: Sebagai bagian dari upaya membuat model terlatih Gemma aman dan andal, teknik otomatis digunakan untuk memfilter informasi pribadi tertentu dan data sensitif lainnya dari set pelatihan.
  • Metode tambahan: Pemfilteran berdasarkan kualitas dan keamanan konten sesuai dengan kebijakan kami.

Etika dan Keamanan

Seiring dengan semakin pentingnya model terbuka bagi infrastruktur perusahaan, provenance dan keamanan menjadi sangat penting. Dikembangkan oleh Google DeepMind, DiffusionGemma menjalani evaluasi keamanan yang sama ketatnya dengan model Gemini eksklusif kami.

Pendekatan Evaluasi

DiffusionGemma dikembangkan melalui kemitraan dengan tim internal yang menangani keselamatan dan Responsible AI. Berbagai evaluasi otomatis dan manual dilakukan untuk membantu meningkatkan keamanan model. Evaluasi ini selaras dengan prinsip AI Google, serta kebijakan keamanan, yang bertujuan untuk mencegah model AI generatif kami menghasilkan konten berbahaya, termasuk:

  • Konten yang terkait dengan materi pelecehan seksual terhadap anak-anak dan eksploitasi
  • Konten berbahaya (misalnya, mendorong bunuh diri, atau memberikan petunjuk dalam aktivitas yang dapat menyebabkan bahaya di dunia nyata)
  • Konten seksual vulgar
  • Ujaran kebencian (misalnya, merendahkan anggota kelompok yang dilindungi)
  • Pelecehan (misalnya, mendorong kekerasan terhadap orang lain)

Hasil Evaluasi

Untuk semua area pengujian keamanan, kami melihat peningkatan besar di semua kategori keamanan konten dibandingkan dengan model Gemma generasi sebelumnya. Secara keseluruhan, DiffusionGemma, seperti model Gemma 4, secara signifikan mengungguli model Gemma 3 dan 3n dalam meningkatkan keamanan, sekaligus menjaga penolakan yang tidak dapat dibenarkan tetap rendah. Semua pengujian sengaja dilakukan tanpa filter keamanan untuk mengevaluasi kemampuan mentah dan perilaku dasar model. Untuk text-to-text dan image-to-text, serta di semua ukuran model, model ini menghasilkan pelanggaran kebijakan yang minimal, dan menunjukkan peningkatan yang signifikan dibandingkan model Gemma sebelumnya.

Penggunaan dan Batasan

Model ini memiliki batasan tertentu yang harus diketahui pengguna.

Tujuan Penggunaan

Model multimodal (mampu memproses penglihatan, bahasa, dan/atau audio) memiliki berbagai aplikasi di berbagai industri dan domain. Daftar potensi penggunaan berikut tidak lengkap. Tujuan daftar ini adalah untuk memberikan informasi kontekstual tentang kemungkinan kasus penggunaan yang dipertimbangkan oleh pembuat model sebagai bagian dari pelatihan dan pengembangan model.

  • Pembuatan Konten dan Komunikasi
    • Pembuatan Teks: Membuat format teks kreatif seperti puisi, skrip, kode, teks pemasaran, dan draf email.
    • Chatbot dan AI Percakapan: Mendukung antarmuka percakapan untuk layanan pelanggan, asisten virtual, atau aplikasi interaktif.
    • Ringkasan Teks: Membuat ringkasan singkat dari korpus teks, makalah penelitian, atau laporan.
    • Ekstraksi Data Gambar: Mengekstrak, menafsirkan, dan meringkas data visual untuk komunikasi teks.
  • Riset dan Pendidikan
    • Riset Natural Language Processing (NLP) dan VLM: Berfungsi sebagai fondasi bagi peneliti untuk bereksperimen dengan teknik VLM dan NLP, mengembangkan algoritma, dan berkontribusi pada kemajuan bidang ini.
    • Alat Pembelajaran Bahasa: Mendukung pengalaman pembelajaran bahasa yang interaktif, membantu koreksi tata bahasa, atau memberikan latihan menulis.
    • Eksplorasi Pengetahuan: Membantu peneliti dalam mengeksplorasi teks dalam jumlah besar dengan membuat ringkasan atau menjawab pertanyaan tentang topik tertentu.

Batasan

  • Data Pelatihan
    • Kualitas dan keragaman data pelatihan sangat memengaruhi kemampuan model. Bias atau kesenjangan dalam data pelatihan dapat menyebabkan keterbatasan dalam respons model.
    • Cakupan set data pelatihan menentukan bidang subjek yang dapat ditangani model secara efektif.
  • Konteks dan Kompleksitas Tugas
    • Model ini berperforma baik pada tugas yang dapat disusun dengan perintah dan petunjuk yang jelas. Tugas yang bersifat terbuka atau sangat kompleks mungkin akan sulit diselesaikan.
    • Performa model dapat dipengaruhi oleh jumlah konteks yang diberikan (konteks yang lebih panjang umumnya menghasilkan output yang lebih baik, hingga batas tertentu).
  • Ambiguitas dan Nuansa Bahasa
    • Bahasa alami pada dasarnya kompleks. Model mungkin kesulitan memahami nuansa halus, sarkasme, atau bahasa kiasan.
  • Akurasi Faktual
    • Model menghasilkan respons berdasarkan informasi yang dipelajari dari set data pelatihannya, tetapi model bukanlah pusat informasi. Model ini dapat menghasilkan pernyataan faktual yang salah atau tidak aktual.
  • Common Sense
    • Model ini mengandalkan pola statistik dalam bahasa. Model ini mungkin tidak memiliki kemampuan untuk menerapkan penalaran akal sehat dalam situasi tertentu.

Pertimbangan dan Risiko Etis

Dalam membuat model bahasa-visi terbuka, kami telah mempertimbangkan hal-hal berikut dengan cermat:

  • Bias dan Keadilan
    • VLM yang dilatih dengan data teks dan gambar dunia nyata berskala besar dapat mencerminkan bias sosiokultural yang tertanam dalam materi pelatihan. DiffusionGemma menjalani pemeriksaan yang cermat, prapemrosesan data input, dan evaluasi pascapelatihan seperti yang dilaporkan dalam kartu ini untuk membantu mengurangi risiko bias ini.
  • Misinformasi dan Penyalahgunaan
    • VLM dapat disalahgunakan untuk menghasilkan teks yang salah, menyesatkan, atau berbahaya.
    • Panduan disediakan untuk penggunaan yang bertanggung jawab dengan model, lihat Responsible Generative AI Toolkit.
  • Transparansi dan Akuntabilitas
    • Kartu model ini merangkum detail tentang arsitektur, kemampuan, batasan, dan proses evaluasi model.
    • Model terbuka yang dikembangkan secara bertanggung jawab menawarkan peluang untuk berbagi inovasi dengan membuat teknologi VLM dapat diakses oleh developer dan peneliti di seluruh ekosistem AI.

Risiko yang diidentifikasi dan mitigasi:

  • Pembuatan konten berbahaya: Mekanisme dan pedoman untuk keamanan konten sangatlah penting. Developer dianjurkan untuk berhati-hati dan menerapkan pengamanan keamanan konten yang sesuai berdasarkan kebijakan produk dan kasus penggunaan aplikasi spesifik mereka.
  • Penyalahgunaan untuk tujuan berbahaya: Batasan teknis serta edukasi developer dan pengguna akhir dapat membantu mengurangi aplikasi berbahaya dari VLM. Referensi edukasi dan mekanisme pelaporan bagi pengguna untuk melaporkan penyalahgunaan disediakan.
  • Pelanggaran privasi: Model dilatih menggunakan data yang difilter untuk menghapus informasi pribadi tertentu dan data sensitif lainnya. Developer didorong untuk mematuhi peraturan privasi dengan teknik yang menjaga privasi.
  • Pelestarian bias: Sebaiknya lakukan pemantauan berkelanjutan (menggunakan metrik evaluasi, peninjauan manual) dan eksplorasi teknik penghilang bias selama pelatihan model, penyesuaian, dan kasus penggunaan lainnya.

Manfaat

Pada saat rilis, model ini adalah model bahasa-visi terbuka berperforma tinggi dan berlatensi rendah yang memberikan opsi menarik bagi developer dan mereka yang tertarik untuk meneliti model bahasa difusi. Model ini dirancang dari awal untuk pengembangan AI yang bertanggung jawab dibandingkan dengan model berukuran serupa.