Karta modelu DiffusionGemma

Hugging Face | GitHub | Blog o wprowadzeniu na rynek | Dokumentacja
Licencja: Apache 2.0 | Autorzy: Google DeepMind

DiffusionGemma to model generatywny stworzony przez Google DeepMind. DiffusionGemma generuje tokeny za pomocą dyskretnej dyfuzji na podstawie architektury Gemma 4 26B A4B Mixture-of-Experts (MoE). Ten model z otwartymi wagami jest multimodalny i obsługuje dane wejściowe w postaci tekstu, obrazów i filmów, aby generować tekstowe dane wyjściowe.

Model DiffusionGemma, oparty na architekturze MoE, został zaprojektowany z myślą o zwiększeniu szybkości generowania (tokenów na sekundę) przy jednoczesnym zachowaniu możliwości wdrażania w różnych środowiskach sprzętowych. DiffusionGemma opiera się na ulepszeniach architektury i możliwości modelu Gemma 4, wprowadzając kilka głównych funkcji:

  • Discrete Text Diffusion – przejście od autoregresji token po tokenie do autoregresji blokowej z próbkowaniem na wielu kanwach. Generuje tekst przez iteracyjne, równoległe odszumianie bloków tokenów („obszaru roboczego”), co znacznie zwiększa szybkość dekodowania.
  • Przetwarzanie danych multimodalnych – przetwarza przeplatane dane tekstowe, obrazy (z obsługą zmiennego formatu obrazu i rozdzielczości) oraz dane wejściowe wideo, aby generować dane wyjściowe w formie tekstu.
  • Architektura enkoder-dekoder – wykorzystuje autoregresyjny enkoder do przetwarzania i buforowania kontekstu promptu oraz dekoder, który stosuje dwukierunkową uwagę do obszaru generowania.
  • Wydajność architektury Mixture-of-Experts (MoE) – wykorzystuje rozproszoną architekturę MoE (8 aktywnych ekspertów ze 128), aby zapewnić zaawansowane możliwości wnioskowania przy zachowaniu niewielkiego wykorzystania pamięci, co umożliwia lokalne wykonywanie operacji.
  • Tryb myślenia (rozumowanie) – zaprojektowany jako wysoce wydajny model rozumujący z konfigurowalnymi trybami myślenia.
  • Optymalizacja pod kątem wnioskowania przy małym rozmiarze wsadu – model został zaprojektowany specjalnie pod kątem generowania z małym opóźnieniem i dużą szybkością na jednym akceleratorze o odpowiednich możliwościach.
  • Natywna obsługa promptów systemowych – podobnie jak Gemma 4, model ten obsługuje aktualizowanie roli system, co umożliwia prowadzenie bardziej uporządkowanych i kontrolowanych rozmów.

Przegląd modelu

DiffusionGemma została zaprojektowana tak, aby ograniczyć sekwencyjne wąskie gardła standardowych modeli językowych. Wykorzystuje architekturę enkoder-dekoder, która jest zoptymalizowana pod kątem szybkości wnioskowania.

Koder działa w trybie wstępnego wypełniania, przetwarzając początkowy prompt i generując pamięć podręczną KV. Następnie dekoder wykorzystuje dwukierunkową uwagę do przetwarzania bloku wejściowego („płótna”) tokenów, uzyskując dostęp do kontekstu z pamięci podręcznej za pomocą uwagi krzyżowej.

Podczas wnioskowania DiffusionGemma wykorzystuje próbkowanie na wielu obszarach roboczych. Zamiast generować po jednym tokenie, model iteracyjnie odszumia cały blok tokenów za pomocą samplera dyfuzyjnego. Gdy obraz zostanie całkowicie odszumiony, jest przetwarzany przez koder i dodawany do pamięci podręcznej KV, po czym model generuje następny obraz. To podejście blokowo-autoregresyjne ułatwia szybsze generowanie tekstu.

DiffusionGemma

Właściwość DiffusionGemma 26B A4B
Łączna liczba parametrów 25,2 MLD
Aktywne parametry 3,8 mld
Warstwy 30
Okno przesuwne 1024 tokeny
Długość kontekstu Do 256 tys. tokenów
Długość obszaru roboczego 256
Rozmiar słownictwa 262 tys.
Liczba ekspertów 8 aktywnych / 128 łącznie i 1 udostępniony
Obsługiwane modalności Tekst, obraz
Parametry kodera obrazu ~550 mln

Wyniki testu porównawczego

Modele te zostały ocenione na podstawie dużej kolekcji różnych zbiorów danych i wskaźników, aby uwzględnić różne aspekty generowania tekstu. Wyniki oceny oznaczone w tabeli dotyczą modeli dostrojonych pod kątem instrukcji z zalecanym samplerem Entropy Bound (EB) (patrz sprawdzone metody poniżej).

Test porównawczy DiffusionGemma 26B A4B Gemma 4 26B A4B
MMLU Pro 77,6% 82,6%
AIME 2026 no tools 69,1% 88,3%
LiveCodeBench v6 69,1% 77,1%
Codeforces ELO 1429 1718
GPQA Diamond 73,2% 82,3%
Tau2 (średnia z 3 pomiarów) 56,2% 68,2%
HLE no tools 11,0% 8,7%
HLE z wyszukiwarką 11,9% 17,2%
BigBench Extra Hard 47,6% 64,8%
MMMLU 81,5% 86,3%
Wzrok
MMMU Pro 54,3% 73,8%
OmniDocBench 1.5 (średnia odległość edycyjna, im niższa, tym lepiej) 0,319 0,149
MATH-Vision 70,5% 82,4%
MedXPertQA MM 49,0% 58,1%
Długi kontekst
MRCR v2 8 needle 128k (średnia) 32,0% 44,1%

Podstawowe funkcje

DiffusionGemma obsługuje szeroki zakres zadań związanych z tekstem i obrazem. Najważniejsze funkcje:

  • Szybkie generowanie – równoległe odszumianie 256 tokenów za pomocą próbkowania dyfuzyjnego pozwala uzyskać niskie opóźnienie dzięki generowaniu 15–20 tokenów na przebieg do przodu. Odblokowuje to szybkość generowania na użytkownika przekraczającą 1100 tokenów na sekundę przy ustawieniach małego rozmiaru wsadu (H100, FP8).
  • Adaptacyjne obliczanie czasu wnioskowania – prostsze prompty i ustrukturyzowane zadania, takie jak kod, wymagają mniejszej liczby kroków odszumiania, co umożliwia dynamiczne dostosowywanie szybkości tokenów na sekundę na podstawie złożoności zadania.
  • Myślenie – wbudowany tryb rozumowania, który pozwala modelowi myśleć krok po kroku przed udzieleniem odpowiedzi.
  • Długi kontekst – okna kontekstowe o wielkości do 256 tys. tokenów.
  • Rozpoznawanie obrazów – wykrywanie obiektów, analizowanie dokumentów i plików PDF, rozpoznawanie ekranu i interfejsu, rozumienie wykresów, OCR (w tym wielojęzyczny), rozpoznawanie pisma odręcznego i wskazywanie. Obrazy mogą być przetwarzane w różnych formatach i rozdzielczościach.
  • Rozpoznawanie filmów – analizuje i opisuje treści wideo, przetwarzając sekwencje klatek.
  • Przeplatane dane wejściowe multimodalne – łącz obrazy, filmy i tekst w jednym prompcie, aby uzyskać wnioskowanie z dużym kontekstem.
  • Wywoływanie funkcji – natywna obsługa korzystania z uporządkowanych narzędzi, która umożliwia Agentic Workflows.
  • Kodowanie i rozumowanie – model może generować i uzupełniać kod oraz przeprowadzać logiczne rozumowanie krok po kroku.
  • Wielojęzyczność – gotowa obsługa ponad 35 języków, wstępnie wytrenowana na ponad 140 językach.

Sprawdzone metody

Aby uzyskać najlepsze wyniki, użyj tych konfiguracji i sprawdzonych metod:

1. Ustawienia próbkowania dyfuzji

We wszystkich przypadkach użycia stosuj tę standardową konfigurację próbkowania:

  • Metoda: próbkowanie dyfuzyjne z odszumianiem z ograniczeniem entropii i adaptacyjnym zatrzymywaniem.
  • Konfiguracja próbkowania:
    • Maksymalna liczba kroków odszumiania = 48
    • Harmonogram temperatury (do kształtowania logitów): liniowy spadek z 0,8 do 0,4
    • Wybór tokenów: na każdym etapie sampler wybiera tokeny o najniższej entropii, tak aby ich wzajemne powiązanie informacyjne pozostawało poniżej granicy entropii = 0,1.
    • Ponowne dodawanie szumu do tokenów: sampler całkowicie ponownie dodaje szum do niewybranych tokenów.
  • Zatrzymywanie adaptacyjne: próbkowanie kończy się wcześniej tylko wtedy, gdy spełnione są jednocześnie oba te warunki:
    • Pewne prognozy: średnia entropia modelu na obszarze roboczym jest poniżej progu entropii = 0,005
    • Stabilne podpowiedzi: podpowiedzi tokenów o najwyższym prawdopodobieństwie pozostają identyczne w 2 kolejnych krokach odszumiania.

2. Konfiguracja trybu myślenia

Podobnie jak w przypadku modeli Gemma 4, używamy standardowych ról system, assistant i user. Aby prawidłowo zarządzać procesem rozumowania, używaj tych tokenów kontrolnych:

  • Aktywowanie rozumowania: rozumowanie jest włączane przez umieszczenie tokena <|think|> na początku promptu systemowego. Aby wyłączyć rozumowanie, usuń token (pamiętaj, że pusty kanał rozumowania może być nadal emitowany).
  • Generowanie standardowe: gdy rozumowanie jest włączone, model wyświetla swoje wewnętrzne rozumowanie, a następnie ostateczną odpowiedź, używając tej struktury: <|channel>thought\n[Wewnętrzne rozumowanie]<channel|>.
  • Wyłączone myślenie: jeśli myślenie jest wyłączone, model nadal będzie generować tagi, ale z pustym blokiem myślenia: <|channel>thought\n<channel|>[Final answer].

Pamiętaj, że wiele bibliotek, takich jak transformers, obsługuje złożone aspekty szablonu czatu.

3. Rozmowy wieloetapowe

  • Brak treści związanych z procesem rozumowania w historii: w rozmowach wieloetapowych dane wyjściowe modelu w historii powinny zawierać tylko ostateczną odpowiedź. Nie wolno dodawać przemyśleń z poprzednich tur modelu przed rozpoczęciem kolejnej tury użytkownika.

4. Kolejność modalności

  • Aby uzyskać optymalną wydajność w przypadku danych multimodalnych, umieść obraz przed tekstem w prompcie.

5. Zmienna rozdzielczość obrazu

Oprócz zmiennych formatów obrazu DiffusionGemma obsługuje zmienną rozdzielczość obrazu dzięki konfigurowalnemu budżetowi tokenów wizualnych, który kontroluje liczbę tokenów używanych do reprezentowania obrazu. Wyższy budżet tokenów pozwala zachować więcej szczegółów wizualnych kosztem dodatkowych zasobów obliczeniowych, a niższy budżet umożliwia szybsze wnioskowanie w przypadku zadań, które nie wymagają szczegółowego zrozumienia.

  • Obsługiwane limity tokenów to: 70, 140, 280, 560 i 1120.
    • Używaj mniejszych budżetów w przypadku klasyfikacji, napisów lub rozpoznawania filmów, gdy szybsze wnioskowanie i przetwarzanie wielu klatek jest ważniejsze niż szczegółowe informacje.
    • Używaj wyższych budżetów do zadań takich jak OCR, analizowanie dokumentów czy odczytywanie małego tekstu.

6. Długość filmu

Wszystkie modele obsługują obrazy wejściowe i mogą przetwarzać filmy jako klatki. Film może trwać maksymalnie 60 sekund, zakładając, że obrazy są przetwarzane z szybkością 1 klatki na sekundę.

Dane modelu

Dane użyte do trenowania modelu i sposób ich przetwarzania.

Zbiór danych do trenowania

Nasz zbiór danych do wstępnego trenowania to duża, zróżnicowana kolekcja danych obejmująca szeroki zakres dziedzin i modalności, w tym dokumenty internetowe, kod, obrazy i dźwięk, z datą graniczną w styczniu 2025 r. Oto kluczowe komponenty:

  • Dokumenty internetowe: zróżnicowana kolekcja tekstów internetowych zapewnia modelowi dostęp do szerokiej gamy stylów językowych, tematów i słownictwa. Zbiór danych treningowych zawiera treści w ponad 140 językach.
  • Kod: dzięki kontaktowi z kodem model uczy się składni i wzorców języków programowania, co poprawia jego zdolność do generowania kodu i rozumienia pytań związanych z kodem.
  • Matematyka: trenowanie na tekstach matematycznych pomaga modelowi nauczyć się logicznego rozumowania i reprezentacji symbolicznej oraz odpowiadać na zapytania matematyczne.
  • Obrazy: szeroka gama obrazów umożliwia modelowi przeprowadzanie analizy obrazów i wyodrębnianie danych wizualnych.

Połączenie tych różnych źródeł danych ma kluczowe znaczenie dla trenowania zaawansowanego modelu multimodalnego, który może obsługiwać wiele różnych zadań i formatów danych.

Wstępne przetwarzanie danych

Oto najważniejsze metody czyszczenia i filtrowania danych stosowane w przypadku danych treningowych:

  • Filtrowanie treści CSAM: na wielu etapach procesu przygotowywania danych zastosowano rygorystyczne filtrowanie treści CSAM (materiałów przedstawiających wykorzystywanie seksualne dzieci), aby wykluczyć szkodliwe i niezgodne z prawem treści.
  • Filtrowanie danych wrażliwych: aby wstępnie wytrenowane modele Gemma były bezpieczne i niezawodne, zastosowano automatyczne techniki odfiltrowywania niektórych danych osobowych i innych danych wrażliwych ze zbiorów treningowych.
  • Dodatkowe metody: filtrowanie na podstawie jakości i bezpieczeństwa treści zgodnie z naszymi zasadami.

Etyka i bezpieczeństwo

Ponieważ modele open source stają się kluczowym elementem infrastruktury przedsiębiorstw, pochodzenie i bezpieczeństwo mają nadrzędne znaczenie. Model DiffusionGemma został opracowany przez Google DeepMind i przechodzi te same rygorystyczne oceny bezpieczeństwa co nasze zastrzeżone modele Gemini.

Metoda oceny

Model DiffusionGemma został opracowany we współpracy z wewnętrznymi zespołami ds. bezpieczeństwa i odpowiedzialnej AI. Przeprowadziliśmy szereg automatycznych i ręcznych ocen, aby poprawić bezpieczeństwo modelu. Te oceny są zgodne z zasadami Google dotyczącymi AI oraz zasadami bezpieczeństwa, które mają na celu zapobieganie generowaniu przez nasze modele generatywnej AI szkodliwych treści, takich jak:

  • Treści związane z materiałami przedstawiającymi wykorzystywanie seksualne dzieci i ich wykorzystywaniem
  • treści niebezpieczne (np. promujące samobójstwo lub zawierające instrukcje dotyczące działań, które mogą wyrządzić szkody w świecie rzeczywistym);
  • Treści o charakterze jednoznacznie seksualnym
  • szerzenie nienawiści (np. dehumanizowanie członków grup chronionych);
  • Nękanie (np. zachęcanie do przemocy wobec ludzi)

Wyniki oceny

We wszystkich obszarach testów bezpieczeństwa zaobserwowaliśmy znaczną poprawę we wszystkich kategoriach bezpieczeństwa treści w porównaniu z poprzednimi generacjami modeli Gemma. Ogólnie rzecz biorąc, DiffusionGemma, podobnie jak modele Gemma 4, znacznie przewyższa modele Gemma 3 i 3n pod względem poprawy bezpieczeństwa, jednocześnie utrzymując niski poziom nieuzasadnionych odmów. Wszystkie testy zostały celowo przeprowadzone bez filtrów bezpieczeństwa, aby ocenić podstawowe możliwości i zachowania modelu. W przypadku obu funkcji (tekst na podstawie tekstu i tekst na podstawie obrazu) oraz wszystkich rozmiarów modelu model wykazywał minimalną liczbę naruszeń zasad i znaczną poprawę w porównaniu z poprzednimi modelami Gemma.

Wykorzystanie i limity

Te modele mają pewne ograniczenia, o których użytkownicy powinni wiedzieć.

Przeznaczenie

Modele multimodalne (mogące przetwarzać obraz, język lub dźwięk) mają szeroki zakres zastosowań w różnych branżach i dziedzinach. Poniższa lista potencjalnych zastosowań nie jest wyczerpująca. Celem tej listy jest dostarczenie informacji kontekstowych o możliwych przypadkach użycia, które twórcy modelu uwzględnili w ramach trenowania i opracowywania modelu.

  • Tworzenie treści i komunikacja
    • Generowanie tekstu: generuje kreatywne formy tekstu, takie jak wiersze, skrypty, kod, teksty marketingowe i wersje robocze e-maili.
    • Czatboty i konwersacyjna AI: obsługuje interfejsy konwersacyjne na potrzeby obsługi klienta, wirtualnych asystentów lub aplikacji interaktywnych.
    • Podsumowywanie tekstu: generuje zwięzłe podsumowania korpusu językowego, artykułów naukowych lub raportów.
    • Wyodrębnianie danych z obrazów: wyodrębnia, interpretuje i podsumowuje dane wizualne na potrzeby komunikacji tekstowej.
  • Badania i edukacja
    • Badania nad przetwarzaniem języka naturalnego (NLP) i modelami VLM: stanowi podstawę dla badaczy do eksperymentowania z technikami VLM i NLP, opracowywania algorytmów i przyczyniania się do rozwoju tej dziedziny.
    • Narzędzia do nauki języków: obsługuje interaktywne metody nauki języków, pomagając w poprawianiu błędów gramatycznych lub zapewniając ćwiczenia pisania.
    • Eksploracja wiedzy: pomaga badaczom w analizowaniu dużych zbiorów tekstów przez generowanie podsumowań lub odpowiadanie na pytania dotyczące konkretnych tematów.

Ograniczenia

  • Dane treningowe
    • Jakość i różnorodność danych treningowych mają znaczący wpływ na możliwości modelu. Uprzedzenia lub luki w danych treningowych mogą prowadzić do ograniczeń w odpowiedziach modelu.
    • Zakres zbioru danych treningowych określa obszary tematyczne, które model może skutecznie obsługiwać.
  • Kontekst i złożoność zadania
    • Model dobrze radzi sobie z zadaniami, które można sformułować za pomocą jasnych promptów i instrukcji. Zadania otwarte lub bardzo złożone mogą być trudne.
    • Na skuteczność modelu może wpływać ilość podanego kontekstu (dłuższy kontekst zwykle prowadzi do lepszych wyników, ale tylko do pewnego momentu).
  • Niejednoznaczność i niuanse językowe
    • Język naturalny jest z natury złożony. Model może mieć trudności z wychwytywaniem subtelnych niuansów, sarkazmu lub języka metaforycznego.
  • Zgodność z prawdą
    • Model generuje odpowiedzi na podstawie informacji, których nauczył się ze zbiorów danych treningowych, ale nie są to bazy wiedzy. Może generować nieprawidłowe lub nieaktualne stwierdzenia.
  • Common Sense
    • Model opiera się na wzorcach statystycznych w języku. W niektórych sytuacjach może nie być w stanie zastosować zdroworozsądkowego rozumowania.

Kwestie etyczne i zagrożenia

Tworząc otwarty model wizualno-językowy, dokładnie przeanalizowaliśmy te kwestie:

  • Uprzedzenia i bezstronność
    • Modele VLM trenowane na dużych zbiorach danych tekstowych i obrazowych z prawdziwego świata mogą odzwierciedlać uprzedzenia społeczno-kulturowe zawarte w materiałach szkoleniowych. Model DiffusionGemma został poddany dokładnej analizie, wstępnemu przetwarzaniu danych wejściowych i ocenie po trenowaniu, co opisano na tej karcie, aby pomóc w ograniczeniu ryzyka związanego z tymi uprzedzeniami.
  • Nieprawdziwe informacje i nadużycia
  • Przejrzystość i odpowiedzialność
    • Ta karta modelu zawiera podsumowanie informacji o architekturze, możliwościach, ograniczeniach i procesach oceny modelu.
    • Odpowiedzialnie opracowany otwarty model umożliwia dzielenie się innowacjami, ponieważ technologia VLM jest dostępna dla deweloperów i badaczy w całym ekosystemie AI.

Zidentyfikowane zagrożenia i działania zapobiegawcze:

  • Generowanie szkodliwych treści: niezbędne są mechanizmy i wytyczne dotyczące bezpieczeństwa treści. Zachęcamy deweloperów do zachowania ostrożności i wdrożenia odpowiednich zabezpieczeń treści na podstawie konkretnych zasad dotyczących produktów i przypadków użycia aplikacji.
  • Niewłaściwe wykorzystanie do szkodliwych celów: ograniczenia techniczne oraz edukacja deweloperów i użytkowników mogą pomóc w ograniczeniu szkodliwych zastosowań modeli VLM. Udostępniane są materiały edukacyjne i mechanizmy zgłaszania nadużyć przez użytkowników.
  • Naruszenia prywatności: modele zostały wytrenowane na danych, które zostały przefiltrowane w celu usunięcia niektórych danych osobowych i innych danych wrażliwych. Zachęcamy deweloperów do przestrzegania przepisów dotyczących prywatności za pomocą technik chroniących prywatność.
  • Utrwalanie uprzedzeń: zalecamy ciągłe monitorowanie (za pomocą wskaźników oceny i weryfikacji przez człowieka) oraz badanie technik eliminowania uprzedzeń podczas trenowania i dostrajania modelu oraz w innych przypadkach użycia.

Zalety

W momencie premiery jest to otwarty model wizyjno-językowy o niskim opóźnieniu i wysokiej wydajności, który stanowi atrakcyjną opcję dla deweloperów i osób zainteresowanych badaniem dyfuzyjnych modeli językowych. Model został zaprojektowany od podstaw z myślą o odpowiedzialnym rozwoju AI w porównaniu z modelami o podobnej wielkości.