Karta e modelit DiffusionGemma

Hugging Face | GitHub | Launch Blog | Dokumentacioni
Licenca: Apache 2.0 | Autorët: Google DeepMind

DiffusionGemma është një model gjenerues i ndërtuar nga Google DeepMind. Bazuar në arkitekturën Gemma 4 me 26B A4B Mixture-of-Experts (MoE), DiffusionGemma gjeneron tokenë duke përdorur difuzionin diskret. Ky model me pesha të hapura është multimodal, duke administruar hyrje me tekst, imazhe dhe video për të gjeneruar dalje me tekst.

I ndërtuar mbi një bazë MoE, DiffusionGemma është projektuar për të përmirësuar shpejtësinë e gjenerimit (tokenë për sekondë) ndërkohë që mbetet i përdorshëm në mjedise të ndryshme harduerike. DiffusionGemma bazohet në përparimet arkitekturore dhe të aftësive të Gemma 4, duke prezantuar disa veçori thelbësore:

  • Discrete Text Diffusion – Kalon nga autoregresioni element pas elementi në kampionimin me shumë kanvase me autoregresion blloku. Ai gjeneron tekst duke hequr zhurmën në mënyrë përsëritëse nga blloqet e elementeve (një "kanavacë") në paralel, duke rritur ndjeshëm shpejtësinë e dekodimit.
  • Përpunimi i hyrjeve multimodale – Përpunon hyrjet e teksteve, imazheve (me mbështetje për raportin e pamjes dhe rezolucionin e ndryshueshëm) dhe videove të ndërthurura për të gjeneruar rezultate me tekst.
  • Arkitektura e enkoduesit-dekoduesit - Përdor një enkodues autoregresiv për të përpunuar dhe ruajtur në memorien specifike kontekstin e kërkesës, të kombinuar me një dekodues që zbaton vëmendjen dydrejtimëshe mbi kanavacën e gjenerimit.
  • Efikasiteti i Mixture-of-Experts (MoE) – Përdor një dizajn të rrallë të MoE (8 ekspertë aktivë nga 128 në total) për të ofruar aftësi të forta arsyetimi duke ruajtur një gjurmë të vogël të memories të përshtatshme për ekzekutimin lokal.
  • Thinking Mode (Reasoning) – Projektuar si një arsyetues me aftësi të larta, me modalitete të konfigurueshme të të menduarit.
  • Optimized for Small Batch Size Inference – Projektuar posaçërisht për gjenerim me vonesë të ulët dhe me shpejtësi të lartë në një përshpejtues të vetëm të aftë.
  • Mbështetje për kërkesat e sistemit të integruar – Si me Gemma 4, ai mbështet përditësimin e rolit të system, duke bërë të mundur biseda më të strukturuara dhe më të kontrollueshme.

Përmbledhja e modelit

DiffusionGemma është projektuar për të reduktuar bllokimet vijuese të modeleve standarde gjuhësore shkakësore. Ai përdor një arkitekturë enkoduesi-dekoduesi të optimizuar në mënyrë specifike për shpejtësinë e nxjerrjes së konkluzioneve.

Enkoduesi funksionon në një kapacitet paraplotësimi, duke përpunuar kërkesën fillestare dhe duke gjeneruar memorien specifike KV. Më pas, dekoderi përdor vëmendjen dypalëshe për të përpunuar një bllok hyrës (një "kanavacë") të token-ëve, duke u qasur te konteksti i ruajtur në memorien specifike nëpërmjet vëmendjes së kryqëzuar.

Gjatë nxjerrjes së përfundimeve, DiffusionGemma përdor kampionimin me disa kanavacë. Në vend që të gjenerojë një token në një kohë, modeli pastron në mënyrë përsëritëse një bllok të plotë token-ësh duke përdorur një kampionues difuzioni. Pasi një kanavacë të jetë pastruar plotësisht nga zhurma, ajo përpunohet nga enkoderi dhe shtohet në memorien specifike KV, pas së cilës modeli gjeneron kanavacën tjetër. Kjo qasje bllok-autoregresive lehtëson gjenerimin e tekstit me shpejtësi më të larta.

DiffusionGemma

Prona DiffusionGemma 26B A4B
Totali i parametrave 25,2 miliardë
Parametrat aktivë 3.8B
Shtresat 30
Dritarja rrëshqitëse 1024 tokenë
Gjatësia e kontekstit Deri në 256 000 tokenë
Gjatësia e kanavacës 256
Madhësia e fjalorit 262 mijë
Numri i ekspertëve 8 aktive / 128 në total dhe 1 e ndarë
Modalitetet e mbështetura Tekst, imazh
Parametrat e enkoduesit të vizionit ~550M

Rezultatet e testit të performancës

Këto modele u vlerësuan kundrejt një koleksioni të madh të grupimeve të ndryshme të të dhënave dhe metrikave për të mbuluar aspekte të ndryshme të gjenerimit të tekstit. Rezultatet e vlerësimit të shënuara në tabelë janë për modelet e sintonizuara me udhëzime, me kampionuesin e rekomanduar të kufirit të entropisë (EB) (shiko "Praktikat më të mira" më poshtë).

Testi i performancës DiffusionGemma 26B A4B Gemma 4 26B A4B
MMLU Pro 77,6% 82,6%
AIME 2026 pa vegla 69,1% 88,3%
LiveCodeBench v6 69,1% 77,1%
Codeforces ELO 1429 1718
GPQA Diamond 73,2% 82,3%
Tau2 (mesatarja mbi 3) 56,2% 68,2%
HLE no tools 11,0% 8,7%
HLE me kërkimin 11,9% 17,2%
BigBench Extra Hard 47,6% 64,8%
MMMLU 81,5% 86,3%
Vision
MMMU Pro 54,3% 73,8%
OmniDocBench 1.5 (distanca mesatare e modifikimit, më e ulët është më mirë) 0,319 0,149
MATH-Vision 70,5% 82,4%
MedXPertQA MM 49,0% 58,1%
Kontekst i gjatë
MRCR v2 8 needle 128k (mesatarja) 32,0% 44,1%

Aftësitë kryesore

DiffusionGemma mbulon një gamë të gjerë detyrash në lidhje me tekstin dhe pamjen. Aftësitë kryesore përfshijnë:

  • Gjenerimi me shpejtësi të lartë - eliminimi paralel i zhurmës i 256 tokenëve nëpërmjet kampionimit të difuzionit arrin vonesë të ulët duke gjeneruar 15-20 tokenë për kalim përpara, duke shkyçur shpejtësi gjenerimi për përdorues që tejkalojnë 1100 tokenë për sekondë në cilësimet e madhësisë së ulët të grupit (H100, FP8).
  • Adaptive Inference Time Computation - Kërkesat më të thjeshta dhe detyrat e strukturuara si kodi kërkojnë më pak hapa për heqjen e zhurmës, duke bërë të mundur shpejtësi dinamike të numrit të tokenëve për sekondë bazuar në kompleksitetin e detyrës.
  • Arsyetuesi – Modaliteti i integruar i arsyetimit që e lejon modelin të mendojë hap pas hapi para se të përgjigjet.
  • Kontekst i gjatë – Dritare kontekstuale me deri në 256 000 tokenë.
  • Kuptueshmëria e imazheve – Zbulimi i objekteve, analizimi i dokumenteve/skedarëve PDF, kuptueshmëria e ekranit dhe ndërfaqes së përdoruesit, kuptueshmëria e grafikëve, OCR (duke përfshirë shumë gjuhë), njohja e shkrimit të dorës dhe tregimi. Imazhet mund të përpunohen me raporte të ndryshueshme të pamjes dhe rezolucione të ndryshueshme.
  • Kuptimi i videos – Analizon dhe përshkruan përmbajtjen e videos duke përpunuar sekuencat e kuadrove.
  • Hyrje multimodale e ndërthurur – Kombino imazhe, video dhe tekst brenda një kërkese të vetme për arsyetim me shumë kontekst.
  • Thirrja e funksionit – Mbështetje integrimi për përdorimin e veglave të strukturuara, duke bërë të mundur flukset e punës agjentike.
  • Kodimi dhe arsyetimi – I aftë për gjenerimin dhe plotësimin e kodeve, si dhe për arsyetimin logjik hap pas hapi.
  • Shumëgjuhësh – Mbështetje e integruar për mbi 35 gjuhë, i trajnuar paraprakisht në mbi 140 gjuhë.

Praktikat më të mira

Për performancën më të mirë, përdor këto konfigurime dhe praktika më të mira:

1. Diffusion Sampling Settings

Përdor konfigurimin e mëposhtëm të standardizuar të kampionimit në të gjitha rastet e përdorimit:

  • Metoda: Kampionimi i difuzionit me heqjen e zhurmës me kufi entropie dhe ndalimin përshtatës.
  • Konfigurimi i kampionimit:
    • Numri maksimal i hapave të heqjes së zhurmës = 48
    • Temperature schedule (for logit shaping): Linear decay from 0.8 → 0.4
    • Zgjedhja e tokenëve: Në çdo hap, kampionuesi zgjedh tokenët me entropinë më të ulët, në mënyrë që kufiri i informacionit të tyre të ndërsjellë të qëndrojë nën kufirin e entropisë = 0,1
    • Rizhurmimi i tokenëve: Kampionuesi rizhurmon plotësisht tokenët e pazgjedhur
  • Adaptive Stopping: Kampionimi përfundon herët nëse dhe vetëm nëse të dyja kushtet e mëposhtme përmbushen në të njëjtën kohë:
    • Parashikime të sigurta: Entropia mesatare e modelit mbi kanavacë është nën pragun e entropisë = 0,005
    • Parashikime të qëndrueshme: Parashikimet e tokenëve me probabilitetin më të lartë mbeten identike në dy hapa të njëpasnjëshëm të heqjes së zhurmës

2. Konfigurimi i modalitetit të arsyetimit

Ngjashëm me modelet Gemma 4, ne përdorim rolet standarde system, assistant dhe user. Për të menaxhuar siç duhet procesin e arsyetimit, përdor kodet e mëposhtme të kontrollit:

  • Aktivizo arsyetimin: Arsyetimi aktivizohet duke përfshirë tokenin <|think|> në fillim të kërkesës së sistemit. Për të çaktivizuar arsyetimin, hiqe tokenin (ki parasysh se mund të lëshohet përsëri një kanal bosh arsyetimi).
  • Gjenerimi standard: Kur arsyetimi është i aktivizuar, modeli do të nxjerrë arsyetimin e tij të brendshëm të ndjekur nga përgjigjja përfundimtare duke përdorur këtë strukturë: <|channel>thought\n[Arsyetimi i brendshëm]<channel|>.
  • Sjellja me arsyetimin e çaktivizuar: Nëse arsyetimi është i çaktivizuar, modeli do të gjenerojë përsëri etiketat, por me një bllok bosh të arsyetimit: <|channel>thought\n<channel|>[Përgjigjja përfundimtare].

Ki parasysh se shumë biblioteka si transformuesit i menaxhojnë kompleksitetet e shabllonit të bisedës për ty.

3. Bisedat me disa hapa

  • Asnjë përmbajtje arsyetimi në historik: Në bisedat me disa hapa, rezultati i modelit historik duhet të përfshijë vetëm përgjigjen përfundimtare. Mendimet nga radhët e mëparshme të modelit nuk duhet të shtohen para se të fillojë radha tjetër e përdoruesit.

4. Renditja e modalitetit

  • Për performancë optimale me hyrjet multimodale, vendose përmbajtjen e imazhit përpara tekstit në kërkesën tënde.

5. Rezolucioni i ndryshueshëm i imazhit

Përveç raporteve të ndryshueshme të pamjes, DiffusionGemma mbështet rezolucionin e ndryshueshëm të imazhit nëpërmjet një buxheti të konfigurueshëm të tokenëve vizualë, i cili kontrollon se sa tokenë përdoren për të përfaqësuar një imazh. Një buxhet më i lartë token-ësh ruan më shumë detaje vizuale me koston e llogaritjes shtesë, ndërsa një buxhet më i ulët mundëson nxjerrje më të shpejtë përfundimesh për detyrat që nuk kërkojnë të kuptuar të detajuar.

  • Buxhetet e mbështetura të kodesh janë: 70, 140, 280, 560 dhe 1120.
    • Përdor buxhete më të ulëta për klasifikimin, titrat ose kuptimin e videos, ku nxjerrja më e shpejtë e përfundimeve dhe përpunimi i shumë kuadrove peshojnë më shumë se detajet e imëta.
    • Përdor buxhete më të larta për detyra si p.sh. OCR, analizimi i dokumenteve ose leximi i teksteve të vogla.

6. Kohëzgjatja e videos

Të gjitha modelet mbështesin hyrjet e imazheve dhe mund t'i përpunojnë videot si kuadro. Videoja mbështet një maksimum prej 60 sekondash duke supozuar se imazhet përpunohen me një kuadër për sekondë.

Të dhënat e modelit

Të dhënat e përdorura për trajnimin e modelit dhe mënyra se si janë përpunuar të dhënat.

Grupimi i të dhënave të trajnimit

Paketa jonë e të dhënave të para-trajnimit është një mbledhje e larmishme të dhënash në shkallë të gjerë që përfshin një gamë të gjerë domenesh dhe modalitetesh, duke përfshirë dokumente në ueb, kode, imazhe, audio, me një datë kufi në janar 2025. Këtu janë përbërësit kryesorë:

  • Dokumentet e uebit: Një koleksion i larmishëm i teksteve të uebit siguron që modeli të ekspozohet ndaj një game të gjerë të stileve gjuhësore, temave dhe fjalorit. Paketa e të dhënave të trajnimit përfshin përmbajtje në mbi 140 gjuhë.
  • Kodi: Ekspozimi i modelit ndaj kodit e ndihmon atë të mësojë sintaksën dhe modelet e gjuhëve të programimit, gjë që përmirëson aftësinë e tij për të gjeneruar kod dhe për të kuptuar pyetjet në lidhje me kodin.
  • Matematikë: Trajnimi për tekstet matematikore e ndihmon modelin të mësojë arsyetimin logjik, paraqitjen simbolike dhe të trajtojë pyetjet matematikore.
  • Imazhet: Një gamë e gjerë imazhesh bën të mundur që modeli të kryejë detyra të analizës së imazheve dhe të nxjerrjes së të dhënave vizuale.

Kombinimi i këtyre burimeve të ndryshme të të dhënave është i rëndësishëm për trajnimin e një modeli të fuqishëm multimodal që mund të menaxhojë një larmi të madhe detyrash dhe formatesh të ndryshme të të dhënave.

Përpunimi paraprak i të dhënave

Këtu janë metodat kryesore të pastrimit dhe filtrimit të të dhënave që janë zbatuar për të dhënat trajnuese:

  • Filtrimi i CSAM: Filtrimi rigoroz i CSAM (materiale në lidhje me abuzimin seksual të fëmijëve) është zbatuar në disa faza në procesin e përgatitjes së të dhënave për të garantuar përjashtimin e përmbajtjeve të dëmshme dhe të paligjshme.
  • Filtrimi i të dhënave delikate: Si pjesë e bërjes së modeleve të trajnuara paraprakisht të Gemma të sigurta dhe të besueshme, janë përdorur teknika të automatizuara për të filtruar informacione të caktuara personale dhe të dhëna të tjera delikate nga grupet e të dhënave për trajnim.
  • Mënyra shtesë: Filtrimi bazuar në cilësinë dhe sigurinë e përmbajtjes në përputhje me politikat tona.

Etika dhe siguria

Ndërsa modelet e hapura bëhen qendrore për infrastrukturën e ndërmarrjes, origjina dhe siguria janë parësore. I zhvilluar nga Google DeepMind, DiffusionGemma i nënshtrohet të njëjtave vlerësime rigoroze të sigurisë si modelet tona të zotëruara Gemini.

Qasja e vlerësimit

DiffusionGemma është zhvilluar në partneritet me ekipet e brendshme të sigurisë dhe të IA-së së përgjegjshme. Janë kryer një sërë vlerësimesh të automatizuara, si dhe manuale për të ndihmuar në përmirësimin e sigurisë së modelit. Këto vlerësime janë në përputhje me parimet për inteligjencën artificiale të Google, si dhe me politikat e sigurisë, të cilat synojnë të parandalojnë gjenerimin e përmbajtjeve të dëmshme nga modelet tona të IA-së gjeneruese, duke përfshirë:

  • Përmbajtje në lidhje me materialet e abuzimit seksual dhe shfrytëzimit të fëmijëve
  • Përmbajtje të rrezikshme (p.sh. promovimi i vetëvrasjes ose udhëzime për aktivitete që mund të shkaktojnë dëme në botën reale)
  • Përmbajtje e qartë seksuale
  • Gjuhë urrejtjeje (p.sh. heqja e cilësive njerëzore për anëtarët e grupeve të mbrojtura)
  • Ngacmim (p.sh. nxitja e dhunës kundër njerëzve)

Rezultatet e vlerësimit

Për të gjitha fushat e testimit të sigurisë, ne pamë përmirësime të mëdha në të gjitha kategoritë e sigurisë së përmbajtjeve në lidhje me gjeneratat e mëparshme të modeleve Gemma. Në përgjithësi, DiffusionGemma, ashtu si modelet Gemma 4, ka performancë shumë më të lartë se modelet Gemma 3 dhe 3n në përmirësimin e sigurisë, ndërkohë që i mban të ulëta refuzimet e pajustifikuara. Të gjitha testimet janë kryer qëllimisht pa filtra sigurie për të vlerësuar aftësitë bazë dhe sjelljet standarde të modelit. Si për tekst-në-tekst ashtu edhe për imazh-në-tekst, dhe në të gjitha madhësitë e modelit, modeli prodhoi shkelje minimale të politikave dhe shfaqi përmirësime të konsiderueshme në krahasim me modelet e mëparshme të Gemma.

Përdorimi dhe kufizimet

Këto modele kanë kufizime të caktuara për të cilat përdoruesit duhet të jenë në dijeni.

Përdorimi i synuar

Modelet multimodale (të afta për të përpunuar pamjen, gjuhën dhe/ose audion) kanë një gamë të gjerë aplikimesh në industri dhe domene të ndryshme. Lista e mëposhtme e përdorimeve të mundshme nuk është gjithëpërfshirëse. Qëllimi i kësaj liste është të ofrojë informacione kontekstuale për rastet e mundshme të përdorimit që krijuesit e modelit kanë marrë në konsideratë si pjesë e trajnimit dhe zhvillimit të modelit.

  • Krijimi i përmbajtjeve dhe komunikimi
    • Gjenerimi i tekstit: Gjeneron formate krijuese të tekstit, si p.sh. poezi, skenarë, kode, kopje marketingu dhe drafte email-esh.
    • Robotët e bisedës dhe IA-ja bisedare: Mundësojnë ndërfaqet bisedare për shërbimin ndaj klientit, asistentët virtualë ose aplikacionet ndërvepruese.
    • Përmbledhja e tekstit: Gjeneron përmbledhje koncize të një korpusi tekstor, artikujsh hulumtues ose raportesh.
    • Nxjerrja e të dhënave të imazheve: Nxjerr, interpreton dhe përmbledh të dhënat vizuale për komunikimet me tekst.
  • Kërkim dhe edukim
    • Kërkimet për përpunimin e gjuhës natyrale (NLP) dhe VLM: Shërben si një bazë për studiuesit për të eksperimentuar me teknikat e VLM dhe NLP, për të zhvilluar algoritme dhe për të kontribuar në përparimin e fushës.
    • Veglat për mësimin e gjuhës: Mbështesin përvojat ndërvepruese të mësimit të gjuhës, duke ndihmuar në korrigjimin e gramatikës ose duke ofruar praktikë për të shkruarit.
    • Eksplorimi i njohurive: Ndihmon studiuesit në eksplorimin e teksteve të mëdha duke gjeneruar përmbledhje ose duke iu përgjigjur pyetjeve për tema specifike.

Kufizimet

  • Të dhënat trajnuese
    • Cilësia dhe diversiteti i të dhënave trajnuese ndikojnë ndjeshëm në aftësitë e modelit. Anshmëritë ose boshllëqet në të dhënat trajnuese mund të sjellin kufizime në përgjigjet e modelit.
    • Fusha e grupimit të të dhënave të trajnimit përcakton fushat e temave që modeli mund të trajtojë në mënyrë efikase.
  • Konteksti dhe ndërlikueshmëria e detyrës
    • Modeli funksionon mirë në detyra që mund të formulohen me kërkesa dhe udhëzime të qarta. Detyrat me përfundim të hapur ose mjaft komplekse mund të jenë sfiduese.
    • Performanca e modelit mund të ndikohet nga sasia e kontekstit të ofruar (konteksti më i gjatë në përgjithësi sjell rezultate më të mira, deri në një pikë të caktuar).
  • Dykuptimësia dhe nuanca e gjuhës
    • Gjuha natyrale është në thelb komplekse. Modeli mund të ketë vështirësi të kuptojë nuancat e vogla, sarkazmën ose gjuhën figurative.
  • Saktësia faktike
    • Modeli gjeneron përgjigje bazuar në informacionet që ka mësuar nga paketat e të dhënave të trajnimit, por ato nuk janë baza njohurish. Ai mund të gjenerojë deklarata faktike të pasakta ose të vjetruara.
  • Common Sense
    • Modeli mbështetet në modelet statistikore në gjuhë. Mund t'i mungojë aftësia për të zbatuar arsyetimin e logjikës së shëndoshë në situata të caktuara.

Konsideratat dhe rreziqet etike

Në krijimin e një modeli të hapur vizual-gjuhësor, ne kemi marrë parasysh me kujdes sa më poshtë:

  • Anshmëria dhe drejtësia
    • Modelet VLM të trajnuara me të dhëna tekstesh dhe imazhesh në shkallë të gjerë nga bota reale mund të pasqyrojnë anshmëri sociokulturore të integruara në materialin e trajnimit. DiffusionGemma i është nënshtruar një shqyrtimi të kujdesshëm, përpunimit paraprak të të dhënave hyrëse dhe vlerësimeve pas trajnimit, siç raportohet në këtë kartë, për të ndihmuar në zbutjen e rrezikut të këtyre anësisë.
  • Keqinformimi dhe keqpërdorimi
  • Transparenca dhe llogaridhënia
    • Kjo kartë modeli përmbledh detajet për arkitekturën, aftësitë, kufizimet dhe proceset e vlerësimit të modelit.
    • Një model i hapur i zhvilluar me përgjegjësi ofron mundësinë për të ndarë risitë duke e bërë teknologjinë VLM të qasshme për zhvilluesit dhe studiuesit në të gjithë ekosistemin e IA-së.

Rreziqet e identifikuara dhe zbutjet:

  • Gjenerimi i përmbajtjeve të dëmshme: Mekanizmat dhe udhëzimet për sigurinë e përmbajtjeve janë thelbësore. Zhvilluesit nxiten të tregojnë kujdes dhe të zbatojnë masat e duhura mbrojtëse për sigurinë e përmbajtjeve bazuar në politikat e tyre specifike të produkteve dhe rastet e përdorimit të aplikacioneve.
  • Keqpërdorimi për qëllime keqdashëse: Kufizimet teknike dhe edukimi i zhvilluesve dhe përdoruesve fundorë mund të ndihmojnë në zbutjen e aplikimeve keqdashëse të modeleve VLM. Ofrohen burime edukative dhe mekanizma raportimi që përdoruesit të raportojnë keqpërdorimin.
  • Shkeljet e privatësisë: Modelet janë trajnuar me të dhëna të filtruara për heqjen e informacioneve të caktuara personale dhe të dhënave të tjera delikate. Zhvilluesit nxiten që të respektojnë rregulloret e privatësisë me teknika për ruajtjen e privatësisë.
  • Përjetësimi i anshmërive: Inkurajohet kryerja e monitorimit të vazhdueshëm (duke përdorur metrikat e vlerësimit, shqyrtimin manual) dhe eksplorimi i teknikave të eliminimit të anshmërive gjatë trajnimit të modelit, përmirësimit dhe rasteve të tjera të përdorimit.

Përfitimet

Në momentin e publikimit, ky është një model i hapur vizual-gjuhësor me vonesë të ulët dhe performancë të lartë që ofron një opsion tërheqës për zhvilluesit dhe ata që janë të interesuar për kërkime në lidhje me modelet gjuhësore të difuzionit. Modeli është projektuar nga fillimi për zhvillimin e përgjegjshëm të IA-së në krahasim me modelet me madhësi të ngjashme.