כרטיס המודל DiffusionGemma

Hugging Face | GitHub | בלוג ההשקה | מסמכי תיעוד
רישיון: Apache 2.0 | יוצרים: Google DeepMind

‫DiffusionGemma הוא מודל גנרטיבי שפותח על ידי Google DeepMind. ‫DiffusionGemma מבוסס על ארכיטקטורת Gemma 4 עם 26 מיליארד פרמטרים ו-A4B Mixture-of-Experts (MoE), והוא יוצר אסימונים באמצעות דיפוזיה בדידה. המודל הזה עם משקלים פתוחים הוא מולטי-מודאלי, ומעבד קלט של טקסט, תמונות וסרטונים כדי ליצור פלט של טקסט דינמי מבוסס-AI.

‫DiffusionGemma מבוסס על MoE, והוא נועד לשפר את מהירות היצירה (טוקנים לשנייה) תוך שמירה על יכולת פריסה בסביבות חומרה שונות. ‫DiffusionGemma מבוסס על ההתקדמות בארכיטקטורה וביכולות של Gemma 4, וכולל כמה תכונות עיקריות:

• פיזור טקסט בדיד – מעבר מאוטורגרסיה אסימון-אחר-אסימון לדגימה מרובת קנבס אוטורגרסיבית בבלוקים. הוא יוצר טקסט על ידי הפחתת רעשים חוזרת (איטרטיבית) בבלוקים של אסימונים ('קנבס') במקביל, וכך מגביר באופן משמעותי את מהירות הפענוח.
• עיבוד קלט מולטי-מודאלי – עיבוד של טקסט, תמונות (עם תמיכה ביחס גובה-רוחב וברזולוציה משתנים) וסרטונים משולבים כדי ליצור פלט של טקסט.
• ארכיטקטורת מקודד-מפענח – משתמשת במקודד אוטורגרסיבי כדי לעבד את ההקשר של ההנחיה ולשמור אותו במטמון, בשילוב עם מפענח שמפעיל תשומת לב דו-כיוונית על קנבס היצירה.
• יעילות של שילוב מומחים (MoE) – המודל משתמש בעיצוב MoE חסכוני (8 מומחים פעילים מתוך 128 בסך הכול) כדי לספק יכולות חשיבה חזקות, תוך שמירה על הזיכרון שבשימוש נמוך שמתאים להרצה מקומית.
• מצב חשיבה (הסקת מסקנות) – מודל עם יכולות מתקדמות להסקת מסקנות, עם מצבי חשיבה שאפשר להגדיר.
• אופטימיזציה להסקת מסקנות באצוות קטנות – המודל תוכנן במיוחד ליצירת תוכן במהירות גבוהה ובזמן אחזור קצר במאיץ אחד מתאים.
• תמיכה בהנחיות מערכת מובנות – כמו Gemma 4, המודל תומך בעדכון התפקיד system, ומאפשר שיחות מובנות יותר וקלות יותר לשליטה.

סקירה כללית של המודל

מודל DiffusionGemma נועד לצמצם את צווארי הבקבוק ברצף של מודלי שפה סיבתיים סטנדרטיים. הוא משתמש בארכיטקטורת מקודד-מפענח שעברה אופטימיזציה ספציפית למהירות הסקת המסקנות.

המקודד פועל בקיבולת של מילוי מראש, מעבד את ההנחיה הראשונית ויוצר את מטמון ה-KV. לאחר מכן, המפענח משתמש בתשומת לב דו-כיוונית כדי לעבד בלוק קלט (canvas) של אסימונים, וניגש להקשר שנשמר במטמון באמצעות תשומת לב צולבת.

במהלך ההסקה, DiffusionGemma משתמש בדגימה מכמה אזורי ציור. במקום ליצור טוקן אחד בכל פעם, המודל מסיר רעשים באופן איטרטיבי מבלוק שלם של טוקנים באמצעות דוגם דיפוזיה. אחרי שהרעש מוסר לחלוטין מהקנבס, המקודד מעבד אותו ומוסיף אותו למטמון ה-KV. לאחר מכן המודל יוצר את הקנבס הבא. הגישה הזו, שנקראת block-autoregressive, מאפשרת ליצור טקסט במהירות גבוהה יותר.

DiffusionGemma

נכס	DiffusionGemma 26B A4B
סה"כ פרמטרים	25.2B
פרמטרים פעילים	3.8B
שכבות	30
חלון הזזה	‫1,024 טוקנים
חלון ההקשר	עד 256,000 טוקנים
אורך ה-Canvas	256
גודל אוצר המילים	262K
מספר המומחים	‫8 פעילים / 128 סה"כ ו-1 משותף
אופני שימוש נתמכים	טקסט, תמונה
פרמטרים של מקודד הראייה	~550M

תוצאות הערכת הביצועים

המודלים האלה נבדקו מול אוסף גדול של קבוצות נתונים ומדדים שונים כדי לכסות היבטים שונים של יצירת טקסט. תוצאות ההערכה שמסומנות בטבלה הן של מודלים שעברו כוונון לפי הוראות, עם דוגם Entropy Bound (EB)‎ מומלץ (ראו שיטות מומלצות בהמשך).

נקודת השוואה	DiffusionGemma 26B A4B	Gemma 4 26B A4B
MMLU Pro	77.6%	82.6%
AIME 2026 no tools	69.1%	88.3%
LiveCodeBench v6	69.1%	77.1%
Codeforces ELO	1429	1718
‫GPQA Diamond	73.2%	82.3%
Tau2 (ממוצע של יותר מ-3)	56.2%	68.2%
HLE no tools	11.0%	8.7%
HLE with search	11.9%	17.2%
BigBench Extra Hard	47.6%	64.8%
MMMLU	81.5%	86.3%
ראייה
MMMU Pro	54.3%	73.8%
‫OmniDocBench 1.5 (מרחק עריכה ממוצע, כמה שפחות יותר טוב)	0.319	0.149
MATH-Vision	70.5%	82.4%
MedXPertQA MM	49.0%	58.1%
הקשר רחב
‫MRCR v2‏ 8 מחטים 128k (ממוצע)	32.0%	44.1%

יכולות עיקריות

‫DiffusionGemma מטפל במגוון רחב של משימות שקשורות לטקסט ולראייה. היכולות המרכזיות:

• יצירה במהירות גבוהה – הפחתת רעשים מקבילה של 256 טוקנים באמצעות דגימת דיפוזיה מאפשרת להשיג זמן אחזור נמוך על ידי יצירת 15-20 טוקנים לכל מעבר קדימה, וכך להגיע למהירויות יצירה לכל משתמש של יותר מ-1,100 טוקנים לשנייה בהגדרות של גודל אצווה נמוך (H100,‏ FP8).
• חישוב זמן הסקה דינמי – הנחיות פשוטות יותר ומשימות מובנות כמו קוד דורשות פחות שלבי הסרת רעשים, מה שמאפשר מהירויות דינמיות של טוקנים לשנייה בהתאם למורכבות המשימה.
• Thinking – מצב מובנה של הסקת מסקנות שמאפשר למודל לחשוב שלב אחרי שלב לפני שהוא עונה.
• הקשר רחב – חלונות הקשר של עד 256 אלף טוקנים.
• הבנת תמונות – זיהוי אובייקטים, ניתוח מסמכים/קובצי PDF, הבנת מסכים וממשקי משתמש, הבנת תרשימים, OCR (כולל בכמה שפות), זיהוי כתב יד והצבעה. המודל יכול לעבד תמונות ביחסי גובה-רוחב וברזולוציות שונות.
• הבנת סרטונים – ניתוח ותיאור של קטע וידאו על ידי עיבוד רצפים של פריימים.
• קלט מולטי-מודאלי משולב – אפשר לשלב תמונות, סרטונים וטקסט בהנחיה אחת כדי לקבל הסקה עם הקשר עשיר.
• קריאה להפעלת פונקציות – תמיכה מובנית בשימוש בכלים מובְנים, שמאפשרת Agentic Workflows.
• תכנות והסקת מסקנות – יכולת ליצור קוד, להשלים קוד ולהסיק מסקנות באופן לוגי, שלב אחר שלב.
• תמיכה בשפות רבות – תמיכה מובנית ביותר מ-35 שפות, ואימון מראש ביותר מ-140 שפות.

שיטות מומלצות

כדי להשיג את הביצועים הטובים ביותר, כדאי להשתמש בהגדרות ובשיטות המומלצות הבאות:

1. הגדרות דגימת דיפוזיה

כדאי להשתמש בהגדרת הדגימה הסטנדרטית הבאה בכל התרחישים לדוגמה:

• שיטה: דגימת דיפוזיה עם הפחתת רעשים מוגבלת אנטרופיה ועצירה מותאמת.
• הגדרת הדגימה:
  • המספר המקסימלי של שלבי הפחתת הרעש = 48
  • לוח זמנים לשינוי טמפרטורה (לעיצוב לוגיט): דעיכה לינארית מ-0.8 ל-0.4
  • בחירת טוקנים: בכל שלב, הדוגם בוחר את הטוקנים עם האנטרופיה הנמוכה ביותר, כך שגבול המידע ההדדי שלהם נשאר מתחת לגבול האנטרופיה = 0.1
  • הוספת רעש לאסימונים: הדוגם מוסיף רעש מחדש לאסימונים שלא נבחרו
• עצירה דינמית: הדגימה מסתיימת מוקדם אם ורק אם שני התנאים הבאים מתקיימים בו-זמנית:
  • תחזיות ודאיות: האנטרופיה הממוצעת של המודל על פני הקנבס נמוכה מסף האנטרופיה = 0.005
  • תחזיות יציבות: התחזיות של האסימונים עם ההסתברות הכי גבוהה נשארות זהות בשני שלבים עוקבים של הפחתת רעשים.

2. הגדרת מצב העמקה

בדומה למודלים של Gemma 4, אנחנו משתמשים בתפקידים הרגילים system,‏ assistant ו-user. כדי לנהל את תהליך החשיבה בצורה נכונה, השתמשו בטוקנים הבאים לבקרה:

• הפעלת החשיבה: כדי להפעיל את החשיבה, צריך לכלול את הטוקן <|think|> בתחילת ההנחיה למערכת. כדי להשבית את תהליך החשיבה, צריך להסיר את הטוקן (שימו לב: יכול להיות שעדיין יופק ערוץ חשיבה ריק).
• יצירת תשובה רגילה: כשתהליך החשיבה מופעל, המודל יציג את תהליך החשיבה הפנימי שלו ואחריו את התשובה הסופית במבנה הבא: <|channel>thought\n[תהליך חשיבה פנימי]<channel|>.
• התנהגות חשיבה מושבתת: אם החשיבה מושבתת, המודל עדיין ייצור את התגים אבל עם בלוק חשיבה ריק: <|channel>thought\n<channel|>[תשובה סופית].

חשוב לזכור שהרבה ספריות, כמו transformers, מטפלות במורכבות של תבנית הצ'אט בשבילכם.

3. שיחות עם זיכרון

• אין תוכן של תהליך חשיבה בהיסטוריה: בשיחות עם כמה סבבים, הפלט מהמודל בהיסטוריה צריך לכלול רק את התשובה הסופית. אסור להוסיף מחשבות מסבבים קודמים של המודל לפני שמתחיל הסבב הבא של המשתמש.

4. סדר המודליות

• כדי לקבל ביצועים אופטימליים עם קלט בכמה אופנים, הציבו את תוכן התמונה לפני הטקסט בהנחיה.

5. רזולוציית תמונה משתנה

בנוסף ליחסי גובה-רוחב משתנים, DiffusionGemma תומך ברזולוציית תמונה משתנה באמצעות תקציב טוקנים חזותיים שניתן להגדיר, שקובע כמה טוקנים משמשים לייצוג תמונה. תקציב טוקנים גבוה יותר שומר על יותר פרטים חזותיים, אבל דורש יותר משאבי מחשוב. תקציב נמוך יותר מאפשר הסקת מסקנות מהירה יותר במשימות שלא דורשות הבנה מעמיקה.

• מכסות הטוקנים הנתמכות הן: 70,‏ 140,‏ 280,‏ 560 ו-1,120.
  • השתמשו בתקציבים נמוכים יותר לסיווג, לכתוביות או להבנת וידאו, שבהם הסקה מהירה יותר ועיבוד של פריימים רבים חשובים יותר מפרטים מפורטים.
  • כדאי להשתמש בתקציבים גבוהים יותר למשימות כמו OCR, ניתוח מסמכים או קריאת טקסט קטן.

6. אורך הסרטון

כל המודלים תומכים בקלט של תמונות ויכולים לעבד סרטונים כפריימים. אפשר ליצור סרטון באורך של עד 60 שניות, בהנחה שהתמונות מעובדות בקצב של פריים אחד לשנייה.

נתוני המודל

הנתונים ששימשו לאימון המודל ואיך הם עובדו.

קבוצת נתונים לאימון

מערך הנתונים לאימון מראש הוא אוסף גדול ומגוון של נתונים שכולל מגוון רחב של תחומים וסוגי מידע, כולל מסמכים מהאינטרנט, קוד, תמונות ואודיו, עם תאריך סף של ינואר 2025. אלה הרכיבים העיקריים:

• מסמכים באינטרנט: אוסף מגוון של טקסטים מהאינטרנט, כדי שהמודל ייחשף למגוון רחב של סגנונות לשוניים, נושאים ואוצר מילים. קבוצת הנתונים לאימון כוללת תוכן ביותר מ-140 שפות.
• קוד: חשיפת המודל לקוד עוזרת לו ללמוד את התחביר והדפוסים של שפות תכנות, וכך משפרת את היכולת שלו ליצור קוד ולהבין שאלות שקשורות לקוד.
• מתמטיקה: אימון על טקסט מתמטי עוזר למודל ללמוד חשיבה לוגית, ייצוג סמלי וטיפול בשאילתות מתמטיות.
• תמונות: מגוון רחב של תמונות מאפשר למודל לבצע ניתוח תמונות ומשימות של חילוץ נתונים חזותיים.

השילוב של מקורות הנתונים המגוונים האלה חיוני לאימון מודל מולטי-מודאלי חזק שיכול להתמודד עם מגוון רחב של משימות ופורמטים שונים של נתונים.

עיבוד מקדים של נתונים

אלה השיטות העיקריות לניקוי ולסינון של נתונים שבהן אנחנו משתמשים כדי להכין את נתוני האימון:

• סינון CSAM: סינון קפדני של CSAM (תוכן ויזואלי של התעללות מינית בילדים) הופעל בכמה שלבים בתהליך הכנת הנתונים כדי להבטיח שתוכן פוגעני ותוכן לא חוקי לא ייכלל.
• סינון מידע רגיש: כדי להבטיח שהמודלים של Gemma שעברו אימון מראש יהיו בטוחים ואמינים, השתמשנו בשיטות אוטומטיות כדי לסנן פרטים אישיים מסוימים ומידע רגיש אחר מקבוצות הנתונים לאימון.
• שיטות נוספות: סינון לפי איכות התוכן והבטיחות בהתאם למדיניות שלנו.

אתיקה ובטיחות

ככל שמודלים פתוחים הופכים לחלק מרכזי בתשתית הארגונית, המקור והאבטחה שלהם הופכים לחשובים יותר. ‫DiffusionGemma פותח על ידי Google DeepMind, והוא עובר את אותן הערכות בטיחות קפדניות כמו מודלי Gemini הקנייניים שלנו.

גישת ההערכה

‫DiffusionGemma פותח בשיתוף עם צוותי בטיחות ו-AI אחראי פנימיים. כדי לשפר את בטיחות המודל, בוצעו מגוון הערכות אוטומטיות ואנושיות. ההערכות האלה תואמות לעקרונות ה-AI של Google ולמדיניות הבטיחות, שמטרתם למנוע ממודלי ה-AI הגנרטיבי שלנו ליצור תוכן פוגעני, כולל:

• תוכן שקשור להתעללות מינית בילדים ולניצול של ילדים
• תוכן מסוכן (למשל, עידוד התאבדות או הנחיות לפעילויות שעלולות לגרום נזק בעולם האמיתי)
• תוכן מיני בוטה
• דברי שטנה (למשל, דה-הומניזציה של חברים בקבוצות מוגנות)
• הטרדה (למשל, עידוד אלימות נגד אנשים)

תוצאות ההערכה

בכל התחומים של בדיקות הבטיחות, ראינו שיפורים משמעותיים בכל הקטגוריות של בטיחות התוכן בהשוואה לדורות הקודמים של מודלי Gemma. באופן כללי, DiffusionGemma, כמו מודלים של Gemma 4, משפר את הבטיחות באופן משמעותי בהשוואה למודלים של Gemma 3 ו-Gemma 3n, תוך שמירה על שיעור נמוך של סירובים לא מוצדקים. כל הבדיקות בוצעו בכוונה בלי מסנני בטיחות, כדי להעריך את היכולות הגולמיות ואת ההתנהגויות הבסיסיות של המודל. בכל הגדלים של המודל, גם ביצירת טקסט על סמך טקסט וגם ביצירת טקסט על סמך תמונה, המודל הפיק מספר מינימלי של הפרות מדיניות והראה שיפורים משמעותיים בהשוואה למודלים קודמים של Gemma.

שימוש ומגבלות

למודלים האלה יש מגבלות מסוימות שהמשתמשים צריכים להיות מודעים להן.

השימוש המיועד

למודלים מולטי-מודאליים (שמסוגלים לעבד ראייה, שפה ו/או אודיו) יש מגוון רחב של יישומים בתעשיות ובתחומים שונים. הרשימה הבאה של שימושים אפשריים היא חלקית. מטרת הרשימה הזו היא לספק מידע על ההקשר של תרחישי השימוש האפשריים שיוצרי המודל הביאו בחשבון כחלק מהאימון והפיתוח של המודל.

• יצירת תוכן ותקשורת
  • יצירת טקסט: יצירת טקסטים יצירתיים בפורמטים שונים, כמו שירים, תסריטים, קוד, תוכן שיווקי וטיוטות של אימיילים.
  • צ'אט בוטים ו-AI בממשק שיחה: מפעילים ממשקי שיחה לשירות לקוחות, עוזרים וירטואליים או אפליקציות אינטראקטיביות.
  • סיכום טקסט: יצירת סיכומים תמציתיים של קורפוס טקסט, מאמרי מחקר או דוחות.
  • חילוץ נתונים מתמונות: חילוץ, פירוש וסיכום של נתונים חזותיים לתקשורת טקסטואלית.
• מחקר וחינוך
  • מחקר בתחום עיבוד שפה טבעית (NLP) ומודל שפה חזותי (VLM): משמש כבסיס לחוקרים שרוצים להתנסות בטכניקות של VLM ו-NLP, לפתח אלגוריתמים ולתרום לקידום התחום.
  • כלים ללימוד שפות: תומכים בחוויות אינטראקטיביות של לימוד שפות, עוזרים לתקן את הדקדוק או מספקים תרגול בכתיבה.
  • חיפוש מידע: עוזר לחוקרים לחפש מידע בגופי טקסט גדולים על ידי יצירת סיכומים או מענה על שאלות בנושאים ספציפיים.

מגבלות

• נתונים לאימון
  • האיכות והמגוון של נתוני האימון משפיעים באופן משמעותי על היכולות של המודל. הטיות או פערים בנתוני האימון יכולים להוביל למגבלות בתשובות של המודל.
  • ההיקף של מערך הנתונים לאימון קובע את תחומי המחקר שהמודל יכול לטפל בהם ביעילות.
• הקשר ומורכבות המשימה
  • המודל פועל היטב במשימות שאפשר להגדיר באמצעות הנחיות והוראות ברורות. יכול להיות שיהיה לו קשה עם משימות פתוחות או מורכבות מאוד.
  • הביצועים של המודל יכולים להיות מושפעים מכמות ההקשר שסופקה (הקשר ארוך יותר בדרך כלל מוביל לפלט טוב יותר, עד לנקודה מסוימת).
• דו-משמעות וניואנסים בשפה
  • שפה טבעית היא מורכבת מטבעה. יכול להיות שהמודל יתקשה להבין ניואנסים דקים, סרקזם או שפה פיגורטיבית.
• דיוק עובדתי
  • המודל יוצר תשובות על סמך מידע שהוא למד ממערכי הנתונים לאימון, אבל הוא לא מאגר ידע. יכול להיות שהיא תיצור הצהרות עובדתיות שגויות או לא עדכניות.
• Common Sense
  • המודל מסתמך על דפוסים סטטיסטיים בשפה. יכול להיות שהוא לא יצליח להפעיל היגיון בריא במצבים מסוימים.

שיקולים אתיים וסיכונים

כשפיתחנו מודל פתוח של ראייה ושפה, הקדשנו מחשבה רבה לנושאים הבאים:

• הטיה והוגנות
  • מודלים של VLM שאומנו על נתונים של טקסטים ותמונות מהעולם האמיתי בקנה מידה גדול, יכולים לשקף הטיות חברתיות-תרבותיות שמוטמעות בחומר ההדרכה. כדי לצמצם את הסיכון להטיות האלה, DiffusionGemma עבר בדיקה קפדנית, עיבוד מקדים של נתוני הקלט והערכות לאחר האימון, כפי שמדווח בכרטיס הזה.
• מידע מוטעה ושימוש לרעה
  • אפשר להשתמש במודלים של VLM לרעה כדי ליצור טקסט שקרי, מטעה או מזיק.
  • בערכת הכלים לשימוש אחראי ב-AI גנרטיבי מפורטות הנחיות לשימוש אחראי במודל.
• שקיפות ואחריות
  • בכרטיס המודל הזה מפורטים פרטים על הארכיטקטורה, היכולות, המגבלות ותהליכי ההערכה של המודל.
  • מודל פתוח שפותח באופן אחראי מאפשר לשתף חדשנות על ידי הנגשת טכנולוגיית VLM למפתחים ולחוקרים בסביבה העסקית של ה-AI.

סיכונים שזוהו ודרכים לצמצום הסיכונים:

• יצירת תוכן פוגעני: חשוב להשתמש במנגנונים ובהנחיות לשמירה על בטיחות התוכן. אנחנו ממליצים למפתחים לנקוט משנה זהירות ולהטמיע אמצעי הגנה מתאימים לבטיחות התוכן, בהתאם למדיניות המוצר הספציפית ולתרחישי השימוש באפליקציה.
• שימוש לרעה למטרות זדוניות: מגבלות טכניות והדרכה למפתחים ולמשתמשי קצה יכולות לעזור לצמצם את השימוש הזדוני במודלים של VLM. המשתמשים מקבלים מקורות מידע חינוכיים ומנגנוני דיווח כדי לסמן שימוש לרעה.
• הפרות פרטיות: המודלים אומנו על נתונים שעברו סינון כדי להסיר פרטים אישיים מסוימים ונתונים רגישים אחרים. אנחנו מעודדים את המפתחים לפעול בהתאם לתקנות בנושא פרטיות באמצעות שיטות לשמירה על הפרטיות.
• הנצחת הטיות: מומלץ לבצע מעקב רציף (באמצעות מדדי הערכה ובדיקה אנושית) ולבחון טכניקות להפחתת הטיות במהלך אימון המודל, הכוונון שלו ובמקרים אחרים.

יתרונות

בזמן ההשקה, זהו מודל פתוח של שפה חזותית עם זמן אחזור קצר וביצועים גבוהים, שמספק אפשרות מעניינת למפתחים ולאנשים שמעוניינים לחקור מודלים של שפה מסוג Diffusion. המודל תוכנן מהיסוד לפיתוח אחראי של AI בהשוואה למודלים בגודל דומה.