כרטיס המודל Gemma 4

‫Hugging Face | GitHub | בלוג ההשקה | תיעוד
רישיון: Apache 2.0 | מחברים: Google DeepMind

‫Gemma היא משפחה של מודלים בקוד פתוח שפותחו על ידי Google DeepMind. מודלים של Gemma 4 הם מולטי-מודאליים, הם מעבדים קלט של טקסט ותמונות (עם תמיכה באודיו במודלים E2B,‏ E4B ו-12B) ומפיקים פלט של טקסט. הגרסה הזו כוללת מודלים עם משקלים פתוחים, גם בגרסאות שאומנו מראש וגם בגרסאות שעברו כוונון לפי הוראות. ל-Gemma 4 יש חלון הקשר של עד 256K טוקנים, והוא תומך ביותר מ-140 שפות.

מודל Gemma 4 כולל ארכיטקטורות צפופות וגם ארכיטקטורות של תערובת מומחים (MoE), ולכן הוא מתאים למשימות כמו יצירת טקסט, כתיבת קוד והסקת מסקנות. המודלים זמינים בחמישה גדלים שונים: E2B,‏ E4B,‏ 12B,‏ 26B A4B ו-31B. הגודל המגוון שלהם מאפשר פריסה בסביבות שונות, החל מטלפונים מתקדמים ועד מחשבים ניידים ושרתים, וכך הגישה ל-AI מתקדם הופכת לזמינה לכולם.

‫Gemma 4 כולל יכולות מתקדמות ושיפורים בארכיטקטורה:

• הסקת מסקנות – כל המודלים במשפחה מתוכננים כמודלים עם יכולות גבוהות של הסקת מסקנות, עם מצבי חשיבה שניתנים להגדרה.

• יכולות מולטי-מודאליות מתקדמות – עיבוד של טקסט, תמונות עם תמיכה ביחס גובה-רוחב וברזולוציה משתנים (בכל המודלים), סרטונים ואודיו (התכונה הזו מובנית במודלים E2B,‏ E4B ו-12B).

• ארכיטקטורות מגוונות ויעילות – מציע וריאציות של Dense ו-Mixture-of-Experts (MoE) בגדלים שונים לפריסה ניתנת להרחבה.

• אופטימיזציה לשימוש במכשיר – מודלים קטנים יותר מיועדים במיוחד לביצוע מקומי יעיל במחשבים ניידים ובמכשירים ניידים.

• חלון הקשר גדול יותר – למודלים הקטנים יש חלון הקשר של 128K, ולמודלים הבינוניים יש חלון הקשר של 256K.

• יכולות משופרות של תכנות וסוכנים – משיג שיפורים משמעותיים במדדי ביצועים של תכנות, לצד תמיכה מובנית בהפעלת פונקציות, ומאפשר הפעלה של סוכנים אוטונומיים עם יכולות גבוהות.

• תמיכה מקורית בהנחיות מערכת – Gemma 4 מציג תמיכה מקורית בsystem תפקידים, ומאפשר שיחות מובנות וניתנות לשליטה יותר.

סקירה כללית של המודלים

מודלים של Gemma 4 נועדו לספק ביצועים ברמה גבוהה בכל גודל, ולתמוך בתרחישי פריסה ממכשירים ניידים וממכשירי קצה (E2B, ‏ E4B) ועד ל-GPU לצרכנים ולתחנות עבודה (12B, ‏ 26B A4B, ‏ 31B). הם מתאימים במיוחד להסקת מסקנות, לתהליכי עבודה מבוססי-סוכנים, לתכנות ולהבנה מולטי-מודאלית.

המודלים משתמשים במנגנון קשב היברידי שמשלב בין קשב מקומי של חלון נע לבין קשב גלובלי מלא, כדי להבטיח שהשכבה הסופית תמיד תהיה גלובלית. העיצוב ההיברידי הזה מאפשר מהירות עיבוד ושימוש נמוך בזיכרון כמו במודל קל משקל, בלי לפגוע ביכולת ההבנה העמוקה שנדרשת למשימות מורכבות עם הקשר ארוך. כדי לייעל את הזיכרון להקשרים ארוכים, שכבות גלובליות כוללות מפתחות וערכים מאוחדים, ומחילות Proportional RoPE ‏ (p-RoPE).

מודלים צפופים

האות E ב-E2B וב-E4B מייצגת פרמטרים אפקטיביים. המודלים הקטנים יותר משלבים הטמעות לכל שכבה (PLE) כדי למקסם את יעילות הפרמטרים בפריסות במכשיר. במקום להוסיף עוד שכבות או פרמטרים למודל, PLE נותן לכל שכבת פענוח הטמעה קטנה משלה לכל טוקן. טבלאות ההטמעה האלה גדולות, אבל הן משמשות רק לחיפושים מהירים, ולכן מספר הפרמטרים האפקטיבי קטן בהרבה מהמספר הכולל.

המונח 'מאוחד' בשם Gemma 4 12B Unified מתייחס לארכיטקטורה שלו שלא כוללת מקודד. מודלים אחרים של Gemma 4 משתמשים במקודדים ייעודיים כדי לעבד נתונים מרובי-אופנים לפני שהם מועברים ל-LLM. ‫Gemma 4 12B מסיר את המקודדים האלה לחלוטין, ומקרין טלאים של תמונות גולמיות וצורות גל של אודיו ישירות למרחב ההטמעה של ה-LLM באמצעות שכבות לינאריות קלות משקל. הגישה המאוחדת הזו מאפשרת לכל המודאליות לזרום ישירות לטרנספורמר יחיד של מפענח בלבד, וכך לקצר את זמן האחזור של מודאליות מרובות ולאפשר כוונון עדין של המודל כולו במעבר אחד.

מודל Mixture-of-Experts (MoE)

האות A ב-26B A4B מייצגת 'פרמטרים פעילים', בניגוד למספר הכולל של הפרמטרים שהמודל מכיל. המודל Mixture-of-Experts מופעל הרבה יותר מהר ממה שאפשר לצפות ממודל של 26B, כי הוא מפעיל רק קבוצת משנה של 4B פרמטרים במהלך ההסקה. הוא בחירה מצוינת להסקת מסקנות מהירה בהשוואה למודל הצפוף של 31B, כי הוא פועל כמעט מהר כמו מודל עם 4 מיליארד פרמטרים.

התוצאות של הערכת הביצועים

המודלים האלה נבדקו מול אוסף גדול של מערכי נתונים ומדדים שונים, כדי לכסות היבטים שונים של יצירת טקסט. תוצאות ההערכה שמסומנות בטבלה הן של מודלים שעברו כוונון להוראות.

^*לא כולל שפה סינית.

יכולות הליבה

מודלים של Gemma 4 מטפלים במגוון רחב של משימות שקשורות לטקסט, לראייה ולאודיו. היכולות העיקריות:

• חשיבה – מצב חשיבה מובנה שמאפשר למודל לחשוב שלב אחר שלב לפני שהוא עונה.
• הקשר רחב – חלונות הקשר של עד 128 אלף טוקנים (E2B/E4B) ו-256 אלף טוקנים (12B/26B A4B/31B).
• פענוח תמונות – זיהוי אובייקטים, ניתוח מסמכים או קובצי PDF, פענוח מסך וממשק משתמש, פענוח תרשימים, זיהוי תווים אופטי (OCR) (כולל רב-לשוני), זיהוי כתב יד והצבעה. אפשר לעבד תמונות ביחסי גובה-רוחב וברזולוציות משתנים.
• הבנת סרטונים – ניתוח סרטונים באמצעות עיבוד של רצפי פריימים.
• קלט משולב מולטימודאלי – אפשר לשלב טקסט ותמונות בכל סדר בהנחיה אחת.
• בקשה להפעלת פונקציה – תמיכה מובנית בשימוש מובנה בכלים, שמאפשרת תהליכי עבודה מבוססי-סוכן.
• תכנות – יצירה, השלמה ותיקון של קוד.
• ריבוי שפות – תמיכה מוכנה לשימוש ביותר מ-35 שפות, עם אימון מראש על יותר מ-140 שפות.
• אודיו (רק ב-E2B,‏ E4B ו-12B Unified) – זיהוי דיבור אוטומטי (ASR) ותרגום של דיבור לטקסט מתורגם בכמה שפות.

שיטות מומלצות

כדי לשפר את הביצועים, כדאי להשתמש בהגדרות ובשיטות המומלצות הבאות:

1. פרמטרים של דגימה

כדאי להשתמש בהגדרת הדגימה המתוקננת הבאה בכל תרחישי השימוש:

• temperature=1.0
• top_p=0.95
• top_k=64

2. הגדרת מצב החשיבה

בהשוואה ל-Gemma 3, המודלים משתמשים בתפקידים סטנדרטיים של system, assistant ו-user. כדי לנהל את תהליך החשיבה בצורה נכונה, אפשר להשתמש בטוקנים הבאים של בקרה:

• הפעלת חשיבה: כדי להפעיל חשיבה, צריך לכלול את הטוקן <|think|> בתחילת הנחיית המערכת. כדי להשבית את החשיבה, מסירים את האסימון.
• יצירה רגילה: כשהחשיבה מופעלת, המודל יציג את ההיגיון הפנימי שלו ואחריו את התשובה הסופית במבנה הבא: <|channel>thought\n[היגיון פנימי]<channel|>
• התנהגות של חשיבה מושבתת: בכל המודלים, למעט וריאציות E2B ו-E4B, אם החשיבה מושבתת, המודל עדיין ייצור את התגים אבל עם בלוק חשיבה ריק: <|channel>thought\n<channel|>[תשובה סופית]

שימו לב שהרבה ספריות כמו Transformers ו-llama.cpp מטפלות במורכבות של תבנית הצ'אט בשבילכם.

3. שיחות עם זיכרון

• אין תוכן של תהליך החשיבה בהיסטוריה: בשיחות מרובות תפניות, הפלט ההיסטורי של המודל צריך לכלול רק את התשובה הסופית. אסור להוסיף מחשבות מתורנויות קודמות של המודל לפני תורנויות משתמשים הבאות, למעט תורנויות של הפעלת כלים שבהן צריך לשמור את תוכן המחשבות.

4. סדר המודאליות

כדי להפיק רמת ביצועים אופטימלית מקמפיין עם קלט רב-אופני, מומלץ להציב:

• תוכן התמונה לפני הטקסט בהנחיה.
• תוכן אודיו אחרי הטקסט בהנחיה.

5. רזולוציה משתנה של תמונות

בנוסף ליחסי גובה-רוחב משתנים, Gemma 4 תומך ברזולוציית תמונה משתנה באמצעות תקציב ניתן להגדרה של טוקנים חזותיים, שקובע כמה טוקנים משמשים לייצוג תמונה. תקציב טוקנים גבוה יותר מאפשר לשמור על יותר פרטים חזותיים, אבל הוא דורש יותר משאבי מחשוב. תקציב נמוך יותר מאפשר הסקה מהירה יותר למשימות שלא דורשות הבנה מדויקת.

• התקציבים הנתמכים של הטוקנים הם: 70, ‏ 140, ‏ 280, ‏ 560 ו-1, 120.
  • משתמשים בתקציבים נמוכים יותר לסיווג, לכתוביות או להבנת סרטונים, שבהם הסקת מסקנות מהירה ועיבוד של הרבה פריימים חשובים יותר מפרטים מדויקים.
  • כדאי להשתמש בתקציבים גבוהים יותר למשימות כמו OCR, ניתוח מסמכים או קריאת טקסט קטן.

6. אודיו

כדי לעבד אודיו, משתמשים במבני ההנחיות הבאים:

• זיהוי דיבור באודיו (ASR)

Transcribe the following speech segment in {LANGUAGE} into {LANGUAGE} text.

Follow these specific instructions for formatting the answer:
*   Only output the transcription, with no newlines.
*   When transcribing numbers, write the digits, i.e. write 1.7 and not one point seven, and write 3 instead of three.

• תרגום אוטומטי של דיבור (AST)

Transcribe the following speech segment in {SOURCE_LANGUAGE}, then translate it into {TARGET_LANGUAGE}.
When formatting the answer, first output the transcription in {SOURCE_LANGUAGE}, then one newline, then output the string '{TARGET_LANGUAGE}: ', then the translation in {TARGET_LANGUAGE}.

7. אורך האודיו והווידאו

כל המודלים תומכים בקלט של תמונות ויכולים לעבד סרטונים כפריימים, בעוד שהמודלים E2B, ‏ E4B ו-12B תומכים גם בקלט של אודיו. האורך המקסימלי של קובץ האודיו הוא 30 שניות. הסרטון יכול להיות באורך של עד 60 שניות, בהנחה שהתמונות עוברות עיבוד בקצב של פרים אחד לשנייה.

נתוני המודל

הנתונים ששימשו לאימון המודל ואיך הם עברו עיבוד.

מערך נתונים לאימון

מערך הנתונים שלנו לאימון מוקדם הוא אוסף נתונים מגוון ורחב היקף, שכולל מגוון רחב של תחומים ואופנים, כולל מסמכי אינטרנט, קוד, תמונות ואודיו, עם תאריך סיום של ינואר 2025. הרכיבים העיקריים הם:

• מסמכים באינטרנט: אוסף מגוון של טקסטים באינטרנט מבטיח שהמודל ייחשף למגוון רחב של סגנונות לשוניים, נושאים ואוצר מילים. קבוצת הנתונים לאימון כוללת תוכן ביותר מ-140 שפות.
• קוד: חשיפת המודל לקוד עוזרת לו ללמוד את התחביר והדפוסים של שפות תכנות, וכך לשפר את היכולת שלו ליצור קוד ולהבין שאלות שקשורות לקוד.
• מתמטיקה: אימון על טקסט מתמטי עוזר למודל ללמוד חשיבה לוגית, ייצוג סימבולי ולענות על שאלות שקשורות למתמטיקה.
• תמונות: מגוון רחב של תמונות מאפשר למודל לבצע משימות של ניתוח תמונות וחילוץ נתונים חזותיים.

השילוב של מקורות הנתונים המגוונים האלה חיוני לאימון של מודל רב-אופני חזק שיכול להתמודד עם מגוון רחב של משימות שונות ופורמטים שונים של נתונים.

עיבוד מקדים של נתונים

אלה השיטות העיקריות לניקוי ולסינון נתונים שמוחלות על נתוני האימון:

• סינון CSAM: סינון קפדני של CSAM (תוכן ויזואלי של התעללות מינית בילדים) בוצע בכמה שלבים בתהליך הכנת הנתונים כדי להבטיח שלא ייכלל תוכן מזיק ולא חוקי.
• סינון מידע אישי רגיש: כדי להפוך את המודלים של Gemma שעברו אימון מראש לבטוחים ומהימנים, השתמשנו בטכניקות אוטומטיות לסינון של מידע אישי מסוים ומידע אישי רגיש אחר ממערכי האימון.
• שיטות נוספות: סינון על סמך איכות התוכן והבטיחות שלו בהתאם למדיניות שלנו.

אתיקה ובטיחות

מודלים פתוחים הופכים לחלק מרכזי בתשתית של ארגונים, ולכן חשוב מאוד לשמור על מקוריות ועל אבטחה. ‫Gemma 4 פותח על ידי Google DeepMind ועובר את אותן בדיקות בטיחות קפדניות כמו המודלים הקנייניים של Gemini.

גישת ההערכה

מודלים של Gemma 4 פותחו בשיתוף עם צוותים פנימיים של בטיחות ואתיקה של בינה מלאכותית. כדי לשפר את הבטיחות של המודל, ערכנו מגוון של הערכות אוטומטיות והערכות על ידי בודקים אנושיים. ההערכות האלה תואמות לעקרונות ה-AI של Google ולמדיניות הבטיחות, שמטרתן למנוע ממודלים של AI גנרטיבי ליצור תוכן פוגעני, כולל:

• תוכן שקשור לתוכן ויזואלי של התעללות מינית בילדים (CSAM) ולניצול מיני של ילדים
• תוכן מסוכן (למשל, קידום התאבדות או מתן הוראות לפעילויות שעלולות לגרום לנזק בעולם האמיתי)
• תוכן מיני בוטה
• דברי שטנה (למשל, דה-הומניזציה של חברים בקבוצות מוגנות)
• הטרדה (למשל, עידוד אלימות נגד אנשים)

תוצאות ההערכה

בכל התחומים של בדיקות הבטיחות, ראינו שיפורים משמעותיים בכל הקטגוריות של בטיחות התוכן בהשוואה למודלים קודמים של Gemma. באופן כללי, מודלים של Gemma 4 עדיפים משמעותית על מודלים של Gemma 3 ו-3n בשיפור הבטיחות, תוך שמירה על רמה נמוכה של סירובים לא מוצדקים. כל הבדיקות בוצעו ללא מסנני בטיחות כדי להעריך את היכולות וההתנהגויות של המודל. גם ביצירת טקסט על סמך טקסט וגם בהמרת תמונה לטקסט, בכל גדלי המודלים, המודל הפיק הפרות מדיניות מינימליות, והראה שיפורים משמעותיים בביצועים בהשוואה למודלים קודמים של Gemma.

שימוש ומגבלות

למודלים האלה יש מגבלות מסוימות שהמשתמשים צריכים להיות מודעים להן.

שימוש מיועד

למודלים מולטי-מודאליים (שיכולים לעבד נתונים של ראייה, שפה ו/או אודיו) יש מגוון רחב של שימושים בתעשיות ובתחומים שונים. הרשימה הבאה של שימושים פוטנציאליים היא חלקית. מטרת הרשימה הזו היא לספק מידע הקשרי על תרחישים לדוגמה אפשריים שיוצרי המודל לקחו בחשבון כחלק מאימון המודל והפיתוח שלו.

• יצירת תוכן ותקשורת
  • יצירת טקסט: אפשר להשתמש במודלים האלה כדי ליצור פורמטים יצירתיים של טקסט, כמו שירים, תסריטים, קוד, טקסט שיווקי וטיוטות של אימיילים.
  • צ'אט בוטים ו-AI בממשק שיחה: הפעלת ממשקי שיחה לשירות לקוחות, עוזרים וירטואליים או אפליקציות אינטראקטיביות.
  • סיכום טקסטים: יצירת סיכומים תמציתיים של קורפוס טקסטים, מאמרי מחקר או דוחות.
  • שליפת נתוני תמונה: אפשר להשתמש במודלים האלה כדי לשלוף, לפרש ולסכם נתונים חזותיים לתקשורת טקסטואלית.
  • עיבוד אודיו ואינטראקציה: מודלים E2B,‏ E4B ו-12B יכולים לנתח ולפרש קלט אודיו, וכך לאפשר אינטראקציות ותמלולים שמבוססים על קול.
• מחקר וחינוך
  • עיבוד שפה טבעית (NLP) ומחקר VLM: המודלים האלה יכולים לשמש בסיס לחוקרים להתנסות בטכניקות של VLM ו-NLP, לפתח אלגוריתמים ולתרום להתקדמות בתחום.
  • כלים ללימוד שפות: תמיכה בחוויות למידה אינטראקטיביות של שפות, עזרה בתיקון שגיאות איות ודקדוק או מתן תרגול בכתיבה.
  • חיפוש מידע: עזרה לחוקרים בחיפוש מידע במאגרי טקסט גדולים על ידי יצירת סיכומים או מענה על שאלות בנושאים ספציפיים.

מגבלות

• נתונים לאימון
  • האיכות והמגוון של נתוני האימון משפיעים באופן משמעותי על היכולות של המודל. הטיות או פערים בנתוני האימון עלולים להוביל למגבלות בתשובות של המודל.
  • ההיקף של מערך הנתונים לאימון קובע את תחומי הנושאים שהמודל יכול לטפל בהם ביעילות.
• הקשר ומורכבות המשימה
  • המודלים מניבים ביצועים טובים במשימות שאפשר להגדיר באמצעות הנחיות והוראות ברורות. יכול להיות שיהיה קשה לו להתמודד עם משימות פתוחות או מורכבות מאוד.
  • הביצועים של מודל יכולים להיות מושפעים מכמות ההקשר שסופקה (הקשר ארוך יותר בדרך כלל מוביל לתוצאות טובות יותר, עד לנקודה מסוימת).
• שפה דו-משמעית וניואנסים
  • שפה טבעית היא מורכבת מטבעה. יכול להיות שהמודלים יתקשו להבין ניואנסים עדינים, סרקזם או שפה ציורית.
• דיוק עובדתי
  • המודלים יוצרים תשובות על סמך מידע שהם למדו ממערכי הנתונים לאימון, אבל הם לא בסיסי ידע. יכול להיות שהם ייצרו הצהרות עובדתיות שגויות או לא עדכניות.
• Common Sense
  • המודלים מסתמכים על דפוסים סטטיסטיים בשפה. יכול להיות שחסרה להם היכולת להפעיל היגיון בריא במצבים מסוימים.

שיקולים אתיים וסיכונים

פיתוח מודלים של ראייה ושפה (VLMs) מעלה כמה חששות אתיים. בתהליך היצירה של מודל פתוח, הקפדנו להתייחס לנקודות הבאות:

• הטיה והוגנות
  • מודלים גדולים של ראייה מאומנים על נתונים של טקסט ותמונות מהעולם האמיתי, ולכן הם יכולים לשקף הטיה חברתית-תרבותית שמוטמעת בחומרים לאימון. מודלים של Gemma 4 עברו בדיקה מדוקדקת, עיבוד מוקדם של נתוני הקלט והערכות אחרי האימון, כפי שמפורט בכרטיס הזה, כדי לצמצם את הסיכון להטיות האלה.
• מידע מוטעה ושימוש לרעה
  • אפשר להשתמש במודלים גדולים של שפה (VLMs) בצורה לא נכונה כדי ליצור טקסט שהוא שקרי, מטעה או מזיק.
  • יש הנחיות לשימוש אחראי במודל, אפשר לעיין בערכת הכלים לשימוש אחראי ב-AI גנרטיבי.
• שקיפות ואחריותיות
  • בכרטיס המודל הזה מופיע סיכום של פרטים על הארכיטקטורה, היכולות, המגבלות ותהליכי ההערכה של המודלים.
  • מודל פתוח שפותח בצורה אחראית מאפשר לשתף חדשנות על ידי הנגשת טכנולוגיית VLM למפתחים ולחוקרים בסביבת ה-AI.

סיכונים שזוהו ודרכים לצמצום שלהם:

• יצירת תוכן פוגעני: חיוני להשתמש במנגנונים ובהנחיות לבטיחות התוכן. מומלץ למפתחים לנקוט משנה זהירות ולהטמיע אמצעי הגנה מתאימים לבטיחות תוכן בהתאם למדיניות המוצר הספציפית ולתרחישי השימוש באפליקציה.
• שימוש לרעה למטרות זדוניות: מגבלות טכניות והדרכה למפתחים ולמשתמשי קצה יכולים לעזור לצמצם את הסיכון לשימוש זדוני במודלים גדולים של שפה. אנחנו מספקים למשתמשים מקורות מידע ודיווח כדי להתריע על שימוש לרעה.
• הפרות פרטיות: המודלים אומנו על נתונים שעברו סינון כדי להסיר מידע אישי מסוים ומידע אישי רגיש אחר. מומלץ למפתחים לפעול בהתאם לתקנות בנושא פרטיות באמצעות טכניקות לשמירה על הפרטיות.
• הנצחת הטיה: מומלץ לבצע מעקב רציף (באמצעות מדדי הערכה, בדיקה אנושית) ולחקור טכניקות להסרת הטיה במהלך אימון המודל, כוונון עדין ותרחישי שימוש אחרים.

יתרונות

בזמן ההשקה, משפחת המודלים הזו מספקת יישומי מודלים של שפה ויזואלית עם ביצועים גבוהים, שתוכננו מההתחלה עבור אתיקה של בינה מלאכותית, בהשוואה למודלים בגודל דומה.