כרטיס המודל של EmbeddingGemma 2

Hugging Face | GitHub | בלוג ההשקה | מסמכי תיעוד | דוח טכני
רישיון: Apache 2.0 | יוצרים: Google DeepMind

EmbeddingGemma 2 הוא מודל הטמעה רב-מודאלי פתוח שנבנה על ידי Google DeepMind, אשר ממפה טקסט (כולל קוד), תמונות, וידאו וקלט אודיו - ושילובים שלהם - למרחב וקטורי יחיד ומאוחד בן 768 מימדים. למודל יש 740 מיליון פרמטרים בסך הכול, והוא משלב מודל טקסט של 270 מיליון פרמטרים עם מקודדים מודולריים של ראייה (170 מיליון) ואודיו (300 מיליון).

המודל EmbeddingGemma 2 מיועד לפעול בחומרה של מכשירים לצרכנים, כמו מכשירים ניידים ומחשבים ניידים, ומספק ייצוגים סמנטיים עם זמן אחזור קצר לאפליקציות במכשיר, כמו חיפוש, Retrieval-Augmented Generation (יצירה משולבת-אחזור, RAG), סיווג וקיבוץ.

‫EmbeddingGemma 2 מבוסס על ההתקדמות בארכיטקטורה וביכולות של Gemma 4, ומציע כמה תכונות עיקריות:

  • מולטי-מודאליות מובנית: מאחדת 4 מודלים (טקסט, תמונות, וידאו ואודיו) במרחב הטמעה משותף אחד עם 768 ממדים.
  • תמיכה בשפות רבות ובקוד: מודל EmbeddingGemma 2 מבין יותר מ-100 שפות, ומציג שיפור של כ-14% במשימות קוד ביחס לגרסה הקודמת.
  • גמישות: המודל משלב עמוד שדרה של טקסט עם 270 מיליון פרמטרים (130 מיליון טרנספורמרים + 140 מיליון מטמיעים) עם מקודדי ראייה (170 מיליון) ואודיו (300 מיליון) שניתן לטעון באופן סלקטיבי, וכך מאפשר למפתחים לטעון רק את המודלים שנדרשים לתרחיש לדוגמה שלהם.
  • ‫Matryoshka Representation Learning (MRL): תמיכה מובנית בהטמעות קטועות ב-128d, ‏ 256d, ‏ 512d ו-768d, שמאפשרת להפחית עד פי 6 את עלויות האחסון של וקטורים, עם השפעה מינימלית על האיכות.
  • אורך ההקשר: חלון הקשר של 8,000 טוקנים, שיכול לעבד כמה דקות של אודיו או וידאו.
  • ייצוגים מונחי משימות: שימוש בתחיליות קלות של הוראות טקסט כדי לבצע אופטימיזציה של הטמעות למשימות שונות (חיפוש, סיווג, אשכולות, דמיון סמנטי וכו').

סקירה כללית של המודל

פרמטרים סה"כ 740M
Backbone 130M
Embedder 140 מיליון
מקודדי אופנים ראייה: 170 מיליון אודיו: 300 מיליון
ארכיטקטורה שכבות 24
מאפיין המודל 512
מאפיין מוסתר 2048
חלון הזזה ‫1,024 טוקנים
גודל אוצר המילים 262,144
# Heads 4
# KV-Heads (מקומי/גלובלי) 2/1
מקומי:גלובלי ‫5:1
לתשומת ליבכם GQA/MQA
הפעלה Gated FFN עם GELU
איגוד Mean Pooling
שכבת הקרנה 512→768
קלט/פלט אופני שימוש נתמכים טקסט, תמונות, וידאו, אודיו
חלון הקשר ‫8,192 טוקנים
מאפיין פלט מקורי 768
מידות החיתוך של MRL 128, 256, 512

תוצאות הערכת הביצועים

‫EmbeddingGemma 2 נבדק באמצעות מבחני ביצועים להטמעת טקסט, קוד, חזון, מסמכים חזותיים, וידאו ואודיו. כל התוצאות שמדווחות בהמשך משתמשות בנקודת הבדיקה של הדיוק המלא.

תוצאות הבדיקה הכוללת (768d)

מודליות נקודת השוואה מדד EmbeddingGemma 2 EmbeddingGemma 1
טקסט ‫Massive Text Embedding Benchmark (MTEB, multilingual, v2) ממוצע(משימה), מרובה 61.36 61.15
‫Massive Text Embedding Benchmark (MTEB, קוד, גרסה 1) ממוצע(משימה), NDCG@10 78.68 68.76
תמונה Massive Image Embedding Benchmark (MIEB, lite) ממוצע(TaskType), כמה 65.67 -
Massive Multimodal Embedding Benchmark (MMEB v2 - Image) ממוצע(משימה), Hit@1 57.28 -
‫Massive Multimodal Embedding Benchmark‏ (MMEB v2 – VisDoc) ממוצע(משימה), NDCG@5 67.84 -
סרטון Massive Multimodal Embedding Benchmark (MMEB v2 - Video) ממוצע(משימה), Hit@1 50.67 -
אודיו Massive Sound Embedding Benchmark (MSEB, Retrieval) ממוצע(משימה), MRR@10 69.54 -
‫Massive Audio Embedding Benchmark‏ (MAEB) ב-Hugging Face  ממוצע(משימה), מרובה 49.87 -

תוצאות הבדיקה עם חיתוך וקטורים

באמצעות MRL, אפשר לקצר את הייצוגים של EmbeddingGemma 2 מתחת ל-768d המקורי לייצוגים של 128d, ‏ 256d ו-512d, ולנרמל אותם מחדש. כך משתמשי המודל יכולים לצמצם את דרישות האחסון, עם השפעה מינימלית על האיכות עד ל-256d. ‫128d מתאים במיוחד לעומסי עבודה של טקסט בלבד.

מאפיין הפלט יחס הדחיסה ‫MTEB (multilingual, v2) Mean(Task) ‫MTEB ‏(eng, v2) Mean(Task) ‫MTEB (קוד, גרסה 1) ממוצע(משימה) MIEB (lite) Mean(TaskType) MMEB (v2) Overall ‫MSEB (אחזור) ממוצע(משימה) MAEB Mean(Task)
768d (Full) 1:1 61.36 68.46 78.68 65.67 59.01 69.54 49.87
512d 1:1.5 61.17 68.41 77.24 65.34 58.38 69.18 49.76
256 ימים 1:3 60.41 67.78 76.18 64.16 56.24 66.76 49.13
128 ימים 1:6 57.89 65.68 71.41 59.97 45.65 56.71 47.28

Quick Start

מתקינים את הספרייה sentence-transformers:

pip install -U sentence-transformers transformers

יוצרים הטמעות טקסט: ```python from sentence_transformers import SentenceTransformer

model = SentenceTransformer("google/embeddinggemma-2")

שאילתה = "מה גורם לזוהר הצפוני?" מסמך = "הזוהר הצפוני נגרם על ידי חלקיקים טעונים מהשמש".

query_emb = model.encode(query, prompt_name="SearchQuery") doc_emb = model.encode(document, prompt_name="Document") print(model.similarity(query_emb, doc_emb)) ```

שיטות מומלצות

כדי לקבל הטמעה באיכות אופטימלית ויעילות בזמן הריצה, כדאי לפעול לפי ההגדרות והשיטות המומלצות הבאות:

1. קידומות להוראות למשימות

‫EmbeddingGemma 2 מאומן עם קידומות קצרות של הוראות למשימות, שמתווספות לקלט הטקסט. שימוש בקידומת הנכונה משפר את האיכות. אם לא משתמשים בה, עדיין אפשר לקבל תוצאות, אבל הן פחות מדויקות. אפשר להוסיף קידומות רק לטקסט. מעבירים תמונות, סרטונים ואודיו בלי קידומת.

מסמכים עם כותרת אמיתית צריכים להיות בפורמט title: {title} | text: {content}. אם אין כותרת, משתמשים ב-title: none.

סימון קידומת ושימוש

אנחנו מציעים שני סוגים של קידומות למשימות, בהתאם לאופן שבו משתמשים בהטמעות במשימה. יש שני סוגים של משימות:

  • משימות אסימטריות (למשל, אחזור): משתמשים בקידומת שאילתה לשאילתות ובקידומת מסמך לפריטים בקורפוס.
  • משימות סימטריות (למשל, סיווג, דמיון): צריך להחיל את אותה קידומת משימה על כל הקלטים שמשווים ביניהם.
תרחיש לדוגמה סוג המשימה שם ההנחיה הוראות למשימה של שאילתה הוראה למשימה במסמך (אם אין כותרת, משתמשים ב-none)
חיפוש באינטרנט או במסמכים אסימטרי SearchQuery task: search result | query: {query} title: {title} | text: {content}
מענה לשאלות אסימטרי QuestionAnswering task: question answering | query: {question} title: {title} | text: {passage}
בדיקת עובדות אסימטרי FactChecking task: fact checking | query: {claim} title: {title} | text: {evidence}
Code Search אסימטרי CodeRetrieval task: code retrieval | query: {query} title: {title or filename} | text: {code}
סיווג הטקסט סימטרי סיווג task: classification | query: {content} לא רלוונטי
סידור באשכול סימטרי סידור באשכול task: clustering | query: {content} לא רלוונטי
מדידת הדמיון בין החברות סימטרי SentenceSimilarity task: sentence similarity | query: {content} לא רלוונטי

חשוב לדעת: prompt_name="Document" חל על title: none; עדיין צריך לעצב באופן ידני מסמכים עם כותרות, כמו model.encode(f"title: {title} | text: {document}")

2. טעינת מקודד סלקטיבית

מקודדי הראייה והאודיו הם רכיבים נפרדים. כדי להפחית את צריכת הזיכרון כשפורסים צינורות עיבוד נתונים של טקסט בלבד או של מודל יחיד, משביתים מקודדי מודלים שלא בשימוש דרך config_kwargs של SentenceTransformer:

חשוב לדעת: הדרך להגדיר את EmbeddingGemma 2 כך שייטען בלי מקודדים מסוימים משתנה בין ספריות המודלים. מידע נוסף זמין במסמכי התיעוד הרלוונטיים.

מודלים פעילים config_kwargs גודל אפקטיבי
טקסט בלבד {"vision_config": None, "audio_config": None} 270M
טקסט ותמונה {"audio_config": None} 440M
טקסט ואודיו {"vision_config": None} 570M
מולטי-מודאלי מלא {} 740M

3. חיתוך מאפיינים של מטריושקה

מודל EmbeddingGemma 2 מאומן באמצעות Matryoshka Representation Learning, כך שאפשר לקצר את וקטור הפלט של 768 הממדים על ידי שמירה של הממדים המובילים בלבד. המידות הנתמכות הן 768, 512, 256 ו-128. וקטורים קצרים יותר מפחיתים את נפח האחסון ומאיצים את החיפוש לפי דמיון, אבל פוגעים קצת באיכות.

בזמן הריצה, חשוב לפעול לפי ההנחיות הבאות:

  • נרמול מחדש אחרי חיתוך: חיתוך של וקטור באורך יחידה לא שומר על אורך היחידה. צריך לבצע נרמול L2 של הווקטור המקוצר לפני שמשתמשים בו לדמיון קוסינוס. אם מדלגים על השלב הזה, איכות הדירוג נפגעת בלי ששמים לב – מתקבלים ציונים שנראים הגיוניים, ולא שגיאה.
  • השאילתות והמסמכים צריכים להיות באותו ממד. אי אפשר לדרג שאילתה עם 768 ממדים מול קורפוס עם 128 ממדים.
  • כדי להימנע מחיתוך ומנרמול, צריך להעביר את השדות truncate_dim ו-normalize_embeddings כשמפעילים את model.encode():
query_emb = model.encode(
   query,
   truncate_dim=128, # or 512, 256
   normalize_embeddings=True,
)

איכות המודל בכל מאפיין מדווחת בטבלת החיתוך בקטע תוצאות ההשוואה לשוק שלמעלה. האיכות קרובה ל"ללא אובדן מידע" עד 256 מאפיינים. ‫128 מאפיינים פוגעים משמעותית באיכות המולטי-מודאלית, וצריך לאמת אותם מול עומס העבודה שלכם לפני שמאמצים אותם.

4. דיוק מספרי

מריצים את ההסקה ב-bfloat16 או ב-float32. אל תשתמשו ב-float16.

טווח ההפעלה של EmbeddingGemma 2 חורג מהטווח הדינמי של float16. ב-float16, המודל מחזיר NaN או הטמעות שהאיכות שלהן ירדה בלי להציג שגיאה, ולכן קל לפספס את הכשל.

‫bfloat16 בטוח, ויש לו אותו מעריך של 8 ביטים כמו ל-float32. זו ברירת המחדל המומלצת בחומרה עם תמיכה מובנית, והיא מפחיתה בחצי את השימוש בזיכרון ביחס ל-float32. להשתמש ב-float32 במקומות אחרים, כולל ברוב המעבדים.

ב-SentenceTransformers, אפשר להגדיר את זה באמצעות model_kwargs, ולקבוע את זה באופן פרוגרמטי באמצעות is_bf16_supported:

dtype = torch.bfloat16 if torch.cuda.is_bf16_supported() else torch.float32

model = SentenceTransformer("google/embeddinggemma-2", model_kwargs={"torch_dtype": dtype})

5. קלט מולטי-מודאלי

שזירה (interleaving)

קלט אחד יכול לשלב טקסט עם תמונות, וידאו ואודיו, באמצעות הקשר משותף אחד של 8,192 טוקנים.

המיקום של כל קובץ מדיה ברצף מסומן בטקסט באמצעות אסימוני פלייסהולדר מאוצר המילים של המודל:

  • ‫<|image|> מסמן את המיקום של קלט התמונה
  • ‫<|video|> מסמן את המיקום של קלט הווידאו
  • <|audio|> מסמן את המיקום של קלט האודיו

לדוגמה, כרטיס מוצר שנוסף לאינדקס לצורך חיפוש עשוי להיות מקודד כך:

emb_interleaved = model.encode({
    "text": "Waterproof running shoes. <|image|> Featuring a breathable mesh upper. <|image|> Grip test on wet rock: <|video|>",
    "image": ["shoe.jpg", "mesh.jpg"],
    "video": "demo.mp4",
})

כל פלייסהולדר בטקסט מתמלא מהמפתח התואם, לפי הסדר. הקריאה מחזירה הטמעה אחת שמייצגת את הטקסט, התמונות והסרטון ביחד. אפשר להשוות את ההטמעה הזו ישירות לכל הטמעה אחרת של EmbeddingGemma 2, למשל שאילתה של טקסט בלבד כמו "נעליים חסינות בפני מים לריצת שטח".

מגבלות הקשר

כל המודלים חולקים חלון הקשר אחד של 8,192 טוקנים. כל מודל צורך את התקציב הזה בקצב קבוע:

מודליות עלות הטוקנים קלט מקסימלי
טקסט טוקן אחד לכל תת-מילה ‫8,192 טוקנים
תמונה ‫280 טוקנים לכל תמונה (ברירת מחדל) כ-29 תמונות
סרטון ‫140 טוקנים לכל פריים (ברירת מחדל) ~58 פריימים
אודיו ‫25 טוקנים בשנייה ‫~327 שניות

שימו לב: הקלט המקסימלי של תמונות וסרטונים יכול להגיע ל-114 תמונות או פריימים כשמשתמשים בתקציב נמוך יותר של אסימוני ראייה (כפי שמתואר בהמשך).

הערכים המקסימליים שלמעלה מבוססים על הנחה שמשתמשים במודל אחד בלי טקסט נלווה. קלט משולב מנצל את אותו תקציב, כך ששילוב של אופנים שונים מפחית את הכמות של כל אחד מהם. שימו לב: הקלט המקסימלי של תמונות וסרטונים יכול להגיע ל-114 תמונות או פריימים כשמשתמשים בתקציב נמוך יותר של אסימוני ראייה (כפי שמתואר בהמשך).

הקצאת טוקנים לניתוח תמונה

המשתמשים במודל יכולים לוותר על אורך הרצף שמוגדר כברירת מחדל לתמונות קלט או פריימים של סרטונים, כדי לייצג תמונות עם כמויות של "אסימונים רכים" שנעות בין 70 ל-1,120. הגדלת התקציב לניתוח חזותי של תמונות קלט משפרת את האיכות, אבל מגדילה את זמן האחזור ואת מספר הטוקנים.

באופן כללי, רצפי קלט ארוכים יותר מתעדים יותר מידע. הגדלת האורך של רצף הקלט מאפשרת ייצוגים יותר מפורטים של הקלט. לכן, הגדלת האורך של רצף הקלט תשפר את ההבנה החזותית המפורטת, ותשפר את האיכות והביצועים של ההטמעה בתרחישי שימוש במורד הזרם.

ברירות המחדל של דגימת הקלט

אלה תדירויות הדגימה שמוגדרות כברירת מחדל לקלט של אודיו ווידאו:

  • כברירת מחדל, הסרטון מעובד כפריימים שנדגמו באמצעות מקודד הראייה בקצב של פריים אחד לשנייה. אפשר להגדיר את קצב הדגימה של ה-FPS.
  • האודיו צריך להיות מסופק כמונו בתדר 16kHz.

נתוני המודל

מערך הנתונים לאימון מקדים הוא אוסף גדול ומגוון של נתונים שכולל מגוון רחב של תחומים וסוגי מידע, כולל מסמכים מהאינטרנט, קוד, תמונות, סרטונים וקטעי אודיו, עם תאריך סף של ינואר 2025. למשל:

  • מסמכים באינטרנט: אוסף מגוון של טקסטים מהאינטרנט, כדי שהמודל ייחשף למגוון רחב של סגנונות לשוניים, נושאים ואוצר מילים. מערך נתוני האימון כולל תוכן ביותר מ-140 שפות.
  • קוד: חשיפת המודל לקוד עוזרת לו ללמוד את התחביר והדפוסים של שפות תכנות, וכך משפרת את היכולת שלו להבין את הסמנטיקה שקשורה לקוד. 
  • תמונות: מגוון רחב של תמונות מאפשר למודל לבצע משימות של ניתוח תמונות וחילוץ נתונים חזותיים.
  • סרטונים: רצפים וקליפים של סרטונים שכוללים סצנות חזותיות, פעולות של בני אדם ודינמיקה זמנית.
  • אודיו: הקלטות דיבור בכמה שפות, צלילים סביבתיים ואירועים אקוסטיים.
  • דוגמאות למודליות משולבת: נתונים משולבים של טקסט, תמונה, וידאו ואודיו כדי להתאים את הייצוגים בין המודליות השונות.

עיבוד נתונים

הפעלנו כמה שיטות לניקוי ולסינון של נתוני האימון:

  • סינון CSAM: סינון קפדני של CSAM (תוכן ויזואלי של התעללות מינית בילדים) הופעל בשלבים שונים בתהליך הכנת הנתונים כדי להבטיח שתוכן פוגעני ותוכן לא חוקי לא ייכלל.
  • סינון מידע אישי רגיש: כדי להבטיח שהמודלים המאומנים מראש של Gemma יהיו בטוחים ואמינים, השתמשנו בשיטות אוטומטיות לסינון פרטים אישיים מסוימים ומידע רגיש אחר מקבוצות הנתונים לאימון.
  • שיטות נוספות: סינון לפי איכות התוכן והבטיחות בהתאם למדיניות שלנו.

אתיקה ובטיחות

‫EmbeddingGemma 2 הוא מודל הטמעה שעבר אימון מראש. בניגוד למודלים גנרטיביים, הוא לא עובר התאמה אחרי האימון, כוונון בטיחות או ניהול תוכן ברמת הפלט. אמצעי הבטיחות במהלך הפיתוח התמקדו בסינון נתונים לפני האימון כדי לצמצם את החשיפה לתוכן פוגעני ולהטיות חמורות במרחב ההטמעה הנלמד, בהתאם לעקרונות ה-AI של Google.

מכיוון שמודלים של הטמעה מייצרים ייצוגים ולא טקסט שגלוי למשתמשים, סיכוני הבטיחות מתבטאים בהמשך באופן שבו משתמשים בייצוגים האלה.

המפתחים והמטמיעים אחראים להעריך ולהטמיע אמצעי הגנה ברמת האפליקציה, כמו סינון שליפה ובדיקת הוגנות, שמתאימים לתרחיש השימוש הספציפי שלהם בסביבת הייצור.

הפריסות חייבות לעמוד בדרישות של המדיניות בנושא שימוש אסור ב-Gemma.

שימוש ומגבלות

ל-EmbeddingGemma 2 יש מגבלות מסוימות שחשוב שהמשתמשים יכירו.

השימוש המיועד

‫EmbeddingGemma 2 יוצר הטמעות מתוכן קלט, שאפשר להשתמש בהן במספר אפליקציות במורד הזרם.

הרשימה הבאה של שימושים אפשריים היא חלקית. מטרת הרשימה הזו היא לספק מידע על ההקשר של תרחישי השימוש האפשריים שיוצרי המודל הביאו בחשבון כחלק מהאימון והפיתוח של המודל.

  • אחזור: הטמעות לחיפוש סמנטי בטקסט, בקוד, בתמונות, בסרטונים ובאודיו, כמו חיפוש מסמכים, RAG במאגרי ידע ארגוניים, Code Search משאילתות בשפה טבעית או חיפוש שאילתות מדוברות בארכיוני אודיו.
  • סיווג: הטמעות לסיווג קלט לפי תוויות מוגדרות מראש, כמו ניתוח סנטימנטים, ניהול תוכן, זיהוי אירועי אודיו או סיווג תמונות.
  • אשכולות: הטמעות לקיבוץ קלטים על סמך דמיון סמנטי, כמו ארגון אוספי מסמכים, קיבוץ משוב מלקוחות לפי נושא או גילוי תוכן כפול כמעט במודלים שונים.
  • דמיון סמנטי: הטמעות למדידת דמיון בין זוגות של קלטים, כמו מערכות המלצות, זיהוי כפילויות, זיהוי פרפרזה או התאמת תוכן בין שפות.
  • אימות עובדות: הטמעות לאחזור מסמכי הוכחה בהתאם לטענה, כמו מערכות אוטומטיות לבדיקת עובדות או צינורות עיבוד נתונים לשיוך מקורות.

מגבלות

  • נתוני אימון: האיכות והמגוון של נתוני האימון משפיעים באופן משמעותי על היכולות של המודל. הטיות או פערים בנתוני האימון יכולים להוביל למגבלות בתשובות של המודל.
    • ההיקף של מערך הנתונים לאימון קובע את תחומי המחקר שהמודל יכול לטפל בהם ביעילות.
    • לדוגמה, למרות ש-EmbeddingGemma 2 תומך ביותר מ-100 שפות, יכול להיות שהביצועים של המודל לא יהיו זהים בכל השפות.
  • ההקשר ומורכבות המשימה: המודלים פועלים היטב במשימות שאפשר להגדיר באמצעות הנחיות ברורות.
    • יכול להיות שיהיה קשה יותר לבצע משימות פתוחות או מורכבות מאוד.
    • כמות ההקשר שניתנת למודל יכולה להשפיע על הביצועים שלו (הקשר ארוך יותר בדרך כלל מוביל לפלט טוב יותר, עד לנקודה מסוימת).
  • שפה מעורפלת וניואנסים: שפה טבעית היא מורכבת מטבעה. לפעמים המודלים מתקשים להבין ניואנסים דקים, סרקזם או שפה פיגורטיבית.
  • שימוש בהוראות למשימות: במשימות טקסט, אם לא מוסיפים את הקידומת המומלצת למשימה, איכות ההטמעה עלולה להיות פחות טובה.

שיקולים אתיים וסיכונים

כשפיתחנו את מודל ההטמעה הפתוח, הקדשנו מחשבה רבה לנושאים הבאים:

  • הטיה והוגנות
    • מודלים שאומנו על נתונים של טקסטים ותמונות מהעולם האמיתי בקנה מידה גדול, יכולים לשקף הטיות חברתיות-תרבותיות שמוטמעות בחומר ההדרכה.
    • נתוני האימון ששימשו ל-EmbeddingGemma 2 עברו סינון בטיחות כדי לצמצם את הסיכון להטיות האלה.
  • מידע מוטעה ושימוש לרעה
    • אפשר לנצל לרעה ייצוגים של הטמעות כדי לאחזר, לסווג או לארגן בדרכים אחרות תוכן מוטמע באופן שקרי, מטעה או מזיק.
    • הנחיות לשימוש אחראי במודל מפורטות בערכת הכלים לשימוש אחראי ב-AI גנרטיבי.
  • שקיפות ואחריות
    • בכרטיס המודל הזה מופיעים פרטים על הארכיטקטורה, היכולות, המגבלות ותהליכי ההערכה של המודל.
    • מודל פתוח שפותח באופן אחראי מאפשר לשתף חדשנות על ידי הנגשת טכנולוגיית מודל הראייה והשפה (VLM) למפתחים ולחוקרים בכל הסביבה העסקית של ה-AI.

סיכונים שזוהו ודרכים לצמצם אותם

  • שימוש לרעה למטרות זדוניות: מגבלות טכניות והדרכה למפתחים ולמשתמשי קצה יכולות לעזור לצמצם את השימוש הזדוני במודלים של הטמעה. יש מקורות מידע חינוכיים ומנגנוני דיווח שמאפשרים למשתמשים לדווח על שימוש לרעה.
  • הפרות פרטיות: המודלים אומנו על נתונים שעברו סינון כדי להסיר פרטים אישיים מסוימים ונתונים רגישים אחרים. אנחנו מעודדים את המפתחים לציית לתקנות בנושא פרטיות באמצעות שיטות לשמירה על הפרטיות.
  • הנצחת הטיות: מומלץ לבצע מעקב רציף (באמצעות מדדי הערכה, בדיקה אנושית) ולבחון טכניקות להפחתת הטיות במהלך אימון המודל, הכוונון שלו ומקרי שימוש אחרים.

יתרונות

‫EmbeddingGemma 2 הוא אחד ממודלי ההטמעה המולטי-מודאליים החזקים ביותר עם פחות ממיליארד פרמטרים. אנחנו סקרנים לראות איך המפתחים ישתמשו במודל הזה ויתאימו אותו לאפליקציות AI במכשיר או במכשירי קצה. 

כמו מודלים אחרים ממשפחת Gemma, המודל הזה תוכנן מהיסוד לפיתוח אחראי של AI.

ציטוט ביבליוגרפי

אם העבודה שלנו עזרה לכם, אתם יכולים לצטט אותה:

@misc{embeddinggemma2_2026,
    title={EmbeddingGemma 2: Unified and Efficient Multimodal Representations},
    author={Schechter Vera, Henrique and Dua, Sahil and Team, EmbeddingGemma},
    year={2026},
    eprint={2610.37364},
    archivePrefix={arXiv},
    primaryClass={cs.LG},
    url={https://arxiv.org/abs/2610.37364}
}