بطاقة نموذج EmbeddingGemma 2

Hugging Face | GitHub | مدونة الإطلاق | المستندات | التقرير الفني
الترخيص: Apache 2.0 | المؤلفون: Google DeepMind

‫EmbeddingGemma 2 هو نموذج تضمين مفتوح المصدر ومتعدد الوسائط من إنشاء Google DeepMind، وهو يربط بين النصوص (بما في ذلك الرموز البرمجية) والصور والفيديوهات والملفات الصوتية، ومجموعات منها، في مساحة متّجه واحدة وموحّدة ذات 768 بُعدًا. يحتوي النموذج على 740 مليون مَعلمة إجمالية، ويجمع بين نموذج نصي يتضمّن 270 مليون مَعلمة مع برامج ترميز مرئية (170 مليون) وصوتية (300 مليون) قابلة للتعديل.

تم تصميم نموذج EmbeddingGemma 2 ليعمل على الأجهزة الاستهلاكية، مثل الأجهزة الجوّالة وأجهزة الكمبيوتر المحمول، وهو يقدّم تمثيلات دلالية بزمن انتقال منخفض للتطبيقات التي تعمل على الجهاز فقط، مثل البحث والتوليد المعزّز بالاسترجاع (RAG) والتصنيف والتجميع.

يستند EmbeddingGemma 2 إلى التطوّرات في البنية والقدرات التي يقدّمها Gemma 4، ويوفّر عدة ميزات أساسية:

  • تعدُّد الوسائط المدمج: يوحّد 4 وسائط (النصوص والصور والفيديوهات والصوت) في مساحة تضمين مشتركة واحدة ذات 768 بُعدًا.
  • تعدّد اللغات والرموز البرمجية: يفهم نموذج EmbeddingGemma 2 أكثر من 100 لغة، ويحقّق تحسّنًا بنسبة% 14 تقريبًا في مهام الرموز البرمجية مقارنةً بالنموذج السابق.
  • مرونة في الاستخدام: يجمع بين نموذج نصي أساسي يحتوي على 270 مليون مَعلمة (130 مليون مَعلمة في نموذج Transformer و140 مليون مَعلمة في نموذج التضمين) مع برامج ترميز للرؤية (170 مليون مَعلمة) والصوت (300 مليون مَعلمة) يمكن تحميلها بشكل انتقائي، ما يتيح للمطوّرين تحميل الأساليب المطلوبة فقط لحالة الاستخدام الخاصة بهم.
  • تعلُّم تمثيل ماتريوشكا (MRL): يوفّر Gemini دعمًا أصليًا للتضمينات المقتطَعة في أبعاد 128 و256 و512 و768، ما يتيح خفض تكاليف تخزين المتجهات بمقدار 6 أضعاف مع تأثير ضئيل على الجودة.
  • طول السياق: نافذة سياق تتسع لـ 8 آلاف رمز مميّز، وقادرة على معالجة دقائق من الصوت أو الفيديو.
  • تمثيلات موجَّهة حسب المهام: تستخدم بادئات تعليمات نصية خفيفة لتحسين التضمينات لمهام مختلفة (البحث والتصنيف والتجميع والتشابه الدلالي وما إلى ذلك).

نظرة عامة على النموذج

المعلمات المجموع ‫740 مليون
Backbone ‫130 مليون
Embedder ‫140 مليون
برامج ترميز أنماط البيانات الرؤية: 170 مليون الصوت: 300 مليون
بنية التطبيق الطبقات 24
سمة النموذج 512
سمة مخفية 2048
Sliding Window ‫1,024 رمز مميّز
حجم المفردات 262,144
# Heads 4
# KV-Heads (Local/Global) 2/1
المحتوى المحلي مقابل المحتوى العالمي 5:1
تنبيه GQA/MQA
Activation (التفعيل) شبكة عصبية ذات تغذية أمامية (FFN) محصورة مع وحدة خطية ذات خطأ غاوسي (GELU)
التجميع المتوسط الحسابي للتجميع
طبقة الإسقاط 512→768
الإدخال/الإخراج الوسائط المتوافقة النصوص والصور والفيديوهات والمحتوى الصوتي
قدرة الاستيعاب ‫8,192 رمز مميّز
سمة الناتج الأصلية 768
أبعاد الاقتطاع في MRL ‫128 و256 و512

نتائج قياس الأداء

تم تقييم EmbeddingGemma 2 استنادًا إلى معايير تضمين النصوص والرموز البرمجية والصور والمستندات المرئية والفيديوهات والمحتوى الصوتي. تستخدم جميع النتائج الموضّحة أدناه نقطة التحقّق الكاملة الدقة.

نتائج التقييم الإجمالية (768d)

نمط البيانات مقياس الأداء المقياس EmbeddingGemma 2 EmbeddingGemma 1
Text ‫Massive Text Embedding Benchmark (MTEB، متعدد اللغات، الإصدار 2) متوسط(مهمة)، متعدد 61.36 61.15
Massive Text Embedding Benchmark (MTEB, code, v1) المتوسط(المهمة)، NDCG@10 78.68 68.76
صورة مقياس أداء تضمين الصور الضخمة (MIEB، الإصدار البسيط) Mean(TaskType), Multiple 65.67 -
Massive Multimodal Embedding Benchmark (MMEB v2 - Image) المتوسط(المهمة)، Hit@1 57.28 -
Massive Multimodal Embedding Benchmark (MMEB v2 - VisDoc) المتوسط(المهمة)، NDCG@5 67.84 -
الفيديو Massive Multimodal Embedding Benchmark (MMEB v2 - Video) المتوسط(المهمة)، Hit@1 50.67 -
الصوت مقياس Massive Sound Embedding Benchmark (MSEB، الاسترجاع) متوسط(المهمة)، MRR@10 69.54 -
مقياس Massive Audio Embedding Benchmark (MAEB) على Hugging Face  متوسط(مهمة)، متعدد 49.87 -

نتائج التقييم مع اقتطاع المتّجهات

باستخدام MRL، يمكن اقتطاع تمثيلات EmbeddingGemma 2 إلى أقل من 768d الأصلي إلى 128d و256d و512d وإعادة تسويتها. وبذلك، يمكن لمستخدمي النماذج تقليل متطلبات مساحة التخزين، مع الحدّ من التأثير في الجودة إلى 256 بُعدًا. ويُعدّ 128d الأنسب لأحجام المعالجة النصية فقط.

سمة الناتج نسبة الضغط MTEB (متعدد اللغات، الإصدار 2) متوسط(المهمة) MTEB (eng, v2) Mean(Task) ‫MTEB (الرمز، الإصدار 1) Mean(Task) MIEB (lite) Mean(TaskType) MMEB (الإصدار 2) بشكل عام MSEB (الاسترجاع) متوسط(المهمة) MAEB Mean(Task)
‫768 يوم (كاملة) 1:1 61.36 68.46 78.68 65.67 59.01 69.54 49.87
‫512 يومًا 1:1.5 61.17 68.41 77.24 65.34 58.38 69.18 49.76
‫256 يومًا 1:3 60.41 67.78 76.18 64.16 56.24 66.76 49.13
‫128 يومًا 1:6 57.89 65.68 71.41 59.97 45.65 56.71 47.28

البدء السريع

ثبِّت مكتبة sentence-transformers:

pip install -U sentence-transformers transformers

أنشِئ تضمينات نصية: ```python from sentence_transformers import SentenceTransformer

model = SentenceTransformer("google/embeddinggemma-2")

طلب البحث = "ما هو سبب الشفق القطبي؟" المستند = "ينتج الشفق القطبي عن جسيمات مشحونة من الشمس".

query_emb = model.encode(query, prompt_name="SearchQuery") doc_emb = model.encode(document, prompt_name="Document") print(model.similarity(query_emb, doc_emb)) ```

أفضل الممارسات

للحصول على أفضل جودة للتضمين وكفاءة في وقت التشغيل، اتّبِع الإعدادات وأفضل الممارسات التالية:

1. بادئات تعليمات المهام

يتم تدريب EmbeddingGemma 2 باستخدام بادئات تعليمات المهام القصيرة التي تتم إضافتها إلى مدخلات النص. يؤدي استخدام البادئة الصحيحة إلى تحسين الجودة، في حين أنّ حذفها لا يمنع عمل الميزة ولكن يقلّل من دقتها. تنطبق البادئات على النص فقط. يجب تمرير الصور والفيديوهات والملفات الصوتية بدون أي بادئة.

يجب تنسيق المستندات التي تحمل عنوانًا حقيقيًا على النحو التالي: title: {title} | text: {content}. استخدِم title: none في حال عدم توفّر عنوان.

Prefix Notation & Usage

نقدّم نوعَين من بادئات المهام، استنادًا إلى كيفية استخدام التضمينات في المهمة. هناك نوعان من المهام:

  • المهام غير المتماثلة (مثل استرجاع البيانات): استخدِم بادئة طلب البحث لطلبات البحث وبادئة المستند لعناصر المجموعة.
  • المهام المتماثلة (مثل التصنيف والتشابه): طبِّق بادئة المهمة نفسها على جميع المدخلات التي تتم مقارنتها.
حالة الاستخدام نوع المهمة اسم الطلب تعليمات مهمة طلب البحث تعليمات مهمة المستند (استخدِم none في حال عدم توفّر عنوان)
البحث في الويب أو المستندات غير المتماثل SearchQuery task: search result | query: {query} title: {title} | text: {content}
الإجابة عن الأسئلة غير المتماثل QuestionAnswering task: question answering | query: {question} title: {title} | text: {passage}
التحقّق من صحة الأخبار غير المتماثل FactChecking task: fact checking | query: {claim} title: {title} | text: {evidence}
Code Search غير المتماثل CodeRetrieval task: code retrieval | query: {query} title: {title or filename} | text: {code}
تصنيف النصوص المتماثل التصنيف task: classification | query: {content} لا ينطبق
التجميع المتماثل التجميع task: clustering | query: {content} لا ينطبق
قياس التشابه المتماثل SentenceSimilarity task: sentence similarity | query: {content} لا ينطبق

ملاحظة: ينطبق title: none على prompt_name="Document"، ولا يزال يجب تنسيق المستندات التي تحمل عنوانًا يدويًا، مثل model.encode(f"title: {title} | text: {document}")

2. التحميل الانتقائي لبرامج الترميز

يُعدّ برنامجا ترميز الرؤية والصوت مكوّنَين مستقلَّين. لتقليل استهلاك الذاكرة عند نشر مسارات معالجة النصوص فقط أو مسارات المعالجة الأحادية، يمكنك إيقاف برامج ترميز الأنماط غير المستخدَمة من خلال config_kwargs في SentenceTransformer:

ملاحظة: يختلف إعداد EmbeddingGemma 2 للتحميل مع حذف بعض برامج الترميز بين مكتبات النماذج. يُرجى الرجوع إلى المستندات المناسبة لمزيد من المعلومات حول هذا الموضوع.

الأنماط النشطة config_kwargs الحجم الفعّال
النص فقط {"vision_config": None, "audio_config": None} ‫270 مليون
نص وصورة {"audio_config": None} ‫440 مليون
النص والصوت {"vision_config": None} ‫570 مليون
متعدد الوسائط بالكامل {} ‫740 مليون

3- اقتطاع سمات Matryoshka

تم تدريب EmbeddingGemma 2 باستخدام تقنية Matryoshka Representation Learning، لذا يمكن تقصير متّجه الناتج المكوّن من 768 سمة من خلال الاحتفاظ بسماته الرئيسية فقط. الأبعاد المتوافقة هي 768 و512 و256 و128. تؤدي المتجهات الأقصر إلى تقليل مساحة التخزين وتسريع البحث عن التشابه على حساب الجودة.

في وقت التشغيل، يُرجى الالتزام بالإرشادات التالية:

  • إعادة التسوية بعد الاقتطاع: لا يحافظ تقسيم متجه طول الوحدة على طول الوحدة. يجب تسوية المتجه المختصر باستخدام L2 قبل استخدامه لتشابه جيب التمام. يؤدي تخطّي هذه الخطوة إلى تدهور جودة الترتيب بشكل غير ملحوظ، إذ ينتج عنها نتائج تبدو معقولة بدلاً من ظهور خطأ.
  • يجب أن تتشارك طلبات البحث والمستندات في سمة واحدة. لا يمكن تقييم طلب بحث يتضمّن 768 سمة مقارنةً بمجموعة نصوص تتضمّن 128 سمة.
  • لتجنُّب اقتطاع البيانات وتطبيعها بنفسك، عليك تمرير الحقلَين truncate_dim وnormalize_embeddings عند استدعاء model.encode():
query_emb = model.encode(
   query,
   truncate_dim=128, # or 512, 256
   normalize_embeddings=True,
)

يتم تسجيل جودة النموذج في كل سمة في جدول الاقتطاع في قسم نتائج قياس الأداء أعلاه. تكون الجودة قريبة من الجودة الأصلية بدون فقدان البيانات حتى 256 سمة. يؤدي استخدام 128 سمة إلى تدهور جودة الوسائط المتعددة بشكل كبير، ويجب التحقّق من ذلك في ضوء أعباء العمل قبل اعتماده.

4. الدقة الرقمية

يمكنك تشغيل الاستدلال في bfloat16 أو float32. لا تستخدِم float16.

يتجاوز نطاق تفعيل EmbeddingGemma 2 النطاق الديناميكي لـ float16. في float16، يعرض النموذج NaN أو تضمينات متدهورة بشكل صامت بدلاً من ظهور خطأ، لذا من السهل تفويت الخطأ.

bfloat16 آمن، ويحمل الأس نفسه المكوّن من 8 بت مثل float32. هذا هو الإعداد التلقائي المقترَح على الأجهزة التي تتضمّن دعمًا أصليًا، ويقلّل من استخدام الذاكرة إلى النصف مقارنةً بـ float32. استخدِم float32 في أي مكان آخر، بما في ذلك معظم وحدات المعالجة المركزية.

في SentenceTransformers، يمكنك ضبط ذلك من خلال model_kwargs، وتحديده آليًا من خلال is_bf16_supported:

dtype = torch.bfloat16 if torch.cuda.is_bf16_supported() else torch.float32

model = SentenceTransformer("google/embeddinggemma-2", model_kwargs={"torch_dtype": dtype})

5- إدخال متعدد الوسائط

التداخل

يمكن أن يجمع الإدخال الواحد بين النصوص والصور والفيديوهات والمقاطع الصوتية، باستخدام سياق واحد مشترك يتألف من 8,192 رمزًا مميزًا.

يتم تحديد موضع كل ملف وسائط ضمن التسلسل في النص باستخدام رموز العناصر النائبة من مفردات النموذج:

  • ‫<|image|> يشير إلى موضع إدخال الصورة
  • ‫<|video|> يشير إلى موضع إدخال الفيديو
  • ‫<|audio|> يشير إلى موضع إدخال الصوت

على سبيل المثال، قد يتم ترميز بيانات منتج تمت فهرسته للبحث على النحو التالي:

emb_interleaved = model.encode({
    "text": "Waterproof running shoes. <|image|> Featuring a breathable mesh upper. <|image|> Grip test on wet rock: <|video|>",
    "image": ["shoe.jpg", "mesh.jpg"],
    "video": "demo.mp4",
})

يتم ملء كل عنصر نائب في النص من المفتاح المقابل، بالترتيب. يعرض الطلب تضمينًا واحدًا يمثّل النص والصور والفيديو معًا. يمكن مقارنة هذا التضمين مباشرةً بأي تضمين آخر من EmbeddingGemma 2، مثل طلب بحث نصي فقط مثل "أحذية مقاومة للماء للجري على الطرق الوعرة".

حدود السياق

تتشارك جميع الوسائط في نافذة سياق واحدة تتألف من 8,192 رمز مميّز. يستهلك كل وضع هذه الميزانية بمعدّل ثابت:

نمط البيانات تكلفة الرمز المميّز الحدّ الأقصى للقدرة بالواط
Text رمز مميّز واحد لكل كلمة فرعية ‫8,192 رمز مميّز
صورة ‫280 رمز مميّز لكل صورة (الإعداد التلقائي) ‫29 صورة تقريبًا
الفيديو ‫140 رمزًا مميّزًا لكل لقطة (الإعداد التلقائي) ~58 إطارًا
الصوت ‫25 رمز مميّز في الثانية ‫327 ثانية تقريبًا

يُرجى العِلم أنّ الحد الأقصى لعدد الصور والفيديوهات التي يمكن إدخالها قد يصل إلى 114 صورة أو لقطة تقريبًا عند استخدام ميزانية أقل لرموز الرؤية المميّزة (الموضّحة أدناه).

تفترض الحدود القصوى أعلاه استخدام وسيط واحد بدون نص مصاحب. تستمد المدخلات المتداخلة من الميزانية نفسها، لذا فإنّ خلط الأنماط يقلل من مقدار كل نمط يناسبها. يُرجى العِلم أيضًا أنّ الحد الأقصى لعدد الصور والفيديوهات التي يمكن إدخالها قد يصل إلى 114 صورة أو لقطة تقريبًا عند استخدام عدد أقل من الرموز المميّزة للرؤية (الموضّحة أدناه).

ميزانية الرموز المميّزة للرؤية

يمكن لمستخدمي النموذج التخلي عن طول التسلسل التلقائي للصور المُدخلة أو إطارات الفيديو لتمثيل الصور بكميات "رموز مميزة مرنة" تتراوح بين 70 و1120. تؤدي زيادة ميزانية الرؤية لصور الإدخال إلى زيادة وقت الاستجابة وعدد الرموز المميّزة مقابل تحسين الجودة.

بشكل عام، تتيح أطوال تسلسلات الإدخال الأكبر التقاط المزيد من المعلومات. إنّ زيادة طول تسلسل الإدخال يعني تمثيلات إدخال أكثر تعبيرًا، وبالتالي، ستؤدي زيادة طول تسلسل الإدخال إلى تحسين الفهم المرئي الدقيق، ما يؤدي بدوره إلى تحسين جودة التضمين والأداء في حالات الاستخدام اللاحقة.

الإعدادات التلقائية لأخذ عيّنات من الإدخال

تتضمّن مدخلات الصوت والفيديو معدّلات البيانات التلقائية التالية:

  • تتم معالجة الفيديو تلقائيًا كلقطات مأخوذة من خلال برنامج ترميز الرؤية بمعدّل لقطة واحدة في الثانية، ويمكن ضبط معدّل اللقطات في الثانية.
  • يجب توفير الصوت أحاديًا بتردد 16 كيلوهرتز.

بيانات النماذج

مجموعة بيانات التدريب المُسبَق هي مجموعة بيانات ضخمة ومتنوعة تشمل مجموعة واسعة من المجالات والوسائط، بما في ذلك مستندات الويب والرموز البرمجية والصور والفيديوهات والملفات الصوتية، مع تاريخ نهائي في يناير 2025. ومن بينها:

  • مستندات الويب: تضمن مجموعة متنوعة من نصوص الويب تعرُّض النموذج لمجموعة واسعة من الأساليب اللغوية والمواضيع والمفردات. وتتضمّن مجموعة بيانات التدريب محتوًى بأكثر من 140 لغة.
  • الرموز البرمجية: يساعد عرض الرموز البرمجية على النموذج في تعلُّم بنية لغات البرمجة وأنماطها، ما يحسّن قدرته على فهم الدلالات المرتبطة بالرموز البرمجية. 
  • الصور: تتيح مجموعة واسعة من الصور للنموذج إجراء تحليل للصور واستخراج البيانات المرئية.
  • الفيديو: تسلسلات ومقاطع فيديو تغطي مشاهد مرئية متنوعة وأفعال بشرية وديناميكيات زمنية.
  • الصوت: تسجيلات صوتية بلغات متعددة وأصوات بيئية وأحداث صوتية
  • عيّنات متعددة الوسائط: بيانات نصية وصور وفيديوهات وملفات صوتية مقترنة لمواءمة التمثيلات عبر وسائط مختلفة

معالجة البيانات

تم تطبيق عدة طرق لتنظيف البيانات وفلترتها على بيانات التدريب:

  • فلترة مواد الاعتداء الجنسي على الأطفال: تم تطبيق فلترة صارمة لمواد الاعتداء الجنسي على الأطفال في مراحل متعددة من عملية إعداد البيانات لضمان استبعاد المحتوى الضار وغير القانوني.
  • فلترة البيانات الحسّاسة: في إطار جعل نماذج Gemma المدرَّبة مسبقًا آمنة وموثوقة، تم استخدام أساليب مبرمَجة لفلترة بعض المعلومات الشخصية والبيانات الحسّاسة الأخرى من مجموعات التدريب.
  • طرق إضافية: الفلترة استنادًا إلى جودة المحتوى وأمانه بما يتوافق مع سياساتنا

الأخلاقيات والأمان

‫EmbeddingGemma 2 هو نموذج تضمين مدرَّب مسبقًا. وعلى عكس النماذج التوليدية، لا يخضع هذا النموذج لعمليات التوافق بعد التدريب أو ضبط الأمان أو الإشراف على مستوى النتائج. أثناء تطوير النموذج، ركّزت إجراءات الحدّ من المخاطر على فلترة بيانات ما قبل التدريب لتقليل التعرّض للمحتوى الضار والتحيّزات الشديدة في مساحة التضمين المكتسَبة، بما يتماشى مع مبادئ الذكاء الاصطناعي في Google.

بما أنّ نماذج التضمين تنتج تمثيلات بدلاً من نصوص موجّهة للمستخدمين، تظهر مخاطر الأمان في كيفية استخدام هذه التمثيلات.

يتحمّل المطوّرون والناشرون مسؤولية تقييم وتنفيذ إجراءات الوقاية على مستوى التطبيق، مثل فلترة عمليات الاسترجاع واختبارات العدالة، بما يتناسب مع حالة الاستخدام المحدّدة في مرحلة الإنتاج.

يجب أن تلتزم عمليات النشر بسياسة الاستخدام المحظور في Gemma.

الاستخدام والقيود

هناك بعض القيود التي يجب أن يكون المستخدمون على دراية بها في EmbeddingGemma 2.

الاستخدام المقصود

ينشئ نموذج EmbeddingGemma 2 تضمينات من المحتوى المُدخَل، ويمكن استخدامها في عدد من التطبيقات النهائية.

القائمة التالية للاستخدامات المحتملة ليست شاملة. الغرض من هذه القائمة هو تقديم معلومات سياقية حول حالات الاستخدام المحتملة التي أخذها منشئو النموذج في الاعتبار كجزء من تدريب النموذج وتطويره.

  • الاسترجاع: تضمينات للبحث الدلالي في النصوص والرموز البرمجية والصور والفيديوهات والمحتوى الصوتي، مثل البحث في المستندات، أو التوليد المعزَّز بالاسترجاع (RAG) في قواعد المعرفة الخاصة بالمؤسسات، أو Code Search من خلال طلبات البحث باللغة الطبيعية، أو البحث في طلبات البحث الشفهية في الأرشيفات الصوتية.
  • التصنيف: هي متّجهات لتصنيف المدخلات وفقًا لتصنيفات محدّدة مسبقًا، مثل تحليل المشاعر أو الإشراف على المحتوى أو رصد الأحداث الصوتية أو تصنيف الصور.
  • التجميع: تضمينات لتجميع المدخلات استنادًا إلى التشابه الدلالي، مثل تنظيم مجموعات المستندات أو تجميع ملاحظات العملاء حسب الموضوع أو اكتشاف المحتوى المكرر في مختلف الأساليب.
  • التشابه الدلالي: تضمينات لقياس التشابه بين أزواج من المدخلات، مثل أنظمة الاقتراحات أو رصد التكرار أو تحديد إعادة الصياغة أو مطابقة المحتوى بلغات مختلفة
  • التحقّق من صحة الحقائق: تضمينات لاسترداد مستندات الأدلة استنادًا إلى ادعاء معيّن، مثل أنظمة التحقّق من صحة الأخبار المبرمَجة أو مسارات تحديد المصدر

القيود

  • بيانات التدريب: تؤثر جودة بيانات التدريب وتنوّعها بشكل كبير في قدرات النموذج. فالانحيازات أو الثغرات في بيانات التدريب قد تؤدي إلى قيود في ردود النموذج.
    • يحدّد نطاق مجموعة بيانات التدريب مجالات البحث التي يمكن للنموذج التعامل معها بفعالية.
    • على سبيل المثال، على الرغم من أنّ نموذج EmbeddingGemma 2 يتوافق مع أكثر من 100 لغة، قد لا يقدّم الأداء نفسه في جميع اللغات.
  • السياق ومدى تعقيد المهمة: تؤدي النماذج أداءً جيدًا في المهام التي يمكن صياغتها باستخدام طلبات وتعليمات واضحة.
    • قد تكون المهام المفتوحة أو المعقّدة للغاية صعبة.
    • يمكن أن يتأثر أداء النموذج بكمية السياق المقدَّم (يؤدي السياق الأطول عمومًا إلى نتائج أفضل، إلى حدّ معيّن).
  • غموض اللغة والفروق الدقيقة: اللغة الطبيعية معقّدة بطبيعتها. قد تواجه النماذج صعوبة في فهم الفروق الدقيقة أو السخرية أو اللغة المجازية.
  • استخدام تعليمات المهام: بالنسبة إلى المهام النصية، قد يؤدي حذف بادئة المهمة المقترَحة إلى جودة تضمين غير مثالية.

الاعتبارات الأخلاقية والمخاطر

عند إنشاء نموذج تضمين مفتوح، أخذنا في الاعتبار بعناية ما يلي:

  • الانحياز والعدالة
    • يمكن للنماذج المدرَّبة على بيانات نصية وصور واقعية واسعة النطاق أن تعكس الانحيازات الاجتماعية والثقافية المضمّنة في مواد التدريب.
    • خضعت بيانات التدريب المستخدَمة في EmbeddingGemma 2 لفلترة الأمان من أجل الحدّ من مخاطر هذه الانحيازات.
  • المعلومات الخاطئة وإساءة الاستخدام
  • الشفافية والمساءلة
    • تلخّص بطاقة النموذج هذه تفاصيل حول بنية النموذج وإمكاناته وقيوده وعمليات تقييمه.
    • يوفّر النموذج المفتوح المصدر الذي تم تطويره بشكل مسؤول فرصة لمشاركة الابتكار من خلال إتاحة تكنولوجيا "نموذج الرؤية واللغة" (VLM) للمطوّرين والباحثين في جميع أنحاء منظومة الذكاء الاصطناعي المتكاملة.

المخاطر المحدّدة وإجراءات الحدّ منها

  • إساءة الاستخدام لأغراض ضارة: يمكن أن تساعد القيود الفنية وتثقيف المطوّرين والمستخدمين النهائيين في الحدّ من التطبيقات الضارة لنماذج التضمين. توفير مراجع تعليمية وآليات إبلاغ تتيح للمستخدمين الإبلاغ عن إساءة الاستخدام
  • انتهاكات الخصوصية: تم تدريب النماذج على بيانات تمت فلترتها لإزالة بعض المعلومات الشخصية والبيانات الحسّاسة الأخرى. ونشجّع المطوّرين على الالتزام بلوائح الخصوصية من خلال استخدام أساليب الحفاظ على الخصوصية.
  • استمرار التحيزات: ننصح بإجراء مراقبة مستمرة (باستخدام مقاييس التقييم والمراجعة البشرية) واستكشاف تقنيات إزالة التحيز أثناء تدريب النموذج وضبطه الدقيق وحالات الاستخدام الأخرى.

المزايا

يُعدّ EmbeddingGemma 2 من أقوى نماذج التضمين المتعددة الوسائط التي تضم أقل من مليار مَعلمة. نحن متحمّسون لرؤية كيف سيستخدم المطوّرون هذا النموذج ويعدّلونه لتطبيقات الذكاء الاصطناعي على الجهاز فقط أو على الحافة. 

تم تصميم هذا النموذج من الصفر لتطوير الذكاء الاصطناعي المسؤول، مثل نماذج عائلة Gemma الأخرى.

Citation

إذا وجدت عملنا مفيدًا، فيرجى التفكير في الاستشهاد به:

@misc{embeddinggemma2_2026,
    title={EmbeddingGemma 2: Unified and Efficient Multimodal Representations},
    author={Schechter Vera, Henrique and Dua, Sahil and Team, EmbeddingGemma},
    year={2026},
    eprint={2610.37364},
    archivePrefix={arXiv},
    primaryClass={cs.LG},
    url={https://arxiv.org/abs/2610.37364}
}