إعدادات الأمن الشخصي

يوضِّح هذا الدليل إعدادات الأمان القابلة للتعديل والمتوفّرة في Gemini API. أثناء مرحلة إنشاء النماذج الأولية، يمكنك ضبط إعدادات الأمان على 4 أبعاد للتقييم السريع لما إذا كان التطبيق يتطلب تهيئة أكثر أو أقل تقييدًا. تحظر إعدادات الأمان تلقائيًا المحتوى (بما في ذلك الطلبات) الذي يُحتمل أن يكون غير آمن بدرجة متوسطة أو أعلى على أي بُعد. تم تصميم نظام الأمان الأساسي هذا بما يتوافق مع معظم حالات الاستخدام، لذا يجب عدم ضبط إعدادات الأمان إلا إذا كان مطلوبًا باستمرار في تطبيقك.

فلاتر الأمان

بالإضافة إلى فلاتر الأمان القابلة للتعديل، تتضمّن واجهة برمجة تطبيقات Gemini إجراءات حماية مدمجة من الأضرار الأساسية، مثل المحتوى الذي يعرّض سلامة الأطفال للخطر. يتم دائمًا حظر هذه الأنواع من الضرر ولا يمكن تعديلها.

تشمل فلاتر الأمان القابلة للتعديل الفئات التالية:

  • التحرش
  • الكلام الذي يحضّ على الكراهية
  • المحتوى الجنسي الفاضح
  • الفئات الخطيرة

تتيح لك هذه الإعدادات، للمطوّر، تحديد ما يناسب حالة استخدامك. على سبيل المثال، إذا كنت تنشئ حوارًا للعبة فيديو، قد يكون من المقبول السماح بعرض المزيد من المحتوى المصنّف على أنّه خطير بسبب طبيعة اللعبة. في ما يلي بعض الأمثلة على حالات الاستخدام الأخرى التي قد تتطلب بعض المرونة في إعدادات الأمان هذه:

حالة الاستخدام الفئة
تطبيق تدريب على مكافحة التحرش الكلام الذي يحض على الكراهية، والمحتوى الجنسي الفاضح
كاتب السيناريو محتوى جنسي فاضح أو خطير
مصنِّف اللغة غير اللائقة مضايقة خطيرة

الاحتمالية مقابل الشدة

تحظر واجهة برمجة تطبيقات Gemini المحتوى استنادًا إلى احتمالية أن يكون المحتوى غير آمن وليس درجة الخطورة. وهذا أمر مهم يجب أخذه في الاعتبار لأنّ بعض أنواع المحتوى قد تكون منخفضة احتمالية أن تكون غير آمنة، على الرغم من أنّ خطورة الضرر قد تكون عالية. على سبيل المثال، مقارنة الجمل:

  1. لكم الروبوت.
  2. رأى الروبوت يلاحق.

يزيد احتمال أن تكون الجملة 1 غير آمنة، ولكن قد تكون الجملة 2 أعلى خطورة في ما يتعلق بالعنف.

بناءً على ذلك، من المهم أن يختبر كل مطوّر بعناية مستوى الحظر المناسب ويراعي حالات الاستخدام الرئيسية مع تقليل الضرر الذي يقع على المستخدمين النهائيين.

إعدادات الأمان

تُعد إعدادات الأمان جزءًا من الطلب الذي ترسله إلى الخدمة التوليدية. يمكن ضبط الإعدادات لكل طلب ترسله إلى واجهة برمجة التطبيقات. يسرد الجدول التالي الفئات التي يمكنك تعيينها ويصف نوع الضرر الذي تشمله كل فئة.

الفئات الأوصاف
التحرش تعليقات سلبية أو ضارة تستهدِف الهوية و/أو السمات المحمية
الكلام الذي يحضّ على الكراهية محتوى فظ أو مُهين أو مكتوب بلغة نابية
المحتوى الجنسي الفاضح يحتوي على إشارات إلى ممارسات جنسية أو محتوى فاحش آخر.
الفئات الخطيرة يروّج لأفعال ضارّة أو يسهّل تنفيذها أو يشجّع عليها

وتتوفر هذه التعريفات في مرجع واجهة برمجة التطبيقات أيضًا. تتوافق طُرز Gemini مع HARM_CATEGORY_HARASSMENT وHARM_CATEGORY_HATE_SPEECH وHARM_CATEGORY_SEXUALLY_EXPLICIT وHARM_CATEGORY_DANGEROUS_CONTENT فقط. تُستخدم الفئات الأخرى بواسطة نماذج PaLM 2 (القديمة).

يوضّح الجدول التالي إعدادات الحظر التي يمكنك ضبطها لكل فئة. على سبيل المثال، إذا تم ضبط إعداد الحظر على حظر القليل للفئة الكلام الذي يحض على الكراهية، سيتم حظر كل المحتوى الذي يُحتمل أن يكون ضمن المحتوى الذي يحض على الكراهية. ولكن يُسمح بأي شيء ذي احتمالية أقل.

وإذا لم يتم ضبط السياسة، يتم ضبط إعداد الحظر التلقائي على حظر بعض المستخدمين لجميع الفئات.

الحدّ الأدنى (استوديو Google AI Studio) الحدّ الأدنى (واجهة برمجة التطبيقات) الوصف
عدم حظر أي من العناصر BLOCK_NONE العرض دائمًا بغض النظر عن احتمال توفُّر محتوى غير آمن
حظر القليل BLOCK_ONLY_HIGH الحظر عند وجود احتمال كبير لمحتوى غير آمن
حظر بعض المستخدمين BLOCK_MEDIUM_AND_ABOVE الحظر عندما يكون هناك احتمال متوسط أو مرتفع لمحتوى غير آمن
حظر معظم المستخدمين BLOCK_LOW_AND_ABOVE الحظر عندما يكون احتمال المحتوى غير آمن منخفضًا أو متوسطًا أو مرتفعًا
HARM_BLOCK_THRESHOLD_UNSPECIFIED لم يتم تحديد الحدّ الأدنى، ويجب الحظر باستخدام الحدّ التلقائي.

يمكنك ضبط هذه الإعدادات لكل طلب ترسله إلى الخدمة التوليدية. يُرجى الاطّلاع على مرجع واجهة برمجة التطبيقات HarmBlockThreshold لمعرفة التفاصيل.

ملاحظات حول الأمان

تعرض generateContent عنصر GenerateContentResponse يتضمن ملاحظات متعلقة بالسلامة.

تم تضمين الملاحظات حول الطلب في promptFeedback. في حال ضبط العلامة promptFeedback.blockReason، سيتم حظر محتوى الطلب.

يتم تضمين ملاحظات المرشح للاستجابة في finishReason وsafetyRatings. إذا تم حظر محتوى الرد وكان finishReason هو SAFETY، يمكنك فحص safetyRatings لمعرفة المزيد من التفاصيل. يتضمن تصنيف السلامة فئة واحتمالية تصنيف الضرر. ولن يتم عرض المحتوى الذي تم حظره.

وتتجاوب الاحتمالية المعروضة مع مستويات ثقة الحظر كما هو موضّح في الجدول التالي:

الاحتمالية الوصف
مهم هناك احتمال ضئيل أن يكون المحتوى غير آمن.
درجة التزام منخفضة احتمال أن يكون المحتوى غير آمن بدرجة منخفضة
تفاعُل متوسط هناك احتمال متوسط بأن يكون المحتوى غير آمن
درجة التزام عالية هناك احتمال كبير بأن يكون المحتوى غير آمن

على سبيل المثال، إذا تم حظر المحتوى لأنّ فئة المضايقة لها احتمال كبير، يكون تقييم الأمان المعروض سيكون على مستوى فئة تساوي HARASSMENT وسيتم ضبط احتمالية الضرر على HIGH.

إعدادات الأمان في "استوديو Google AI"

يمكنك أيضًا ضبط إعدادات الأمان في "استوديو Google AI"، ولكن لا يمكنك إيقافها. لإجراء ذلك، انقر على تعديل إعدادات الأمان في إعدادات التشغيل:

زر إعدادات الأمان

واستخدِم المقابض لتعديل كل إعداد:

زر إعدادات الأمان

تظهر رسالة ما مِن محتوى إذا تم حظر المحتوى. للاطّلاع على مزيد من التفاصيل، ضَع مؤشر الماوس فوق بلا محتوى وانقر على الأمان.

أمثلة على التعليمات البرمجية

يوضح هذا القسم كيفية استخدام إعدادات الأمان في الرمز البرمجي باستخدام مكتبة عملاء python.

مثال على الطلب

في ما يلي مقتطف رمز بلغة python يعرض كيفية ضبط إعدادات الأمان في مكالمة GenerateContent. يؤدي ذلك إلى ضبط فئتَي الضرر Harassment وHate speech على BLOCK_LOW_AND_ABOVE، ما يؤدي إلى حظر أي محتوى يُحتمل أن يكون تحرشًا أو كلامًا يحض على الكراهية.

from google.generativeai.types import HarmCategory, HarmBlockThreshold

model = genai.GenerativeModel(model_name='gemini-pro-vision')
response = model.generate_content(
    ['Do these look store-bought or homemade?', img],
    safety_settings={
        HarmCategory.HARM_CATEGORY_HATE_SPEECH: HarmBlockThreshold.BLOCK_LOW_AND_ABOVE,
        HarmCategory.HARM_CATEGORY_HARASSMENT: HarmBlockThreshold.BLOCK_LOW_AND_ABOVE,
    }
)

مثال على الردّ

يعرض ما يلي مقتطف رمز لتحليل الملاحظات والآراء المتعلقة بالأمان من الردّ.

try:
  print(response.text)
except ValueError:
  # If the response doesn't contain text, check if the prompt was blocked.
  print(response.prompt_feedback)
  # Also check the finish reason to see if the response was blocked.
  print(response.candidates[0].finish_reason)
  # If the finish reason was SAFETY, the safety ratings have more details.
  print(response.candidates[0].safety_ratings)

الخطوات التالية

  • يمكنك الاطلاع على مرجع واجهة برمجة التطبيقات لمعرفة المزيد حول واجهة برمجة التطبيقات الكاملة.
  • ننصحك بمراجعة إرشادات السلامة للحصول على نظرة عامة على اعتبارات الأمان عند تطوير النماذج اللغوية الكبيرة.
  • مزيد من المعلومات حول تقييم الاحتمالات مقابل درجة الخطورة من فريق Jigsaw
  • يمكنك الاطّلاع على مزيد من المعلومات حول المنتجات التي تساهم في حلول الأمان، مثل Perspective API.
  • يمكنك استخدام إعدادات الأمان هذه لإنشاء مصنِّف لمستوى اللغة غير اللائقة. انظر مثال التصنيف للبدء.