مقدمة عن ضبط النموذج

إنّ استراتيجيات التصميم الموجَّهة، مثل عرض عدد قليل من الفيديوهات قد لا تحقّق دائمًا النتائج المطلوبة. استخدم توليف النموذج لتحسين أداء النموذج في مهام محددة أو مساعدة النموذج في الالتزام بمتطلبات الإخراج المحددة عندما لا تكون التعليمات كافية وعندما تكون لديك مجموعة من الأمثلة التي توضح المخرجات التي تريدها.

توفر هذه الصفحة إرشادات حول ضبط النموذج النصي وراء خدمة Gemini API النصية.

آلية عمل ضبط النموذج

الهدف من ضبط النموذج هو تحسين أداء النموذج بشكل أكبر لأداء مهمتك المحددة. يعمل ضبط النموذج من خلال تزويد النموذج بمجموعة بيانات تدريب تحتوي على العديد من الأمثلة للمهمة. بالنسبة للمهام المتخصصة، يمكنك الحصول على تحسينات ملحوظة في أداء النموذج من خلال ضبط النموذج على عدد متواضع من الأمثلة.

يجب هيكلة بيانات التدريب الخاصة بك كأمثلة مع مدخلات فورية ومخرجات استجابة متوقعة. يمكنك أيضًا ضبط النماذج باستخدام نماذج البيانات مباشرةً في Google AI Studio. الهدف هو تعليم النموذج محاكاة السلوك أو المهمة المطلوبة، من خلال منحه العديد من الأمثلة التي توضح هذا السلوك أو المهمة.

عند تنفيذ مهمة توليف، يتعلم النموذج معلَمات إضافية تساعده في ترميز المعلومات الضرورية لتنفيذ المهمة المطلوبة أو معرفة السلوك المطلوب. ويمكن عندئذٍ استخدام هذه المعلمات في وقت الاستنتاج. ناتج مهمة الضبط هو نموذج جديد، يشكّل مزيجًا من المعلمات التي تم تعلمها حديثًا والنموذج الأصلي.

الطُرز المتوافقة

تتيح نماذج الأساس التالية ضبط النموذج. يتم توفير إكمال Single-turn النص فقط.

  • Gemini 1.0 Pro
  • text-bison-001

سير العمل لضبط النموذج

في ما يلي سير عمل ضبط النموذج:

  1. قم بإعداد مجموعة البيانات الخاصة بك.
  2. استورِد مجموعة البيانات إذا كنت تستخدم Google AI Studio.
  3. ابدأ مهمة توليف.

بعد اكتمال ضبط النموذج، يتم عرض اسم النموذج الذي تم ضبطه. يمكنك أيضًا اختياره في "استوديو Google AI" كنموذج لاستخدامه عند إنشاء طلب جديد.

إعداد مجموعة البيانات

قبل أن تتمكّن من بدء الضبط، ستحتاج إلى مجموعة بيانات لضبط النموذج عليها. للحصول على أفضل أداء، يجب أن تكون الأمثلة في مجموعة البيانات ذات جودة عالية ومتنوعة وممثلة للمدخلات والمخرجات الحقيقية.

التنسيق

يجب أن تتطابق الأمثلة المضمنة في مجموعة البيانات الخاصة بك مع زيارات الإنتاج المتوقعة. إذا كانت مجموعة البيانات تحتوي على تنسيق أو كلمات رئيسية أو تعليمات أو معلومات محددة، يجب تنسيق بيانات الإنتاج بنفس الطريقة وأن تحتوي على نفس التعليمات.

على سبيل المثال، إذا كانت الأمثلة في مجموعة البيانات تتضمّن "question:" و"context:"، يجب أيضًا تنسيق زيارات الإنتاج لتضمين "question:" و"context:" بالترتيب نفسه الذي يظهر به في أمثلة مجموعة البيانات. إذا استبعدت السياق، فلن يتمكن النموذج من التعرف على النمط، حتى لو كان السؤال المحدد في مثال في مجموعة البيانات.

يمكن أن تساعد إضافة مطالبة أو تمهيد لكل مثال في مجموعة البيانات أيضًا في تحسين أداء النموذج الذي تم ضبطه. ملاحظة: إذا تم تضمين مطالبة أو تمهيد في مجموعة البيانات لديك، فيجب تضمينها أيضًا في الطلب إلى النموذج الذي تم ضبطه في وقت الاستنتاج.

حجم بيانات التدريب

يمكنك ضبط نموذج باستخدام ما لا يزيد عن 20 مثالاً، وتؤدي البيانات الإضافية بشكل عام إلى تحسين جودة الردود. يجب عليك استهداف ما بين 100 و500 مثال، بناءً على تطبيقك. يوضح الجدول التالي أحجام مجموعات البيانات الموصى بها لضبط نموذج نصي لمختلف المهام الشائعة:

مهمة عدد الأمثلة في مجموعة البيانات
التصنيف 100+
تلخيص 100-500+
البحث في المستندات 100+

تحميل مجموعة بيانات الضبط

يتم تمرير البيانات إما مضمّنًا باستخدام واجهة برمجة التطبيقات أو من خلال الملفات التي يتم تحميلها في "استوديو Google الذكاء الاصطناعي".

استخدِم الزر استيراد لاستيراد البيانات من ملف أو اختَر طلبًا منظمًا يتضمّن أمثلة للاستيراد كمجموعة بيانات الضبط.

مكتبة العميل

لاستخدام مكتبة العملاء، قدِّم ملف البيانات في طلب createTunedModel. الحد الأقصى لحجم الملف هو 4 ميغابايت. اطّلع على البدء السريع لضبط Python للبدء.

تمرين تجفيف

لطلب واجهة برمجة تطبيقات REST باستخدام Curl، قدِّم أمثلة تدريب بتنسيق JSON للوسيطة training_data. يمكنك الاطّلاع على دليل البدء السريع لضبط عنوان URL باستخدام Curl للبدء.

إعدادات الضبط المتقدّمة

عند إنشاء مهمة توليف، يمكنك تحديد الإعدادات المتقدمة التالية:

  • Epochs - عبارة عن شهادة تدريب كاملة تشمل مجموعة التدريب بأكملها بحيث تتم معالجة كل مثال مرة واحدة.
  • حجم الدفعة: مجموعة الأمثلة المستخدَمة في تكرار تدريب واحد. يحدّد حجم الدفعة عدد الأمثلة في الدفعة.
  • معدّل التعلّم: هو رقم النقطة العائمة الذي يحدّد للخوارزمية مدى قوة ضبط معلَمات النموذج في كل تكرار. على سبيل المثال، يؤدّي معدّل التعلّم 0.3 إلى تعديل القيم التقديرية والانحيازات بشكل أكبر بثلاث مرات من معدّل التعلّم 0.1. معدلات التعلم المرتفعة والمنخفضة لها مقايضات فريدة خاصة بها ويجب تعديلها بناءً على حالة استخدامك.
  • مُضاعِف معدّل التعلّم: يعدِّل مُضاعِف المعدّل معدّل التعلّم الأصلي للنموذج. تستخدم القيمة 1 معدل التعلم الأصلي للنموذج. تؤدي القيم الأكبر من 1 إلى زيادة معدل التعلم والقيم بين 1 و0 خفض معدل التعلم.

يعرض الجدول التالي عمليات الضبط المقترَحة لضبط نموذج أساسي:

معلَمة فائقة القيمة التلقائية التعديلات المقترَحة
الفترة 5 إذا بدأت الخسارة في ثابت قبل 5 حقبات، استخدم قيمة أصغر.
إذا كان مستوى الخسارة متقاربًا ولا يبدو أنّه ثابت، استخدِم قيمة أعلى.
حجم الدفعة 4
معدّل التعلّم 0.001 استخدم قيمة أصغر لمجموعات البيانات الأصغر.

يوضح منحنى الخسارة مدى انحراف تنبؤ النموذج عن التنبؤات المثالية في أمثلة التدريب بعد كل حقبة. من الناحية المثالية، تريد إيقاف التدريب عند أدنى نقطة في المنحنى قبل أن تصبح ثابتة مباشرةً. على سبيل المثال، يُظهر الرسم البياني أدناه استقرار منحنى الخسارة في الفترة من 4 إلى 6 تقريبًا، ما يعني أنه يمكنك ضبط معلَمة Epoch على 4 مع الاستمرار في الحصول على الأداء نفسه.

منحنى الخسارة

التحقّق من حالة مهمة الضبط

يمكنك الاطّلاع على حالة مهمة الضبط في واجهة مستخدم "استوديو الذكاء الاصطناعي من Google" ضمن علامة التبويب مكتبتي أو باستخدام السمة metadata للنموذج الذي تم ضبطه في Gemini API.

تحديد الأخطاء وتصحيحها

يتضمّن هذا القسم نصائح حول كيفية حلّ الأخطاء التي قد تواجهها أثناء إنشاء النموذج الذي ضبطته.

المصادقة

ويتطلّب الضبط باستخدام واجهة برمجة التطبيقات ومكتبة البرامج مصادقة المستخدم. ولا يكفي مفتاح واجهة برمجة تطبيقات بمفرده. إذا ظهر لك الخطأ 'PermissionDenied: 403 Request had insufficient authentication scopes'، عليك إعداد مصادقة المستخدم.

لضبط بيانات اعتماد OAuth للغة Python، يمكنك الاطّلاع على الدليل التعليمي لإعداد OAuth.

النماذج التي تم إلغاؤها

يمكنك في أي وقت إلغاء مهمة ضبط النموذج قبل اكتمالها. ومع ذلك، لا يمكن توقُّع أداء الاستنتاج لنموذج مُلغى، خاصةً إذا تم إلغاء مهمة الضبط في وقت مبكر من التدريب. إذا ألغيت التدريب لأنك تريد إيقاف التدريب في حقبة سابقة، فيجب عليك إنشاء مهمة ضبط جديدة وتعيين الفترة على قيمة أقل.

الخطوات التالية