برای ایمنی مدل ها را تنظیم کنید

هنگامی که خطرات ذاتی برنامه خود را درک کردید و سیاست های مناسب را برای کاهش آنها تنظیم کردید، باید مدل خود را با سیاست های ایمنی خاص خود هماهنگ کنید. یکی از قوی‌ترین راه‌ها برای کنترل رفتار مدل، تنظیم مدل است.

الگوهای سریع

الگوهای اعلان زمینه متنی را برای ورودی کاربر فراهم می کنند. این تکنیک معمولاً شامل دستورالعمل های اضافی برای هدایت مدل به سمت نتایج ایمن تر و بهتر است. برای مثال، اگر هدف شما خلاصه‌های با کیفیت بالا از انتشارات علمی فنی است، ممکن است استفاده از یک الگوی سریع مانند:

The following examples show an expert scientist summarizing the
key points of an article. Article: {{article}}
Summary:

جایی که یک مکان نگهدار برای مقاله در حال خلاصه‌سازی است. الگوهای اعلان اغلب شامل چند نمونه از انواع رفتار مورد نظر نیز می‌شوند (در این مورد گاهی اوقات به آن‌ها اعلان‌های چند عکس می‌گویند).

این نوع الگوهای متنی برای اعلان ها می توانند کیفیت و ایمنی خروجی مدل شما را به میزان قابل توجهی بهبود بخشند. آنها همچنین می توانند برای کاهش تعصبات ناخواسته در رفتار برنامه شما مورد استفاده قرار گیرند. با این حال، نوشتن الگوهای سریع می تواند چالش برانگیز باشد و نیاز به خلاقیت، تجربه و مقدار قابل توجهی از تکرار دارد. راهنماهای پیشنهادی زیادی وجود دارد، از جمله مقدمه Gemini API برای طراحی سریع .

الگوهای سریع معمولاً کنترل کمتری بر خروجی مدل در مقایسه با تنظیم دارند. قالب‌های سریع معمولاً در برابر نتایج ناخواسته ورودی‌های متخاصم مستعدتر هستند. این به این دلیل است که تغییرات جزئی در اعلان‌ها می‌تواند پاسخ‌های متفاوتی ایجاد کند و اثربخشی یک اعلان نیز احتمالاً بین مدل‌ها متفاوت است. برای درک دقیق نحوه عملکرد یک الگوی سریع در راستای یک نتیجه ایمنی مطلوب، استفاده از مجموعه داده ارزیابی که در توسعه الگو نیز استفاده نشده است، مهم است.

در برخی از برنامه‌ها، مانند ربات‌های گفتگوی مبتنی بر هوش مصنوعی، ورودی‌های کاربر می‌توانند به طور قابل توجهی متفاوت باشند و طیف گسترده‌ای از موضوعات را لمس کنند. برای اصلاح بیشتر الگوی درخواستی خود، می توانید دستورالعمل ها و دستورالعمل های اضافی را بر اساس انواع ورودی های کاربر تطبیق دهید. برای این کار باید مدلی را آموزش دهید که بتواند ورودی کاربر را برچسب گذاری کند و یک الگوی اعلان پویا ایجاد کنید که بر اساس برچسب تطبیق داده شود.

مدل های تیونینگ

تنظیم یک مدل از یک نقطه بازرسی، یک نسخه خاص از یک مدل شروع می شود و از یک مجموعه داده برای اصلاح رفتار مدل استفاده می کند. مدل‌های Gemma در هر دو نسخه Pretrained (PT) و Instruction Tuned (IT) موجود هستند. مدل‌های از پیش آموزش دیده برای پیش‌بینی محتمل‌ترین کلمه بعدی، بر اساس مجموعه داده‌های پیش‌آموزشی بزرگ، آموزش داده می‌شوند. نسخه‌های IT Gemma طوری تنظیم شده‌اند که مدل از نسخه PT Gemma، دستورات را به‌عنوان دستورالعمل‌ها در نظر بگیرد.

تنظیم مدل ها برای ایمنی می تواند چالش برانگیز باشد. اگر یک مدل بیش از حد تنظیم شود، می تواند سایر قابلیت های مهم را از دست بدهد. برای مثال، موضوع تداخل فاجعه‌بار را ببینید. علاوه بر این، رفتار ایمن برای یک مدل زمینه ای است. آنچه برای یک برنامه ایمن است ممکن است برای دیگری ناامن باشد. اکثر موارد استفاده می خواهند به تنظیم از یک ایست بازرسی فناوری اطلاعات ادامه دهند تا توانایی اولیه پیروی از دستورالعمل ها و بهره مندی از تنظیم ایمنی اولیه در مدل های IT را به ارث ببرند.

دو تا از شناخته‌شده‌ترین رویکردها برای تنظیم LLM، تنظیم دقیق (SFT) و یادگیری تقویتی (RL) هستند.

• تنظیم دقیق نظارت شده (SFT): از مجموعه داده هایی از نمونه ها استفاده می کند که رفتار مورد نظر برنامه شما را مشخص می کند. برای استفاده از SFT برای تنظیم مدل خود برای ایمنی، باید مجموعه داده ای داشته باشید که هر دو ورودی نمونه را که ممکن است منجر به رفتار ناامن شوند، همراه با خروجی ایمن مطلوب در آن موقعیت را مشخص کند.
• یادگیری تقویتی از ترجیحات انسانی (RLHF): یک تکنیک تنظیمی که می تواند از مجموعه داده هایی استفاده کند که هم نمونه هایی از رفتار دلخواه و هم نمونه هایی از رفتار ناخواسته را شامل می شود. RLHF ابتدا شامل آموزش چیزی است که مدل پاداش نامیده می شود. این مدل وظیفه ارائه نمره کیفی را بر عهده دارد که برای آموزش LLM شما استفاده می شود. RLHF را می توان برای تنظیم ایمنی با ایجاد مجموعه داده ای استفاده کرد که حاوی ورودی هایی است که ممکن است منجر به رفتار ناامن شود و برای هر یک نمونه ای از پاسخ ایمن مورد نظر و همچنین نمونه ای از پاسخ ناایمن را داشته باشد.

برای هر دو تکنیک، نتایج نهایی تا حد زیادی به کیفیت داده های تنظیم شما بستگی دارد. هنگامی که داده های مناسب را در اختیار دارید، می توانید مدل Gemma را با استفاده از KerasNLP تنظیم کنید .

آموزش تنظیم Gemma

Google Colab را راه اندازی کنید

توجه داشته باشید که اگر تنظیم را برای قابلیت‌های عمومی برنامه خود انجام می‌دهید، نه تنها برای ایمنی، ممکن است بخواهید پس از تکمیل تنظیم، به معیارهای ایمنی توجه ویژه‌ای داشته باشید، زیرا تنظیم دقیق پایین‌دستی می‌تواند به طور ناخواسته باعث رگرسیون ایمنی شود ( Qi et al., 2023 ).

الزامات داده برای تنظیم دستورالعمل

چندین مطالعه نشان داده‌اند که کیفیت داده‌ها اغلب مهم‌تر از کمیت است ( Touvron et al., 2023b ؛ Zhou et al., 2023 )، بنابراین برای اطمینان از کیفیت داده‌های خود باید زمان خود را صرف بررسی نمونه‌های آموزشی خود کنید.

دو روش متداول برای جمع‌آوری داده‌ها برای تنظیم مدل عبارتند از ایجاد پرسش‌های کاربر به صورت دستی (اغلب با کیفیت بالاتر اما مقیاس‌بندی آن سخت‌تر) یا با کمک LLMs (برای بررسی کیفیت خروجی‌های LLM دقت بیشتری لازم است، اما آسان‌تر است مقیاس).

نظارت بر تنظیم دقیق داده ها

داده‌ها برای تنظیم دقیق ایمنی تا حد زیادی به نمونه‌هایی از پرسش‌های کاربر وابسته است که احتمالاً پاسخ مدلی را ایجاد می‌کند که خط‌مشی‌های محتوای شما را نقض می‌کند. در طول مرحله SFT، مدل معمولاً بر روی جفت پرس و جوهای متخاصم با پاسخ های ایمن تنظیم می شود. دو نوع پرس و جو خصمانه وجود دارد. پرس‌وجوهای خوش‌نیت‌شده‌ای که ممکن است به‌طور ناخواسته منجر به رفتار ناخواسته برنامه‌ها و پرسش‌هایی شود که توسط کاربران متخاصم طراحی شده‌اند که قصد دارند سیستم شما را مجبور کنند به روش‌های ناخواسته عمل کند. برای جزئیات بیشتر، به راهنمای ایمنی مدل و سیستم ارزیابی مراجعه کنید.

نمونه ای از نقطه داده تنظیم دقیق ایمنی

داده های RL

یادگیری تقویتی یک فرآیند دو مرحله ای است. مرحله اول آموزش مدل پاداش است و مرحله دوم استفاده از مدل پاداش برای آموزش مدل برنامه شما. برای آموزش مدل پاداش، پرس و جوهای کاربر مورد نیاز است و معمولاً شامل دو پاسخ احتمالی و یک برچسب است که نشان می دهد کدام یک از دو پاسخ باید ترجیح داده شود. یک نقطه داده معمولی به صورت زیر است:

نمونه ای از نقطه داده ایمنی برای RLHF

برای مرحله دوم RLHF، فقط به مجموعه ای از پرس و جوهای کاربر نیاز دارید. در مورد ایمنی خاص، شما می خواهید مجموعه داده خود را با پرس و جوهای مخالف و غیر خصمانه به دقت متعادل کنید. اطلاعات بیشتر در مورد داده های متخاصم را می توان در بخش ارزیابی مدل و سیستم برای ایمنی یافت.

بهترین شیوه های تنظیم داده ها

همانطور که قبلا ذکر شد، کیفیت مجموعه تیونینگ شما کیفیت مدل نهایی را تعیین می کند. هنگام ایجاد مجموعه داده تنظیم خود باید عوامل زیر را در نظر بگیرید:

• پوشش داده ها: مجموعه داده شما باید تمام خط مشی های محتوای شما را برای هر یک از موارد استفاده از محصول شما (مثلاً پاسخ به سؤال، خلاصه سازی و استدلال) پوشش دهد.
• تنوع داده ها: تنوع مجموعه داده شما برای اطمینان از اینکه مدل شما به درستی تنظیم شده است و ویژگی های بسیاری را در بر می گیرد، کلیدی است. ممکن است نیاز به پرس‌و‌جوهایی با طول‌ها، فرمول‌بندی‌ها (تأیید، سؤالات، و غیره)، لحن‌ها، موضوعات، سطوح پیچیدگی و همچنین اصطلاحات مربوط به هویت‌ها و ملاحظات جمعیتی باشد.
• Deduplication : درست مانند داده های قبل از آموزش، حذف داده های تکراری خطر حفظ داده های تنظیم را کاهش می دهد و همچنین اندازه مجموعه تنظیم شما را کاهش می دهد.
• آلودگی با مجموعه های ارزیابی: داده های مورد استفاده برای ارزیابی باید از داده های تنظیم حذف شوند.
• شیوه‌های داده‌های مسئول فراتر از فیلتر کردن است : داده‌های برچسب‌گذاری نادرست منبع رایج خطاهای مدل است. اگر از پلتفرم‌های رتبه‌بندی جمعیتی استفاده می‌کنید، به افرادی که مسئولیت برچسب‌گذاری داده‌های شما را بر عهده دارند، دستورالعمل‌های واضحی ارائه دهید، و برای جلوگیری از سوگیری ناعادلانه ، تنوع را در استخرهای رتبه‌بندی خود هدف بگیرید.

منابع توسعه دهنده

• مجموعه داده های تنظیم با کیفیت بالا، از جمله داده های مربوط به ایمنی:
  • مجموعه داده Anthropic برای RLHF
  • مجموعه داده های LLaMAهای تنظیم شده ایمنی (Bianci و همکاران، 2023)
• Google's People + AI Guidebook بینشی عمیق از رویکرد مسئولانه برای جمع آوری و آماده سازی داده ها ارائه می دهد.