مدل های خود را تراز کنید

همسویی فرآیند مدیریت رفتار هوش مصنوعی مولد (GenAI) است تا اطمینان حاصل شود که خروجی های آن با نیازها و انتظارات محصولات شما مطابقت دارد. این تلاش‌ها یک حوزه تحقیقاتی باز و فعال هستند، و شما باید تصمیم بگیرید که چه معنایی دارد که مدل شما با محصول شما هماهنگ باشد و چگونه برنامه‌ریزی می‌کنید تا آن را اجرا کنید. در این سند، می‌توانید در مورد دو تکنیک - قالب‌های سریع و تنظیم مدل - و ابزارهایی که امکان بازآفرینی و اشکال‌زدایی سریع را فراهم می‌کنند و می‌توانید برای دستیابی به اهداف تراز خود استفاده کنید، آشنا شوید. برای اطلاعات بیشتر در مورد اهداف و رویکردهای همسویی مدل، به هوش مصنوعی، ارزش‌ها و همسویی مراجعه کنید.

الگوهای سریع

الگوهای اعلان، که اعلان‌های سیستمی نیز نامیده می‌شوند، بسته به مورد استفاده شما، به عنوان دستورالعمل‌های سیستم و نمونه‌های کوچکی که مدل را به سمت نتایج ایمن‌تر و با کیفیت‌تر هدایت می‌کنند، زمینه‌ای را در مورد ورودی کاربر و خروجی مدل فراهم می‌کنند. برای مثال، اگر هدف شما خلاصه‌های با کیفیت بالا از انتشارات علمی فنی است، ممکن است استفاده از یک الگوی سریع مانند:

The following examples show an expert scientist summarizing the
key points of an article. Article: {{article}}
Summary:

جایی که {{article}} یک مکان نگهدار برای مقاله در حال خلاصه سازی است.

الگوهای متنی سریع می توانند کیفیت و ایمنی خروجی مدل شما را به میزان قابل توجهی بهبود بخشند. با این حال، نوشتن الگوهای سریع می تواند چالش برانگیز باشد و به خلاقیت، تجربه و مقدار قابل توجهی تکرار نیاز دارد. کتابخانه Model Alignment دو روش را برای بهبود مکرر طراحی الگوی سریع شما با کمک LLMها مانند Gemini ارائه می دهد. علاوه بر این، راهنماهای پیشنهادی زیادی وجود دارد، از جمله بهترین روش‌ها برای Gemini API و Vertex AI .

قالب‌های سریع معمولاً کنترل قوی‌تری بر خروجی مدل در مقایسه با تنظیم ارائه می‌کنند، و بیشتر مستعد نتایج ناخواسته از ورودی‌های متخاصم هستند. برای درک دقیق نحوه عملکرد یک الگوی سریع در راستای اهداف ایمنی خاص، استفاده از مجموعه داده ارزیابی که در توسعه الگو نیز استفاده نشده است، مهم است. ابزارهای اشکال زدایی سریع همچنین می توانند برای درک تعاملات خاص بین محتوای سیستم، کاربر و مدل در اعلان هایی که مدل شما می بیند مفید باشد. به طور خاص، آن‌ها می‌توانند بخش‌هایی از خروجی تولید شده را به مرتبط‌ترین و تأثیرگذارترین محتوا در اعلان متصل کنند.

تیونینگ مدل

تنظیم یک مدل از یک نقطه بازرسی، یک نسخه خاص از یک مدل شروع می شود و از یک مجموعه داده برای اصلاح رفتار مدل استفاده می کند. مدل‌های Gemma و سایر LLM‌ها در هر دو نوع Pretrained (PT) و Instruction Tuned (IT) موجود هستند. انواع PT دستور را به عنوان پیشوندی برای ادامه در نظر می گیرند، در حالی که انواع تنظیم شده IT بیشتر تنظیم شده اند تا اعلان را به عنوان مجموعه ای از دستورالعمل ها در نظر بگیرند که نحوه تکمیل یک کار را توصیف می کند. در بیشتر موارد، برای به ارث بردن مزایای ایمنی و پیروی از دستورالعمل های اساسی، باید با یک نوع IT شروع کنید، اما ممکن است برای دستیابی به اهداف برنامه خاص شما نیاز به تنظیم بیشتر باشد.

تنظیم مدل ها برای ایمنی ظریف و چالش برانگیز است. اگر یک مدل بیش از حد تنظیم شود، می تواند سایر قابلیت های مهم را از دست بدهد. برای مثال، موضوع تداخل فاجعه‌بار را ببینید. علاوه بر این، رفتار ایمن برای یک مدل زمینه ای است. آنچه برای یک برنامه ایمن است ممکن است برای دیگری ناامن باشد. اگر متوجه شدید که مدل شما نسبت به تنظیم ایمنی اضافی عملکرد خوبی ندارد، به جای آن، تدابیری اتخاذ کنید که سیاست‌های رفتاری شما را اجرا کند.

دو تا از شناخته‌شده‌ترین رویکردها برای تنظیم LLM، تنظیم دقیق (SFT) و یادگیری تقویتی (RL) هستند.

• تنظیم دقیق نظارت شده (SFT) از مجموعه داده‌هایی از نمونه‌ها استفاده می‌کند که رفتار مورد نظر برنامه شما را با برچسب‌گذاری داده‌ها رمزگذاری می‌کند. برای استفاده از SFT برای تنظیم مدل خود برای ایمنی، باید مجموعه داده ای با نمونه هایی از رفتارهای ایمن و ناایمن داشته باشید تا مدل بتواند تفاوت ها را تشخیص دهد.
• یادگیری تقویتی از ترجیحات انسانی (RLHF) از یک مدل پاداش برای امتیازدهی به نسل های LLM شما بر اساس انطباق آنها با سیاست های رفتاری استفاده می کند. همانند SFT، مدل پاداش RLHF باید در مورد رفتارهای ایمن و ناایمن آموزش داده شود تا امتیاز مناسبی ایجاد شود. در حالی که RLHF گران تر است، می تواند منجر به عملکرد بهتر شود زیرا مدل پاداش انعطاف پذیری بیشتری برای رمزگذاری تفاوت های ظریف در امتیاز خود دارد.

برای هر دو تکنیک، نتایج نهایی تا حد زیادی به کیفیت داده های تنظیم شما بستگی دارد. هنگامی که داده های مناسب را در اختیار دارید، می توانید مدل Gemma را با استفاده از KerasNLP تنظیم کنید .

آموزش تنظیم Gemma

Google Colab را راه اندازی کنید

الزامات و ویژگی های داده

مطالعات تحقیقاتی نشان داده‌اند که کیفیت داده‌ها اغلب مهم‌تر از کمیت است، بنابراین باید برای بررسی نمونه‌های آموزشی خود زمان بگذارید تا از کیفیت داده‌های خود اطمینان حاصل کنید ( Touvron, 2023 ؛ Zhou, 2023 ).

دو رویکرد رایج برای مدیریت داده‌های آموزشی و ارزیابی برای تنظیم، تولید ورودی کاربر به صورت دستی یا با کمک LLMها است. تولید داده‌های انسانی اغلب کیفیت بالاتری دارد و به بررسی نظارتی کمتری نسبت به داده‌های تولید شده LLM نیاز دارد، اما مقیاس‌پذیری آن سخت‌تر و اغلب پرهزینه‌تر است.

نظارت بر تنظیم دقیق داده ها

داده‌ها برای تنظیم دقیق ایمنی تا حد زیادی به نمونه‌هایی از پرسش‌های کاربر وابسته است که احتمالاً پاسخ مدلی را ایجاد می‌کند که خط‌مشی‌های محتوای شما را نقض می‌کند. در طول مرحله SFT، مدل معمولاً بر روی جفت پرس و جوهای متخاصم با پاسخ های ایمن تنظیم می شود. دو نوع پرس و جو خصمانه وجود دارد. پرس‌وجوهای خوش‌نیت‌شده‌ای که ممکن است به‌طور ناخواسته منجر به رفتار ناخواسته برنامه‌ها و پرسش‌هایی شود که توسط کاربران متخاصم طراحی شده‌اند که قصد دارند سیستم شما را مجبور کنند به روش‌های ناخواسته عمل کند. برای جزئیات بیشتر، به راهنمای ایمنی مدل و سیستم ارزیابی مراجعه کنید.

نمونه ای از نقطه داده تنظیم دقیق ایمنی

داده های RL

یادگیری تقویتی یک فرآیند دو مرحله ای است. مرحله اول آموزش مدل پاداش است و مرحله دوم استفاده از مدل پاداش برای آموزش مدل برنامه شما. برای آموزش مدل پاداش، پرس و جوهای کاربر مورد نیاز است و معمولاً شامل دو پاسخ احتمالی و یک برچسب است که نشان می دهد کدام یک از دو پاسخ باید ترجیح داده شود. یک نقطه داده معمولی به صورت زیر است:

نمونه ای از نقطه داده ایمنی برای RLHF

برای مرحله دوم RLHF، فقط به مجموعه ای از پرس و جوهای کاربر نیاز دارید. در مورد ایمنی خاص، شما می خواهید مجموعه داده خود را با پرس و جوهای مخالف و غیر خصمانه به دقت متعادل کنید. اطلاعات بیشتر در مورد داده های متخاصم را می توان در بخش ارزیابی مدل و سیستم برای ایمنی یافت.

بهترین روش ها برای تنظیم مدل

همانطور که قبلا ذکر شد، کیفیت مجموعه تیونینگ شما کیفیت مدل نهایی را تعیین می کند. هنگام ایجاد مجموعه داده تنظیم خود باید عوامل زیر را در نظر بگیرید:

• پوشش داده ها: مجموعه داده شما باید تمام خط مشی های محتوای شما را برای هر یک از موارد استفاده از محصول شما (مثلاً پاسخ به سؤال، خلاصه سازی و استدلال) پوشش دهد.
• تنوع داده ها: تنوع مجموعه داده شما برای اطمینان از اینکه مدل شما به درستی تنظیم شده است و ویژگی های بسیاری را در بر می گیرد، کلیدی است. ممکن است نیاز به پرس‌و‌جوهایی با طول‌ها، فرمول‌بندی‌ها (تأیید، سؤالات، و غیره)، لحن‌ها، موضوعات، سطوح پیچیدگی و همچنین اصطلاحات مربوط به هویت‌ها و ملاحظات جمعیتی باشد.
• Deduplication : درست مانند داده های قبل از آموزش، حذف داده های تکراری خطر حفظ داده های تنظیم را کاهش می دهد و همچنین اندازه مجموعه تنظیم شما را کاهش می دهد.
• آلودگی با مجموعه های ارزیابی: داده های مورد استفاده برای ارزیابی باید از داده های تنظیم حذف شوند.
• شیوه‌های داده‌های مسئول فراتر از فیلتر کردن است : داده‌های برچسب‌گذاری نادرست منبع رایج خطاهای مدل است. اگر از پلتفرم‌های رتبه‌بندی جمعیتی استفاده می‌کنید، به افرادی که مسئولیت برچسب‌گذاری داده‌های شما را بر عهده دارند، دستورالعمل‌های واضحی ارائه دهید، و برای جلوگیری از سوگیری ناعادلانه ، تنوع را در استخرهای رتبه‌بندی خود هدف بگیرید.

منابع توسعه دهنده

• مجموعه داده های تنظیم با کیفیت بالا، از جمله داده های مربوط به ایمنی:
  • مجموعه داده Anthropic برای RLHF
  • مجموعه داده های LLaMA با تنظیم ایمنی
• Google's People + AI Guidebook بینشی عمیق از رویکرد مسئولانه برای جمع آوری و آماده سازی داده ها ارائه می دهد.
• وب سایت LIT