Hugging Face |
GitHub |
وبلاگ راه‌اندازی |
اسناد
پروانه: Apache 2.0 | نویسندگان: Google DeepMind
DiffusionGemma یک مدل زایا است که توسط Google DeepMind ساخته شده است. DiffusionGemma براساس معماری Gemma 4 با ۲۶ میلیارد پارامتر و ۴ میلیارد پارامتر فعال (A4B) و بااستفاده از مدل «ترکیب متخصصان» (MoE)، بااستفاده از انتشار گسسته، توکن تولید می‌کند. این مدل با وزن‌های باز چندحالته است و ورودی‌های نوشتاری، تصویری، و ویدیویی را برای تولید برونداد نوشتاری مدیریت می‌کند.
DiffusionGemma که بر پایه MoE ساخته شده است، برای بهبود سرعت تولید (تعداد نمانه در ثانیه) طراحی شده است و درعین‌حال در محیط‌های سخت‌افزاری مختلف قابل‌استقرار است. DiffusionGemma براساس پیشرفت‌های معماری و قابلیتی Gemma 4 ساخته شده است و چندین ویژگی اصلی را معرفی می‌کند:
- Discrete Text Diffusion – از خودبازگشت توکن‌به‌توکن به نمونه‌برداری چندبوم خودبازگشت بلوکی تغییر می‌کند. این مدل با حذف نویز تکراری بلوک‌های کد (یک «بوم») به‌صورت موازی، نوشتار تولید می‌کند و سرعت رمزگشایی را به‌طور قابل‌توجهی افزایش می‌دهد.
- پردازش ورودی چندحالته – ورودی‌های درهم‌تنیده نوشتار، تصویر (با پشتیبانی از نسبت ابعادی و وضوح متغیر)، و ویدیو را برای تولید بروندادهای نوشتاری پردازش می‌کند.
- معماری کدبند-کدگشا – از کدبند خودبازگشتی برای پردازش و ذخیره کردن بافت پیام‌واره در حافظه نهان استفاده می‌کند و با کدگشایی جفت می‌شود که توجه دوطرفه را بر بوم تولید اعمال می‌کند.
- کارایی «ترکیب کارشناسان» (MoE) – از طراحی پراکنده MoE (۸ کارشناس فعال از مجموع ۱۲۸ کارشناس) برای ارائه قابلیت‌های استدلال قوی استفاده می‌کند، درحالی‌که ردپای حافظه کمی را حفظ می‌کند که برای اجرای محلی مناسب است.
- حالت اندیشگر (استدلال) – به‌عنوان یک استدلال‌گر بسیار توانمند با حالت‌های اندیشگر قابل‌پیکربندی طراحی شده است.
- بهینه‌شده برای استنتاج با اندازه دسته کوچک – به‌طور خاص برای تولید با سرعت بالا و تأخیر کم در یک شتاب‌دهنده توانمند طراحی شده است.
- پشتیبانی از پیام‌واره سیستم بومی – مانند Gemma 4، از به‌روزرسانی نقش
systemپشتیبانی می‌کند و مکالمه‌های ساختاریافته‌تر و قابل‌کنترل‌تری را ممکن می‌سازد.
نمای کلی مدل
DiffusionGemma برای کاهش گلوگاه‌های متوالی مدل‌های زبانی علّی استاندارد طراحی شده است. این مدل از معماری کدبند-رمزگشا استفاده می‌کند که به‌طور خاص برای سرعت استنتاج بهینه‌سازی شده است.
رمزگذار در ظرفیت پیش‌پر کردن عمل می‌کند، پیام‌واره اولیه را پردازش می‌کند، و حافظه پنهان KV را تولید می‌کند. سپس رمزگشا از توجه دوطرفه برای پردازش بلوک ورودی (یک «بوم») از نشانه‌ها استفاده می‌کند و ازطریق توجه متقاطع به بافت ذخیره‌شده در حافظه نهان دسترسی پیدا می‌کند.
درطول استنتاج، DiffusionGemma از نمونه‌گیری چندبوم استفاده می‌کند. مدل به‌جای تولید یک نشانه در هر بار، به‌طور تکراری یک بلوک کامل از نشانه‌ها را بااستفاده از نمونه‌بردار انتشار نویززدایی می‌کند. وقتی نویز بوم کاملاً حذف شد، توسط کدبند پردازش می‌شود و به حافظه پنهان KV اضافه می‌شود، سپس مدل بوم بعدی را تولید می‌کند. این رویکرد خودبازگشتی بلوکی تولید نوشتار را با سرعت‌های بالاتر تسهیل می‌کند.
DiffusionGemma
| دارایی | DiffusionGemma 26B A4B |
|---|---|
| مجموع پارامترها | ۲۵٫۲ میلیارد |
| پارامترهای فعال | ۳٫۸ میلیارد |
| لایه‌ها | 30 |
| پنجره لغزنده | ۱۰۲۴ کد |
| طول بافت | تا ۲۵۶ هزار کد |
| طول بوم | 256 |
| اندازه واژگان | ۲۶۲ هزار |
| تعداد کارشناسان | ۸ فعال / ۱۲۸ کل و ۱ هم‌رسانی‌شده |
| روش‌های پشتیبانی‌شده | نوشتار، تصویر |
| پارامترهای کدبند بینایی | ~۵۵۰ میلیون |
نتایج محک‌زنی
این مدل‌ها دربرابر مجموعه بزرگی از مجموعه داده‌ها و سنجه‌های مختلف ارزیابی شدند تا جنبه‌های مختلف تولید نوشتار را پوشش دهند. نتایج ارزیابی علامت‌گذاری‌شده در جدول برای مدل‌های تنظیم‌شده با دستورالعمل است، با نمونه‌بردار توصیه‌شده Entropy Bound (EB) (به «روال‌های مطلوب» در زیر مراجعه کنید).
| معیار | DiffusionGemma 26B A4B | Gemma 4 26B A4B |
|---|---|---|
| MMLU Pro | ٪۷۷٫۶ | ٪۸۲٫۶ |
| AIME 2026 no tools | ٪۶۹٫۱ | ٪۸۸٫۳ |
| LiveCodeBench v6 | ٪۶۹٫۱ | ٪۷۷٫۱ |
| Codeforces ELO | 1429 | 1718 |
| GPQA Diamond | ٪۷۳٫۲ | ٪۸۲٫۳ |
| Tau2 (میانگین بیش‌از ۳) | ٪۵۶٫۲ | ٪۶۸٫۲ |
| HLE no tools | ٪۱۱٫۰ | ٪۸٫۷ |
| HLE با جستجو | ٪۱۱٫۹ | ٪۱۷٫۲ |
| BigBench Extra Hard | ٪۴۷٫۶ | ٪۶۴٫۸ |
| MMMLU | ٪۸۱٫۵ | ٪۸۶٫۳ |
| بینایی | ||
| MMMU Pro | ٪۵۴٫۳ | ٪۷۳٫۸ |
| OmniDocBench 1.5 (میانگین فاصله ویرایش، کمتر بهتر است) | ۰٫۳۱۹ | ۰٫۱۴۹ |
| MATH-Vision | ٪۷۰٫۵ | ٪۸۲٫۴ |
| MedXPertQA MM | ٪۴۹٫۰ | ٪۵۸٫۱ |
| پنجره طولانی زمینه | ||
| MRCR v2 8 needle 128k (average) | ٪۳۲٫۰ | ٪۴۴٫۱ |
قابلیت‌های اصلی
DiffusionGemma طیف گسترده‌ای از تکالیف را در نوشتار و بینایی انجام می‌دهد. قابلیت‌های کلیدی عبارت‌اند از:
- تولید با سرعت بالا - حذف نویز موازی ۲۵۶ توکن ازطریق نمونه‌برداری انتشار، با تولید ۱۵ تا ۲۰ توکن در هر گذر رو به جلو، به تأخیر کم دست می‌یابد و سرعت تولید برای هر کاربر را در تنظیمات اندازه دسته کوچک (H100، FP8) به بیش از ۱۱۰۰ توکن در ثانیه می‌رساند.
- محاسبه زمان استنتاج تطبیقی - پیام‌واره‌های ساده‌تر و تکالیف ساختاریافته مانند کد به مراحل کاهش نویز کمتری نیاز دارند، که امکان سرعت‌های پویای توکن در ثانیه را براساس پیچیدگی تکلیف فراهم می‌کند.
- اندیشگر – حالت استدلال داخلی که به مدل اجازه می‌دهد پیش‌از پاسخ دادن، گام‌به‌گام فکر کند.
- بافت طولانی – پنجره‌های بافت تا ۲۵۶ هزار داده‌واحد.
- درک تصویر – تشخیص اشیا، تجزیه سند/PDF، درک صفحه و رابط کاربری، درک نمودار، OCR (ازجمله چندزبانه)، تشخیص دست‌نویس، و اشاره کردن. تصاویر را می‌توان با نسبت‌های ابعادی و وضوح‌های متغیر پردازش کرد.
- درک ویدیو – محتوای ویدیو را با پردازش توالی فریم‌ها تحلیل و توصیف می‌کند.
- ورودی چندوجهی درهم‌تنیده – تصاویر، ویدیو، و نوشتار را در یک پیام‌واره واحد برای استدلال با بافتار سنگین ترکیب کنید.
- فراخوانی تابع – پشتیبانی بومی از استفاده از ابزار ساختاریافته، که گردش کار عاملی را ممکن می‌سازد.
- کدنویسی و استدلال – قادر به تولید کد، تکمیل کد، و استدلال منطقی گام‌به‌گام است.
- چندزبانه – پشتیبانی آماده استفاده برای بیش‌از ۳۵ زبان، ازپیش آموزش‌دیده به بیش‌از ۱۴۰ زبان.
روال‌های مطلوب
برای داشتن بهترین عملکرد، از این پیکربندی‌ها و روال‌های مطلوب استفاده کنید:
۱. تنظیمات نمونه‌برداری انتشار
از پیکربندی نمونه‌گیری استانداردشده زیر در همه موارد استفاده استفاده کنید:
- روش: نمونه‌گیری انتشار با «کاهش نوفه با آنتروپی محدود» و «توقف تطبیقی».
- پیکربندی نمونه‌برداری:
- حداکثر تعداد مراحل کاهش نوفه = ۴۸
- برنامه زمانی دما (برای شکل‌دهی logit): کاهش خطی از ۰٫۸ ← ۰٫۴
- انتخاب توکن: در هر مرحله، نمونه‌گیر توکن‌های با کمترین آنتروپی را انتخاب می‌کند به‌طوری‌که مرز اطلاعات متقابل آن‌ها زیر مرز آنتروپی = ۰٫۱ باقی بماند.
- نویزگذاری مجدد کد: نمونه‌بردار کدهای انتخاب‌نشده را کاملاً نویزگذاری مجدد می‌کند
- توقف تطبیقی: نمونه‌برداری زودتر خاتمه می‌یابد اگر و تنها اگر هر دو
شرط زیر به‌طور هم‌زمان برآورده شوند:
- پیش‌بینی‌های مطمئن: میانگین آنتروپی مدل روی بوم زیر آستانه آنتروپی = ۰٫۰۰۵ است
- پیش‌بینی‌های پایدار: پیش‌بینی‌های داده‌واحد با بالاترین احتمال در دو مرحله متوالی کاهش نوفه یکسان باقی می‌مانند
۲. پیکربندی حالت تفکر
مشابه مدل‌های Gemma 4، از نقش‌های استاندارد system، assistant، و user استفاده می‌کنیم. برای مدیریت صحیح فرایند تفکر، از نشان‌های کنترل زیر استفاده کنید:
- راه‌اندازی «اندیشیدن»: «اندیشیدن» با گنجاندن داده‌واحد
<|think|>در ابتدای پیام‌واره سیستم فعال می‌شود. برای غیرفعال کردن تفکر، توکن را بردارید (توجه داشته باشید که ممکن است کانال تفکر خالی همچنان منتشر شود). - تولید استاندارد: وقتی اندیشیدن فعال باشد، مدل استدلال داخلی خود را خروجی می‌دهد و سپس پاسخ نهایی را بااستفاده از این ساختار ارائه می‌دهد:
<|channel>thought\n[استدلال داخلی]<channel|>. - رفتار غیرفعال کردن «اندیشیدن»: اگر «اندیشیدن» غیرفعال باشد، مدل همچنان برچسب‌ها را تولید می‌کند اما با یک بلوک اندیشه خالی:
<|channel>thought\n<channel|>[پاسخ نهایی].
توجه داشته باشید که بسیاری از کتابخانه‌ها مانند transformers پیچیدگی‌های الگوی گپ را برای شما مدیریت می‌کنند.
۳. مکالمه‌های چندنوبتی
- نبودن محتوای «اندیشگر» در سابقه: در مکالمه‌های چندنوبتی، برونداد مدل سابقه باید فقط شامل پاسخ نهایی باشد. افکار مربوط به نوبت‌های مدل قبلی نباید قبل‌از شروع نوبت کاربر بعدی اضافه شود.
۴. ترتیب ماهیت
- برای عملکرد بهینه با ورودی‌های چندحالتی، محتوای تصویر را قبل‌از نوشتار در پیام‌واره‌تان قرار دهید.
۵. وضوح تصویر متغیر
DiffusionGemma علاوه‌بر نسبت‌های ابعادی متغیر، از وضوح تصویر متغیر نیز ازطریق بودجه قابل‌پیکربندی برای کدهای دیداری پشتیبانی می‌کند. این بودجه تعداد کدهایی را که برای نمایش تصویر استفاده می‌شود کنترل می‌کند. بودجه توکن بالاتر جزئیات بصری بیشتری را با هزینه محاسبات اضافی حفظ می‌کند، درحالی‌که بودجه کمتر امکان استنتاج سریع‌تر را برای تکالیفی که به درک دقیق نیاز ندارند فراهم می‌کند.
- بودجه‌های توکن پشتیبانی‌شده عبارتند از: ۷۰، ۱۴۰، ۲۸۰، ۵۶۰، و
۱۱۲۰.
- از بودجه‌های کمتر برای طبقه‌بندی، زیرنویس ناشنوایان، یا درک ویدیو استفاده کنید، جایی که استنتاج سریع‌تر و پردازش فریم‌های متعدد بر جزئیات دقیق ارجحیت دارد.
- برای کارهایی مثل OCR، تجزیه سند، یا خواندن نوشتار کوچک از بودجه‌های بالاتر استفاده کنید.
۶. طول ویدیو
همه مدل‌ها از ورودی‌های تصویری پشتیبانی می‌کنند و می‌توانند ویدیوها را به‌صورت فریم پردازش کنند. ویدیو حداکثر ۶۰ ثانیه را پشتیبانی می‌کند، با فرض اینکه تصاویر با سرعت یک فریم در ثانیه پردازش شوند.
داده‌های مدل
داده‌های استفاده‌شده برای آموزش مدل و نحوه پردازش داده‌ها.
مجموعه‌داده آموزشی
مجموعه‌داده پیش‌آموزش ما مجموعه‌ای بزرگ و متنوع از داده‌ها است که طیف گسترده‌ای از دامنه‌ها و حالت‌ها را دربرمی‌گیرد، ازجمله اسناد وب، کد، تصویر، و صدا، با تاریخ قطع ژانویه ۲۰۲۵. در اینجا عناصر اصلی را می‌بینید:
- اسناد وب: مجموعه متنوعی از نوشتار وب تضمین می‌کند که مدل درمعرض طیف گسترده‌ای از سبک‌های زبانی، موضوعات، و واژگان قرار می‌گیرد. مجموعه داده‌های آموزشی شامل محتوا به بیش‌از ۱۴۰ زبان است.
- کد: قرار دادن مدل درمعرض کد به آن کمک می‌کند تا نحو و الگوهای زبان‌های برنامه‌نویسی را یاد بگیرد، که این امر توانایی آن را در تولید کد و درک سؤالات مربوط به کد بهبود می‌بخشد.
- ریاضیات: آموزش روی نوشتار ریاضی به مدل کمک می‌کند استدلال منطقی و نمایش نمادین را یاد بگیرد و به پُرسمان‌های ریاضی پاسخ دهد.
- تصاویر: طیف گسترده‌ای از تصاویر به مدل امکان می‌دهد تا وظایف تحلیل تصویر و استخراج داده‌های دیداری را انجام دهد.
ترکیب این منابع داده متنوع برای آموزش یک مدل چندوجهی قدرتمند که بتواند طیف گسترده‌ای از وظایف و قالب‌های داده مختلف را مدیریت کند، بسیار مهم است.
پیش‌پردازش داده‌ها
در اینجا روش‌های کلیدی پاک‌سازی و فیلتر کردن داده‌ها که برای داده‌های آموزشی اعمال شده است آورده شده است:
- فیلتر کردن CSAM: فیلتر کردن دقیق CSAM (محتوای کودک‌آزاری جنسی) در مراحل متعدد فرایند آماده‌سازی داده‌ها اعمال شد تا اطمینان حاصل شود که محتوای مضر و غیرقانونی حذف شده است.
- فیلتر کردن داده‌های حساس: به‌عنوان بخشی از ایمن و قابل‌اعتماد کردن مدل‌های ازپیش آموزش‌دیده Gemma، از تکنیک‌های خودکار برای فیلتر کردن برخی اطلاعات شخصی و دیگر داده‌های حساس از مجموعه‌های آموزشی استفاده شد.
- روش‌های دیگر: فیلتر کردن براساس کیفیت و ایمنی محتوا مطابق با خط‌مشی‌های ما.
اخلاق و ایمنی
با تبدیل شدن مدل‌های باز به هسته اصلی زیرساخت‌های سازمانی، منشأ و امنیت اهمیت بسیار زیادی پیدا می‌کنند. DiffusionGemma که توسط Google DeepMind توسعه یافته است، تحت همان ارزیابی‌های ایمنی سخت‌گیرانه‌ای قرار می‌گیرد که مدل‌های Gemini اختصاصی ما تحت آن قرار می‌گیرند.
رویکرد ارزیابی
DiffusionGemma با مشارکت تیم‌های ایمنی داخلی و هوش مصنوعی مسئولانه توسعه یافته است. طیفی از ارزیابی‌های خودکار و انسانی برای کمک به بهبود ایمنی مدل انجام شد. این ارزیابی‌ها با اصول هوش مصنوعی Google و همچنین خط‌مشی‌های ایمنی مطابقت دارند که هدفشان جلوگیری از تولید محتوای مضر توسط مدل‌های هوش مصنوعی زایا است، ازجمله:
- محتوای مرتبط با بهره‌کشی و محتوای کودک‌آزاری جنسی
- محتوای خطرناک (مثلاً ترویج خودکشی یا آموزش فعالیت‌هایی که می‌تواند باعث آسیب در دنیای واقعی شود)
- محتوای صریح جنسی
- سخنان مشوق عداوت و تنفر (مثلاً انسانیت‌زدایی از اعضای گروه‌های موردحفاظت)
- آزار (مثلاً تشویق به خشونت علیه افراد)
نتایج ارزیابی
در همه حوزه‌های آزمایش ایمنی، شاهد بهبودهای عمده‌ای در همه دسته‌های ایمنی محتوا نسبت‌به نسل‌های قبلی مدل‌های Gemma بودیم. به‌طور کلی، DiffusionGemma، مانند مدل‌های Gemma 4، به‌طور قابل‌توجهی از مدل‌های Gemma 3 و 3n در بهبود ایمنی بهتر عمل می‌کند، درحالی‌که رد کردن‌های غیرموجه را در سطح پایینی نگه می‌دارد. همه آزمایش‌ها عمداً بدون فیلترهای ایمنی انجام شد تا قابلیت‌های خام و رفتارهای پایه مدل ارزیابی شود. برای هر دو مدل نوشتار به نوشتار و تصویر به نوشتار، و در همه اندازه‌های مدل، این مدل حداقل نقض خط‌مشی را ایجاد کرد و بهبودهای قابل‌توجهی نسبت‌به مدل‌های Gemma قبلی نشان داد.
استفاده و محدودیت‌ها
این مدل‌ها محدودیت‌های خاصی دارند که کاربران باید از آن‌ها مطلع باشند.
استفاده موردنظر
مدل‌های چندحالتی (با قابلیت پردازش بینایی، زبان، و/یا صدا) کاربردهای گسترده‌ای در صنایع و حوزه‌های مختلف دارند. فهرست زیر از کاربردهای احتمالی جامع نیست. هدف از این فهرست ارائه اطلاعات زمینه‌ای درباره موارد استفاده احتمالی است که سازندگان مدل به‌عنوان بخشی از آموزش و توسعه مدل درنظر گرفته‌اند.
- ایجاد محتوا و ارتباط
- تولید نوشتار: قالب‌های نوشتاری خلاقانه مانند شعر، فیلم‌نامه، کد، متن بازاریابی، و پیش‌نویس ایمیل تولید می‌کند.
- روبات‌های گپ و هوش مصنوعی مکالمه‌ای: میاناهای مکالمه‌ای را برای خدمات مشتری، دستیارهای مجازی، یا برنامه‌های تعاملی تقویت می‌کند.
- خلاصه‌سازی نوشتار: خلاصه‌های مختصری از پیکره نوشتار، مقاله‌های پژوهشی، یا گزارش‌ها تولید می‌کند.
- استخراج داده‌های تصویر: داده‌های تصویری را برای ارتباطات نوشتاری استخراج، تفسیر، و خلاصه می‌کند.
- پژوهش و آموزش
- پژوهش درباره «پردازش زبان طبیعی» (NLP) و «مدل زبانی تصویری» (VLM): به‌عنوان پایه‌ای برای پژوهشگران عمل می‌کند تا با تکنیک‌های «مدل زبانی تصویری» و «پردازش زبان طبیعی» آزمایش کنند، الگوریتم‌ها را توسعه دهند، و به پیشرفت این حوزه کمک کنند.
- ابزارهای یادگیری زبان: از تجربه‌های تعاملی یادگیری زبان پشتیبانی می‌کند و به تصحیح دستور زبان یا ارائه تمرین نوشتن کمک می‌کند.
- کاوش دانش: به پژوهشگران کمک می‌کند تا با تولید خلاصه یا پاسخ دادن به سؤالات درباره موضوعات خاص، حجم زیادی از نوشتار را کاوش کنند.
محدودیت‌ها
- داده‌های آموزشی
- کیفیت و تنوع داده‌های آموزشی به‌طور قابل‌توجهی بر قابلیت‌های مدل تأثیر می‌گذارد. سوگیری‌ها یا کاستی‌ها در داده‌های آموزشی می‌تواند به محدودیت‌هایی در پاسخ‌های مدل منجر شود.
- دامنه مجموعه داده‌های آموزشی تعیین می‌کند که مدل می‌تواند کدام حوزه‌های موضوعی را به‌طور مؤثر مدیریت کند.
- بافت و پیچیدگی تکلیف
- این مدل در تکالیفی که می‌توان آن‌ها را با پیام‌واره‌ها و دستورالعمل‌های واضح قاب‌بندی کرد، عملکرد خوبی دارد. تکالیف پایان‌باز یا بسیار پیچیده ممکن است چالش‌برانگیز باشند.
- عملکرد مدل می‌تواند تحت تأثیر میزان بافت ارائه‌شده قرار گیرد (بافت طولانی‌تر معمولاً تا حد معینی به بروندادهای بهتری منجر می‌شود).
- ابهام و ظرافت زبانی
- زبان طبیعی ذاتاً پیچیده است. مدل ممکن است در درک تفاوت‌های ظریف، کنایه، یا زبان مجازی با مشکل مواجه شود.
- دقت واقعی
- مدل براساس اطلاعاتی که از مجموعه‌داده‌های آموزشی خود آموخته است پاسخ تولید می‌کند، اما این مجموعه‌داده‌ها پایگاه دانش نیستند. ممکن است اظهارات واقعی نادرست یا قدیمی تولید کند.
- Common Sense
- این مدل بر الگوهای آماری در زبان تکیه دارد. ممکن است در برخی شرایط نتواند از استدلال عقل سلیم استفاده کند.
ملاحظات و خطرات اخلاقی
در ایجاد یک مدل باز بینایی-زبانی، موارد زیر را به‌دقت درنظر گرفته‌ایم:
- سوگیری و انصاف
- مدل‌های زبانی-دیداری که با داده‌های نوشتاری و تصویری واقعی در مقیاس بزرگ آموزش دیده‌اند می‌توانند سوگیری‌های اجتماعی-فرهنگی موجود در مطالب آموزشی را منعکس کنند. DiffusionGemma تحت بررسی دقیق، پیش‌پردازش داده‌های ورودی، و ارزیابی‌های پس‌از آموزش قرار گرفت تا به کاهش خطر این سوگیری‌ها کمک کند.
- کژاطلاعات و سوءاستفاده
- از مدل‌های زبانی بینایی می‌توان برای تولید نوشتار نادرست، گمراه‌کننده، یا مضر سوءاستفاده کرد.
- رهنمودهایی برای استفاده مسئولانه از مدل ارائه شده است، جعبه‌ابزار هوش مصنوعی زایای مسئولانه را ببینید.
- شفافیت و مسئولیت‌پذیری
- این کارت مدل جزئیات مربوط به معماری، قابلیت‌ها، محدودیت‌ها، و فرایندهای ارزیابی مدل را خلاصه می‌کند.
- یک مدل باز که به‌طور مسئولانه توسعه یافته است، فرصتی برای هم‌رسانی نوآوری با دردسترس قرار دادن فناوری VLM برای توسعه‌دهندگان و پژوهشگران در سراسر بوم‌سازگان هوش مصنوعی فراهم می‌کند.
خطرات شناسایی‌شده و اقدامات کاهشی:
- تولید محتوای مضر: سازوکارها و دستورالعمل‌های ایمنی محتوا ضروری هستند. توسعه‌دهندگان تشویق می‌شوند که احتیاط کنند و براساس خط‌مشی‌های محصول خاص و موارد استفاده از برنامه، تدابیر ایمنی محتوای مناسب را اجرا کنند.
- سوءاستفاده برای اهداف مخرب: محدودیت‌های فنی و آموزش توسعه‌دهنده و کاربر نهایی می‌تواند به کاهش کاربردهای مخرب مدل‌های زبانی بینایی کمک کند. منابع آموزشی و سازوکارهای گزارش‌دهی برای کاربران جهت پرچم‌گذاری سوءاستفاده ارائه شده است.
- نقض حریم خصوصی: مدل‌ها با داده‌هایی آموزش دیده‌اند که برای حذف برخی اطلاعات شخصی و سایر داده‌های حساس فیلتر شده‌اند. توسعه‌دهندگان تشویق می‌شوند بااستفاده از تکنیک‌های حافظ حریم خصوصی، از مقررات حریم خصوصی پیروی کنند.
- تداوم سوگیری‌ها: توصیه می‌شود که نظارت مداوم (بااستفاده از سنجه‌های ارزیابی، بازبینی انسانی) و کاوش تکنیک‌های سوگیری‌زدایی درطول آموزش مدل، تنظیم دقیق، و سایر موارد استفاده انجام شود.
مزایا
در زمان انتشار، این مدل یک مدل بینایی-زبانی باز با تأخیر کم و عملکرد بالا است که گزینه‌ای جذاب برای توسعه‌دهندگان و علاقه‌مندان به تحقیق در مدل‌های زبانی انتشار ارائه می‌دهد. این مدل از ابتدا برای توسعه مسئولانه هوش مصنوعی درمقایسه با مدل‌های با اندازه مشابه طراحی شده است.