کارت مدل Gemma 4

چهره در آغوش گرفته | گیت‌هاب | وبلاگ راه‌اندازی | مستندات
مجوز : آپاچی ۲.۰ | نویسندگان : گوگل دیپ‌مایند

Gemma خانواده‌ای از مدل‌های باز است که توسط Google DeepMind ساخته شده است. مدل‌های Gemma 4 چندوجهی هستند، ورودی متن و تصویر (با پشتیبانی صدا در مدل‌های E2B، E4B و 12B) را مدیریت می‌کنند و خروجی متن تولید می‌کنند. این نسخه شامل مدل‌های با وزن باز در هر دو نوع از پیش آموزش دیده و تنظیم شده با دستورالعمل است. Gemma 4 دارای یک پنجره زمینه با حداکثر 256K توکن است و پشتیبانی چندزبانه را در بیش از 140 زبان حفظ می‌کند.

Gemma 4 با دارا بودن معماری‌های Dense و Mixture-of-Experts (MoE)، برای کارهایی مانند تولید متن، کدنویسی و استدلال بسیار مناسب است. این مدل‌ها در پنج اندازه مجزا موجود هستند: E2B ، E4B ، 12B ، 26B، A4B و 31B . اندازه‌های متنوع آنها، آنها را در محیط‌هایی از تلفن‌های رده بالا گرفته تا لپ‌تاپ‌ها و سرورها قابل استفاده می‌کند و دسترسی به هوش مصنوعی پیشرفته را دموکراتیک می‌کند.

Gemma 4 قابلیت‌های کلیدی و پیشرفت‌های معماری را معرفی می‌کند:

• استدلال - همه مدل‌های این خانواده به عنوان استدلال‌کنندگان بسیار توانمند، با حالت‌های تفکر قابل تنظیم، طراحی شده‌اند.

• چندوجهی‌های توسعه‌یافته - متن، تصویر با نسبت ابعاد و پشتیبانی از وضوح متغیر (همه مدل‌ها)، ویدیو و صدا (که به صورت بومی در مدل‌های E2B، E4B و 12B ارائه شده است) را پردازش می‌کند.

• معماری‌های متنوع و کارآمد - انواع متراکم و ترکیبی از متخصصان (MoE) را در اندازه‌های مختلف برای استقرار مقیاس‌پذیر ارائه می‌دهد.

• بهینه شده برای اجرا روی دستگاه - مدل‌های کوچکتر به طور خاص برای اجرای محلی کارآمد روی لپ‌تاپ‌ها و دستگاه‌های تلفن همراه طراحی شده‌اند.

• Increased Context Window – The small models feature a 128K context window, while the medium models support 256K.

• قابلیت‌های کدنویسی و عامل‌محور بهبود یافته - در کنار پشتیبانی از فراخوانی توابع بومی، به پیشرفت‌های قابل توجهی در معیارهای کدنویسی دست می‌یابد و عامل‌های خودمختار بسیار توانمندی را توانمند می‌سازد.

• Native System Prompt Support – Gemma 4 introduces native support for the system role, enabling more structured and controllable conversations.

نمای کلی مدل‌ها

مدل‌های Gemma 4 برای ارائه عملکرد سطح بالا در هر اندازه طراحی شده‌اند و سناریوهای استقرار را از دستگاه‌های تلفن همراه و لبه (E2B، E4B) گرفته تا پردازنده‌های گرافیکی و ایستگاه‌های کاری مصرفی (12B، 26B A4B، 31B) هدف قرار می‌دهند. آن‌ها برای استدلال، گردش‌های کاری عامل‌محور، کدنویسی و درک چندوجهی بسیار مناسب هستند.

این مدل‌ها از یک مکانیسم توجه ترکیبی استفاده می‌کنند که توجه پنجره کشویی محلی را با توجه کامل سراسری در هم می‌آمیزد و تضمین می‌کند که لایه نهایی همیشه سراسری است. این طراحی ترکیبی، سرعت پردازش و اشغال فضای کم حافظه یک مدل سبک را بدون از دست دادن آگاهی عمیق مورد نیاز برای وظایف پیچیده و طولانی مدت ارائه می‌دهد. برای بهینه‌سازی حافظه برای زمینه‌های طولانی، لایه‌های سراسری دارای کلیدها و مقادیر یکپارچه هستند و RoPE متناسب (p-RoPE) را اعمال می‌کنند.

مدل‌های متراکم

حرف «E» در E2B و E4B مخفف پارامترهای «موثر» است. مدل‌های کوچک‌تر، جاسازی‌های هر لایه (PLE) را برای به حداکثر رساندن کارایی پارامترها در پیاده‌سازی‌های روی دستگاه، در خود جای می‌دهند. PLE به جای اضافه کردن لایه‌ها یا پارامترهای بیشتر به مدل، به هر لایه رمزگشا، جاسازی کوچک مخصوص به خود را برای هر توکن می‌دهد. این جداول جاسازی بزرگ هستند اما فقط برای جستجوی سریع استفاده می‌شوند، به همین دلیل تعداد پارامترهای موثر بسیار کمتر از کل است.

عبارت «یکپارچه» در Gemma 4 12B Unified به معماری بدون رمزگذار آن اشاره دارد. سایر مدل‌های Gemma 4 از رمزگذارهای اختصاصی برای پردازش داده‌های چندوجهی قبل از ارسال آنها به LLM استفاده می‌کنند. Gemma 4 12B این رمزگذارها را به طور کامل حذف می‌کند و تکه‌های تصویر خام و شکل موج‌های صوتی را مستقیماً از طریق لایه‌های خطی سبک به فضای تعبیه LLM منتقل می‌کند. این رویکرد یکپارچه به این معنی است که همه روش‌ها مستقیماً به یک ترانسفورماتور فقط رمزگشا جریان می‌یابند و تأخیر چندوجهی را کاهش می‌دهند و امکان تنظیم دقیق کل مدل را در یک گذر فراهم می‌کنند.

مدل ترکیبی از متخصصان (MoE)

حرف "A" در 26B A4B مخفف "پارامترهای فعال" است، در مقایسه با تعداد کل پارامترهایی که مدل شامل می‌شود. با فعال کردن تنها یک زیرمجموعه 4B از پارامترها در طول استنتاج، مدل Mixture-of-Experts بسیار سریع‌تر از آنچه که مجموع 26B آن نشان می‌دهد، اجرا می‌شود. این امر آن را به انتخابی عالی برای استنتاج سریع در مقایسه با مدل متراکم 31B تبدیل می‌کند، زیرا تقریباً به سرعت یک مدل 4B-parameter اجرا می‌شود.

نتایج بنچمارک

این مدل‌ها در برابر مجموعه‌ای بزرگ از مجموعه داده‌ها و معیارهای مختلف ارزیابی شدند تا جنبه‌های مختلف تولید متن را پوشش دهند. نتایج ارزیابی مشخص شده در جدول برای مدل‌های تنظیم‌شده با دستورالعمل هستند.

^* به استثنای زبان چینی.

قابلیت‌های اصلی

مدل‌های Gemma 4 طیف گسترده‌ای از وظایف را در زمینه متن، تصویر و صدا انجام می‌دهند. قابلیت‌های کلیدی عبارتند از:

• Thinking – Built-in reasoning mode that lets the model think step-by-step before answering.
• متن طولانی – پنجره‌های متن تا ۱۲۸ هزار توکن (E2B/E4B) و ۲۵۶ هزار توکن (۱۲B/26B A4B/31B).
• درک تصویر - تشخیص اشیاء، تجزیه سند/PDF، درک صفحه نمایش و رابط کاربری، درک نمودار، OCR (شامل چندزبانه)، تشخیص دستخط و اشاره‌گر. تصاویر را می‌توان با نسبت‌های ابعاد و وضوح متغیر پردازش کرد.
• درک ویدیو - تجزیه و تحلیل ویدیو با پردازش توالی فریم‌ها.
• ورودی چندوجهی درهم‌تنیده - متن و تصاویر را به هر ترتیبی در یک اعلان واحد، آزادانه ترکیب کنید.
• فراخوانی تابع - پشتیبانی بومی برای استفاده ساختاریافته از ابزار، که گردش‌های کاری عامل‌محور را فعال می‌کند.
• کدنویسی - تولید، تکمیل و اصلاح کد.
• چندزبانه - پشتیبانی پیش‌فرض از بیش از ۳۵ زبان، از پیش آموزش‌دیده روی بیش از ۱۴۰ زبان.
• صدا (فقط E2B، E4B و 12B یکپارچه) – تشخیص خودکار گفتار (ASR) و ترجمه گفتار به متن ترجمه شده در چندین زبان.

بهترین شیوه‌ها

برای بهترین عملکرد، از این تنظیمات و بهترین شیوه‌ها استفاده کنید:

۱. پارامترهای نمونه‌برداری

از پیکربندی نمونه‌گیری استاندارد زیر در تمام موارد استفاده استفاده کنید:

• temperature=1.0
• top_p=0.95
• top_k=64

۲. پیکربندی حالت تفکر

در مقایسه با Gemma 3، این مدل‌ها از نقش‌های استاندارد system ، assistant و user استفاده می‌کنند. برای مدیریت صحیح فرآیند تفکر، از توکن‌های کنترلی زیر استفاده کنید:

• فعال کردن تفکر: تفکر با قرار دادن توکن <|think|> در ابتدای اعلان سیستم فعال می‌شود. برای غیرفعال کردن تفکر، توکن را حذف کنید.
• تولید استاندارد: وقتی تفکر فعال باشد، مدل استدلال درونی خود و به دنبال آن پاسخ نهایی را با استفاده از این ساختار ارائه می‌دهد: <|channel>thought\n [استدلال درونی] <channel|>
• رفتار تفکر غیرفعال: برای همه مدل‌ها به جز انواع E2B و E4B، اگر تفکر غیرفعال باشد، مدل همچنان برچسب‌ها را تولید می‌کند اما با یک بلوک فکری خالی: <|channel>thought\n<channel|> [پاسخ نهایی]

توجه داشته باشید که بسیاری از کتابخانه‌ها مانند Transformers و llama.cpp پیچیدگی‌های قالب چت را برای شما مدیریت می‌کنند.

۳. مکالمات چند نوبتی

• عدم وجود محتوای تفکر در تاریخچه : در مکالمات چند نوبتی، خروجی مدل تاریخی فقط باید شامل پاسخ نهایی باشد. افکار نوبت‌های مدل قبلی نباید قبل از شروع نوبت بعدی کاربر اضافه شوند .

۴. ترتیب روش

برای عملکرد بهینه با ورودی‌های چندوجهی، موارد زیر را قرار دهید:

• Image content before the text in your prompt.
• محتوای صوتی بعد از متن در درخواست شما.

۵. وضوح تصویر متغیر

گذشته از نسبت‌های ابعاد متغیر، Gemma 4 از طریق یک بودجه توکن بصری قابل تنظیم، از وضوح تصویر متغیر پشتیبانی می‌کند که تعداد توکن‌های مورد استفاده برای نمایش یک تصویر را کنترل می‌کند. بودجه توکن بالاتر، جزئیات بصری بیشتری را با هزینه محاسبات اضافی حفظ می‌کند، در حالی که بودجه پایین‌تر، استنتاج سریع‌تر را برای وظایفی که نیازی به درک دقیق ندارند، امکان‌پذیر می‌سازد.

• بودجه‌های توکن پشتیبانی‌شده عبارتند از: ۷۰ ، ۱۴۰ ، ۲۸۰ ، ۵۶۰ و ۱۱۲۰ .
  • از بودجه‌های پایین‌تر برای طبقه‌بندی، زیرنویس‌گذاری یا درک ویدیو استفاده کنید، جایی که استنتاج و پردازش سریع‌تر فریم‌های زیاد بر جزئیات دقیق‌تر غلبه می‌کند.
  • Use higher budgets for tasks like OCR, document parsing, or reading small text.

۶. صدا

برای پردازش صدا از ساختارهای دستوری زیر استفاده کنید:

• تشخیص گفتار صوتی (ASR)

Transcribe the following speech segment in {LANGUAGE} into {LANGUAGE} text.

Follow these specific instructions for formatting the answer:
*   Only output the transcription, with no newlines.
*   When transcribing numbers, write the digits, i.e. write 1.7 and not one point seven, and write 3 instead of three.

• ترجمه خودکار گفتار (AST)

Transcribe the following speech segment in {SOURCE_LANGUAGE}, then translate it into {TARGET_LANGUAGE}.
When formatting the answer, first output the transcription in {SOURCE_LANGUAGE}, then one newline, then output the string '{TARGET_LANGUAGE}: ', then the translation in {TARGET_LANGUAGE}.

۷. مدت زمان صدا و تصویر

همه مدل‌ها از ورودی‌های تصویر پشتیبانی می‌کنند و می‌توانند ویدیوها را به صورت فریم پردازش کنند، در حالی که مدل‌های E2B، E4B و 12B از ورودی‌های صدا نیز پشتیبانی می‌کنند. صدا حداکثر 30 ثانیه و ویدیو حداکثر 60 ثانیه را پشتیبانی می‌کند، با فرض اینکه تصاویر با سرعت یک فریم در ثانیه پردازش شوند.

داده‌های مدل

داده‌های مورد استفاده برای آموزش مدل و نحوه پردازش داده‌ها.

مجموعه داده‌های آموزشی

مجموعه داده‌های پیش‌آموزش ما، مجموعه‌ای متنوع و در مقیاس بزرگ از داده‌ها است که طیف وسیعی از حوزه‌ها و روش‌ها را شامل می‌شود و شامل اسناد وب، کد، تصاویر، صدا و تاریخ انقضای ژانویه ۲۰۲۵ می‌شود. اجزای کلیدی عبارتند از:

• اسناد وب : مجموعه‌ای متنوع از متون وب تضمین می‌کند که مدل در معرض طیف گسترده‌ای از سبک‌های زبانی، موضوعات و واژگان قرار می‌گیرد. مجموعه داده‌های آموزشی شامل محتوا در بیش از ۱۴۰ زبان است.
• کد : قرار دادن مدل در معرض کد به آن کمک می‌کند تا سینتکس و الگوهای زبان‌های برنامه‌نویسی را یاد بگیرد، که این امر توانایی آن را در تولید کد و درک سوالات مربوط به کد بهبود می‌بخشد.
• Mathematics : Training on mathematical text helps the model learn logical reasoning, symbolic representation, and to address mathematical queries.
• تصاویر : طیف گسترده‌ای از تصاویر، مدل را قادر می‌سازد تا تجزیه و تحلیل تصویر و وظایف استخراج داده‌های بصری را انجام دهد.

ترکیب این منابع داده متنوع برای آموزش یک مدل چندوجهی قدرتمند که بتواند طیف گسترده‌ای از وظایف و قالب‌های داده مختلف را مدیریت کند، بسیار مهم است.

پیش‌پردازش داده‌ها

در اینجا روش‌های کلیدی پاکسازی و فیلتر کردن داده‌ها که روی داده‌های آموزشی اعمال می‌شوند، آورده شده است:

• CSAM Filtering : Rigorous CSAM (Child Sexual Abuse Material) filtering was applied at multiple stages in the data preparation process to ensure the exclusion of harmful and illegal content.
• فیلتر کردن داده‌های حساس : به عنوان بخشی از ایمن و قابل اعتماد کردن مدل‌های از پیش آموزش‌دیده‌ی Gemma، از تکنیک‌های خودکار برای فیلتر کردن اطلاعات شخصی خاص و سایر داده‌های حساس از مجموعه‌های آموزشی استفاده شد.
• Additional methods : Filtering based on content quality and safety in line with our policies .

اخلاق و ایمنی

با تبدیل شدن مدل‌های متن‌باز به هسته اصلی زیرساخت‌های سازمانی، منشأ و امنیت از اهمیت بالایی برخوردارند. Gemma 4 که توسط Google DeepMind توسعه داده شده است، همانند مدل‌های اختصاصی Gemini ما، تحت همان ارزیابی‌های ایمنی سختگیرانه قرار می‌گیرد.

رویکرد ارزیابی

مدل‌های Gemma 4 با همکاری تیم‌های ایمنی داخلی و هوش مصنوعی مسئول توسعه داده شدند. طیف وسیعی از ارزیابی‌های خودکار و همچنین انسانی برای کمک به بهبود ایمنی مدل انجام شد. این ارزیابی‌ها با اصول هوش مصنوعی گوگل و همچنین سیاست‌های ایمنی که هدف آنها جلوگیری از تولید محتوای مضر توسط مدل‌های هوش مصنوعی مولد ما است، همسو هستند، از جمله:

• محتوای مرتبط با سوءاستفاده جنسی از کودکان و استثمار
• محتوای خطرناک (مثلاً ترویج خودکشی یا آموزش فعالیت‌هایی که می‌توانند باعث آسیب در دنیای واقعی شوند)
• محتوای صریح جنسی
• سخنان نفرت‌پراکن (مثلاً غیرانسانی جلوه دادن اعضای گروه‌های تحت حمایت)
• آزار و اذیت (مثلاً تشویق به خشونت علیه مردم)

نتایج ارزیابی

در تمام زمینه‌های آزمایش ایمنی، ما شاهد بهبودهای عمده‌ای در تمام دسته‌بندی‌های ایمنی محتوا نسبت به مدل‌های قبلی Gemma بودیم. در مجموع، مدل‌های Gemma 4 در بهبود ایمنی، ضمن پایین نگه داشتن موارد امتناع ناموجه، به طور قابل توجهی از مدل‌های Gemma 3 و 3n بهتر عمل می‌کنند. تمام آزمایش‌ها بدون فیلترهای ایمنی برای ارزیابی قابلیت‌ها و رفتارهای مدل انجام شد. برای هر دو حالت متن به متن و تصویر به متن، و در تمام اندازه‌های مدل، این مدل حداقل نقض سیاست را ایجاد کرد و بهبودهای قابل توجهی نسبت به عملکرد مدل‌های قبلی Gemma نشان داد.

کاربرد و محدودیت‌ها

این مدل‌ها محدودیت‌های خاصی دارند که کاربران باید از آنها آگاه باشند.

کاربرد مورد نظر

مدل‌های چندوجهی (که قادر به پردازش بینایی، زبان و/یا صدا هستند) طیف گسترده‌ای از کاربردها را در صنایع و حوزه‌های مختلف دارند. فهرست زیر از کاربردهای بالقوه جامع نیست. هدف از این فهرست، ارائه اطلاعات زمینه‌ای در مورد موارد استفاده احتمالی است که سازندگان مدل به عنوان بخشی از آموزش و توسعه مدل در نظر گرفته‌اند.

• تولید محتوا و ارتباطات
  • Text Generation : These models can be used to generate creative text formats such as poems, scripts, code, marketing copy, and email drafts.
  • چت‌بات‌ها و هوش مصنوعی محاوره‌ای : رابط‌های محاوره‌ای را برای خدمات مشتری، دستیاران مجازی یا برنامه‌های تعاملی تقویت کنید.
  • خلاصه‌سازی متن : خلاصه‌های مختصری از یک مجموعه متن، مقالات تحقیقاتی یا گزارش‌ها تهیه کنید.
  • استخراج داده‌های تصویری : این مدل‌ها می‌توانند برای استخراج، تفسیر و خلاصه‌سازی داده‌های بصری برای ارتباطات متنی استفاده شوند.
  • پردازش و تعامل صوتی : مدل‌های E2B، E4B و 12B می‌توانند ورودی‌های صوتی را تجزیه و تحلیل و تفسیر کنند و تعاملات و رونویسی‌های مبتنی بر صدا را امکان‌پذیر سازند.
• تحقیق و آموزش
  • Natural Language Processing (NLP) and VLM Research : These models can serve as a foundation for researchers to experiment with VLM and NLP techniques, develop algorithms, and contribute to the advancement of the field.
  • ابزارهای یادگیری زبان : از تجربیات تعاملی یادگیری زبان پشتیبانی می‌کنند، به اصلاح دستور زبان کمک می‌کنند یا تمرین نوشتاری ارائه می‌دهند.
  • کاوش دانش : با تولید خلاصه‌ها یا پاسخ به سؤالات مربوط به موضوعات خاص، به محققان در کاوش در حجم زیادی از متن کمک کنید.

محدودیت‌ها

• داده‌های آموزشی
  • کیفیت و تنوع داده‌های آموزشی به طور قابل توجهی بر قابلیت‌های مدل تأثیر می‌گذارد. سوگیری‌ها یا شکاف‌های موجود در داده‌های آموزشی می‌تواند منجر به محدودیت‌هایی در پاسخ‌های مدل شود.
  • دامنه مجموعه داده‌های آموزشی، حوزه‌های موضوعی را که مدل می‌تواند به طور مؤثر مدیریت کند، تعیین می‌کند.
• زمینه و پیچیدگی وظیفه
  • مدل‌ها در کارهایی که می‌توان آن‌ها را با دستورالعمل‌ها و دستورالعمل‌های واضح چارچوب‌بندی کرد، عملکرد خوبی دارند. وظایف با پایان باز یا بسیار پیچیده ممکن است چالش‌برانگیز باشند.
  • A model's performance can be influenced by the amount of context provided (longer context generally leads to better outputs, up to a certain point).
• ابهام و ظرافت زبان
  • زبان طبیعی ذاتاً پیچیده است. مدل‌ها ممکن است برای درک نکات ظریف، کنایه یا زبان تمثیلی دچار مشکل شوند.
• دقت واقعی
  • مدل‌ها بر اساس اطلاعاتی که از مجموعه داده‌های آموزشی خود آموخته‌اند، پاسخ‌هایی تولید می‌کنند، اما پایگاه دانش نیستند. آن‌ها ممکن است گزاره‌های واقعی نادرست یا قدیمی تولید کنند.
• عقل سلیم
  • مدل‌ها به الگوهای آماری در زبان متکی هستند. آن‌ها ممکن است در موقعیت‌های خاص توانایی به‌کارگیری استدلال مبتنی بر عقل سلیم را نداشته باشند.

ملاحظات اخلاقی و خطرات

توسعه مدل‌های بینایی-زبانی (VLM) نگرانی‌های اخلاقی متعددی را ایجاد می‌کند. در ایجاد یک مدل باز، موارد زیر را با دقت در نظر گرفته‌ایم:

• تعصب و انصاف
  • مدل‌های ماشین مجازی (VLM) که بر روی داده‌های متنی و تصویری در مقیاس بزرگ و دنیای واقعی آموزش دیده‌اند، می‌توانند سوگیری‌های اجتماعی-فرهنگی نهفته در مطالب آموزشی را منعکس کنند. مدل‌های Gemma 4 تحت بررسی دقیق، پیش‌پردازش داده‌های ورودی و ارزیابی‌های پس از آموزش قرار گرفتند، همانطور که در این کارت گزارش شده است تا به کاهش خطر این سوگیری‌ها کمک کند.
• اطلاعات نادرست و سوءاستفاده
  • می‌توان از VLMها برای تولید متنی نادرست، گمراه‌کننده یا مضر سوءاستفاده کرد.
  • دستورالعمل‌هایی برای استفاده مسئولانه از این مدل ارائه شده است، به جعبه ابزار هوش مصنوعی مولد مسئولانه مراجعه کنید.
• شفافیت و پاسخگویی
  • این کارت مدل، جزئیات معماری، قابلیت‌ها، محدودیت‌ها و فرآیندهای ارزیابی مدل‌ها را خلاصه می‌کند.
  • یک مدل بازِ توسعه‌یافته با مسئولیت‌پذیری، با در دسترس قرار دادن فناوری VLM برای توسعه‌دهندگان و محققان در سراسر اکوسیستم هوش مصنوعی، فرصتی برای به اشتراک گذاشتن نوآوری ارائه می‌دهد.

ریسک‌های شناسایی شده و راهکارهای کاهش آنها :

• تولید محتوای مضر : سازوکارها و دستورالعمل‌های ایمنی محتوا ضروری هستند. به توسعه‌دهندگان توصیه می‌شود که احتیاط کنند و بر اساس سیاست‌های خاص محصول و موارد استفاده از برنامه، اقدامات حفاظتی مناسب برای ایمنی محتوا را اجرا کنند.
• سوءاستفاده برای اهداف مخرب : محدودیت‌های فنی و آموزش توسعه‌دهندگان و کاربران نهایی می‌تواند به کاهش برنامه‌های مخرب VLMها کمک کند. منابع آموزشی و سازوکارهای گزارش‌دهی برای کاربران جهت گزارش سوءاستفاده ارائه شده است.
• Privacy violations : Models were trained on data filtered for removal of certain personal information and other sensitive data. Developers are encouraged to adhere to privacy regulations with privacy-preserving techniques.
• تداوم سوگیری‌ها : توصیه می‌شود نظارت مستمر (با استفاده از معیارهای ارزیابی، بررسی انسانی) و بررسی تکنیک‌های رفع سوگیری در طول آموزش مدل، تنظیم دقیق و سایر موارد استفاده انجام شود.

مزایا

در زمان انتشار، این خانواده از مدل‌ها، پیاده‌سازی‌های مدل زبان بینایی باز با عملکرد بالا را ارائه می‌دهند که از ابتدا برای توسعه هوش مصنوعی مسئولانه در مقایسه با مدل‌های با اندازه مشابه طراحی شده‌اند.