INSAIT اولین LLM پیشرو در بلغارستان را با Gemma 2 ایجاد می کند

موسسه علوم کامپیوتر، هوش مصنوعی و فناوری (INSAIT) یک سازمان تحقیقاتی در سطح جهانی در صوفیه، بلغارستان است. INSAIT از زمان تأسیس خود در سال 2022، دانشگاهیان و محققان برتر را از سراسر جهان جذب کرده است که به دنبال پیشرفت در فناوری هستند. در تلاش خود برای گسترش دسترسی به LLM در بلغارستان، INSAIT BgGPT را ایجاد کرد، یک مدل زبان بزرگ بلغاری (LLM) که وظایف محاوره‌ای و مبتنی بر آموزش را به زبان بلغاری و انگلیسی درک می‌کند.

پس از آزمایش با مدل‌های دیگر برای پایه BgGPT، تیم BgGPT به این نتیجه رسید که مدل‌های باز خانواده Gemma گوگل به دلیل عملکرد نسبتاً بهتر در زبان‌های بلغاری و انگلیسی و اندازه جمع و جور آن، بهترین گزینه برای این کار است. با استفاده از قابلیت‌های زبانی برتر Gemma، INSAIT توانست یک مدل دوزبانه بسیار کارآمدتر و مؤثرتر ایجاد کند.

INSAIT عدم وجود مدل های قوی پردازش زبان طبیعی (NLP) را در بلغاری مشاهده کرد، زیرا بسیاری از LLM های جهان بر روی زبان های انگلیسی یا شرقی مانند چینی متمرکز هستند. کمبود مدل‌ها همچنین به معنای کمبود عوامل هوش مصنوعی محاوره‌ای است که زبان بلغاری و تفاوت‌های فرهنگی را عمیقاً درک می‌کنند و در عین حال هزینه عملیاتی معقولی را نیز حفظ می‌کنند. INSAIT می‌دانست که اگر می‌خواهند برای بلغارستان و اروپای شرقی در دنیای هوش مصنوعی حضور داشته باشند، باید LLM خود را با عملکرد قدرتمند و دقیق بسازند.

محققان INSAIT BgGPT را برای پوشش طیف گسترده ای از نیازهای توسعه دهندگان و کاربران بلغاری زبان ایجاد کردند. این مدل در اندازه پارامترهای 27B، 9B و 2B عرضه می شود. هر دو نوع 27B و 9B از مدل های بزرگتر مانند Qwen 2.5 72B Alibaba و Llama 3.1 70B متا در بلغاری برتری دارند. در همین حال، نسخه 2B از دیگر مدل های زبان کوچک مانند Phi 3.5 مایکروسافت و Qwen 2.5 3B از Alibaba بهتر عمل می کند. هر سه مدل به لطف قابلیت های زبانی چشمگیر Gemma 2 عملکرد رقابتی انگلیسی را حفظ می کنند.

BgGPT روی حدود 85B توکن بلغاری و 15B به زبان انگلیسی از قبل آموزش داده شده بود. یکی از عناصر منحصربه‌فرد توسعه BgGPT استفاده از استراتژی پیش‌آموزشی مستمر Branch-and-Merge خود INSAIT بود که این مدل را قادر می‌سازد تا اطلاعات جدید مانند بلغاری را بدون جایگزین کردن یا از دست دادن اطلاعات قدیمی، مانند درک عمیق Gemma از ریاضیات و انگلیسی، یاد بگیرد. این پدیده به عنوان "فراموشی فاجعه آمیز" شناخته می شود و همچنان یک چالش تکراری در توسعه LLM است.

BgGPT اکنون پلتفرم چت عمومی در BgGPTt.ai را با استفاده از هر دو نوع 27B و 2B خود نیرو می دهد. مدل‌های 2B وظایف خاصی مانند بازنویسی پرسش‌های کاربر و طبقه‌بندی را انجام می‌دهند، در حالی که مدل 27B عناصر مکالمه را مدیریت می‌کند. از زمان انتشار خود در مارس 2024، BgGPT.ai به میلیون ها سؤال کاربر پاسخ داده است. انتشار BgGPT همچنین INSAIT را به اولین سازمان در اروپای مرکزی و شرقی تبدیل می‌کند که یک LLM رقابتی جهانی را راه‌اندازی می‌کند و این سازمان را به عنوان یک رهبر در منطقه معرفی می‌کند.

INSAIT همچنین استراتژی پیش‌آموزشی مستمر Branch-and-Merge خود را با توسعه‌دهندگان به اشتراک گذاشته است، که این پتانسیل را دارد که به سرعت رشد مدل‌های هوش مصنوعی را تسریع بخشد. همچنین کل خط لوله آموزشی خود را به اشتراک گذاشته است. توانایی گسترش مستمر پایگاه دانش LLM بدون از دست دادن داده های قبلی، باعث بهبود کارایی آموزش و هوشمندتر کردن LLM ها می شود.

پذیرش BgGPT همچنان در حال رشد است. برنامه‌های آزمایشی در سازمان‌های دولتی بلغارستان مانند آژانس درآمد ملی (NRA) آغاز شده است و کارایی LLM را در سناریوهای تخصصی آزمایش می‌کند. INSAIT همچنین علاقه خود را برای گسترش دامنه BgGPT به سایر زمینه ها مانند آموزش، مدیریت دولتی و اتوماسیون تجاری ابراز کرده است.

توسعه دهندگان، محققان و دانشگاهیان پرشور در INSAIT متعهد به پیشبرد فناوری هوش مصنوعی در اروپای شرقی و خارج از کشور هستند. با نگاهی به آینده، INSAIT قصد دارد BgGPT را با ادغام بالقوه فراخوانی تابع و تنظیم دقیق بیشتر با مدل های پایه بزرگتر و همچنین مدل های آموزشی برای کشورهای دیگر، بهبود بخشد.