INSAIT, Gemma 2 ile Bulgaristan'da ilk LLM'yi oluşturuyor

Bilgisayar Bilimi, Yapay Zeka ve Teknoloji Enstitüsü (INSAIT), Bulgaristan'ın Sofya kentinde bulunan dünya çapında bir araştırma kuruluşudur. 2022'de kurulan INSAIT, teknolojide mümkün olanları geliştirmek isteyen dünyanın dört bir yanından en iyi akademisyenleri ve araştırmacıları kendine çekti. INSAIT, Bulgaristan'da LLM erişimini genişletmek için Bulgarca ve İngilizce dillerinde sohbet ve talimat temelli görevleri anlayan bir Bulgar büyük dil modeli (LLM) olan BgGPT'yi oluşturdu.

BgGPT'nin temeli için diğer modellerle denemeler yapan BgGPT ekibi, Bulgarca ve İngilizce'de nispeten daha iyi performansı ve kompakt boyutu sayesinde Google'ın Gemma açık model ailesinin bu görev için en uygun model olduğuna karar verdi. INSAIT, Gemma'nın üstün dil özelliklerini kullanarak çok daha verimli ve etkili bir iki dilli model oluşturdu.

Dünyadaki LLM'lerin çoğu İngilizce veya Çince gibi Doğu dillerine odaklandığından INSAIT, Bulgarcaya yönelik güçlü doğal dil işleme (NLP) modellerinin bulunmadığını gözlemledi. Modellerin azlığı, makul bir operasyonel maliyeti korurken Bulgar dilini ve kültürel nüansları derinlemesine anlayan sohbet yapay zeka temsilcilerinin de eksik olduğu anlamına geliyordu. INSAIT, Bulgaristan ve Doğu Avrupa'nın yapay zeka dünyasında varlık göstermek istiyorsa güçlü ve doğru performansa sahip kendi LLM'sini oluşturması gerektiğini biliyordu.

INSAIT araştırmacıları, Bulgarca konuşan geliştiricilerin ve kullanıcıların çeşitli ihtiyaçlarını karşılamak için BgGPT'yi oluşturdu. Model 27B, 9B ve 2B parametre boyutlarında sunulur. Hem 27B hem de 9B varyantları, Bulgarca dilinde Alibaba'nın Qwen 2.5 72B ve Meta'nın Llama 3.1 70B gibi daha büyük modelleri geride bırakıyor. 2B sürümü ise Microsoft'un Phi 3.5 ve Alibaba'nın Qwen 2.5 3B gibi diğer küçük dil modellerinden daha iyi performans gösteriyor. Gemma 2'nin etkileyici dilsel özellikleri sayesinde üç model de rekabetçi bir İngilizce performansı sunar.

BgGPT, yaklaşık 85 milyar Bulgarca ve 15 milyar İngilizce jetonla önceden eğitildi. BgGPT'nin geliştirilmesinde kullanılan en benzersiz unsurlardan biri, INSAIT'ın kendi Branch-and-Merge sürekli ön eğitim stratejisiydi. Bu strateji, modelin Gemma'nın matematik ve İngilizce hakkındaki derin bilgisi gibi eski bilgileri değiştirmeden veya kaybetmeden Bulgarca gibi yeni bilgiler öğrenmesini sağlar. Bu fenomene "felaket unutma" adı verilir ve LLM geliştirmede tekrarlanan bir sorun olmaya devam eder.

BgGPT artık hem 27B hem de 2B varyantlarını kullanarak BgGPTt.ai adresindeki herkese açık sohbet platformunu destekliyor. 2B modeller, kullanıcı sorgularını yeniden ifade etme ve sınıflandırma gibi belirli görevleri üstlenirken 27B modeli, sohbet öğelerini yönetir. Mart 2024'te kullanıma sunulan BgGPT.ai, milyonlarca kullanıcı sorusunu yanıtladı. BgGPT'nin kullanıma sunulması, INSAIT'ı Orta ve Doğu Avrupa'da herkesin erişimine açık, dünya çapında rekabetçi bir LLM kullanıma sunan ilk kuruluş haline getirerek bölgede lider konuma getirdi.

INSAIT, yapay zeka modellerinin gelişimini hızla hızlandırma potansiyeline sahip olan dallandırma ve birleştirme sürekli ön eğitim stratejisini de geliştiricilerle paylaştı. Ayrıca eğitim ardışık düzeninin tamamını da paylaştı. Önceki verileri kaybetmeden LLM'nin bilgi tabanını sürekli olarak genişletebilme özelliği, eğitim verimliliğini artırır ve LLM'leri daha akıllı hale getirir.

BgGPT'nin benimsenme oranı artmaya devam ediyor. Ulusal Gelir Kurumu (NRA) gibi Bulgar devlet kurumlarında, LLM'nin özel senaryolardaki etkinliğini test eden pilot programlar başladı. INSAIT, BgGPT'nin erişimini eğitim, kamu yönetimi ve işletme otomasyonları gibi diğer alanlara genişletmek istediğini de belirtti.

INSAIT'taki tutkulu geliştiriciler, araştırmacılar ve akademisyenler, Doğu Avrupa ve yurtdışında yapay zeka teknolojisini geliştirmeye kararlıdır. INSAIT, gelecekte işlev çağırma özelliğini ekleyerek ve daha büyük temel modellerin yanı sıra diğer ülkelere yönelik eğitim modelleriyle daha da hassas ayar yaparak BgGPT'yi iyileştirmeyi planlıyor.