INSAIT, Gemma 2로 불가리아 최초의 LLM 개발

컴퓨터 과학, 인공지능 및 기술 연구소(INSAIT)는 불가리아 소피아에 있는 세계적 수준의 연구 기관입니다. 2022년 창립 이래 INSAIT는 기술의 가능성을 높이고자 하는 전 세계 최고의 학자와 연구원을 모으고 있습니다. 불가리아에서 LLM 접근성을 확대하기 위해 INSAIT는 불가리아어와 영어로 대화 및 안내 기반 작업을 이해하는 불가리아어 대규모 언어 모델 (LLM)인 BgGPT를 만들었습니다.

BgGPT의 기반을 위해 다른 모델을 실험한 후 BgGPT팀은 불가리아어와 영어에서 비교적 우수한 성능과 소형 크기 덕분에 Google의 Gemma 오픈 모델 계열이 이 작업에 가장 적합하다고 판단했습니다. INSAIT는 Gemma의 우수한 언어 기능을 사용하여 훨씬 더 효율적이고 효과적인 이중 언어 모델을 만들 수 있었습니다.

INSAIT는 전 세계의 LLM이 영어 또는 중국어와 같은 동양 언어에 중점을 두고 있기 때문에 불가리아어로 된 강력한 자연어 처리 (NLP) 모델이 없다고 판단했습니다. 또한 모델이 부족하여 불가리아어와 문화적 뉘앙스를 깊이 이해하면서도 합리적인 운영 비용을 유지하는 대화형 AI 에이전트가 없었습니다. INSAIT는 AI 분야에서 불가리아와 동유럽의 입지를 구축하려면 강력하고 정확한 성능을 갖춘 자체 LLM을 만들어야 한다는 것을 알고 있었습니다.

INSAIT 연구원들은 불가리아어를 사용하는 개발자와 사용자의 다양한 요구사항을 충족하기 위해 BgGPT를 만들었습니다. 이 모델은 27B, 9B, 2B 매개변수 크기로 제공됩니다. 27B 및 9B 변형은 불가리아어로 Alibaba의 Qwen 2.5 72B 및 Meta의 Llama 3.1 70B와 같은 대규모 모델보다 우수합니다. 반면 2B 버전은 Microsoft의 Phi 3.5, Alibaba의 Qwen 2.5 3B와 같은 다른 소형 언어 모델보다 성능이 우수합니다. 세 가지 모델 모두 Gemma 2의 인상적인 언어 기능 덕분에 경쟁력 있는 영어 성능을 유지합니다.

BgGPT는 약 850억 개의 불가리아어 토큰과 150억 개의 영어 토큰으로 사전 학습되었습니다. BgGPT 개발의 가장 독특한 요소 중 하나는 INSAIT 자체의 브랜치-머지 연속 사전 학습 전략을 사용했다는 점입니다. 이 전략을 사용하면 모델이 수학 및 영어에 대한 깊은 이해와 같은 이전 정보를 대체하거나 잃지 않고 불가리아어와 같은 새로운 정보를 학습할 수 있습니다. 이 현상을 '캐스캐이딩 포기'라고 하며 LLM 개발에서 반복되는 과제로 남아 있습니다.

이제 BgGPT는 27B 및 2B 변형을 모두 사용하여 BgGPTt.ai의 공개 채팅 플랫폼을 지원합니다. 2B 모델은 사용자 쿼리 재구성 및 분류와 같은 특정 작업을 처리하고 27B 모델은 대화형 요소를 처리합니다. 2024년 3월 출시 이후 BgGPT.ai는 수백만 개의 사용자 질문에 답변했습니다. BgGPT 출시로 인해 INSAIT는 전 세계적으로 경쟁력 있는 공개 개발 LLM을 출시한 중앙 및 동부 유럽 최초의 조직이 되었으며, 이로써 INSAIT는 이 지역의 리더로 자리매김하게 되었습니다.

또한 INSAIT는 AI 모델의 성장을 빠르게 가속화할 수 있는 브랜치-머지 연속 선행 학습 전략을 개발자와 공유했습니다. 또한 전체 학습 파이프라인을 공유했습니다. 이전 데이터를 손실하지 않고 LLM의 지식 기반을 지속적으로 확장할 수 있는 기능은 학습 효율을 개선하고 LLM을 더 스마트하게 만듭니다.

BgGPT의 채택이 계속 증가하고 있습니다. 불가리아 국세청 (NRA)과 같은 불가리아 정부 기관에서 파일럿 프로그램을 시작하여 특수한 시나리오에서 LLM의 효과를 테스트하고 있습니다. INSAIT는 BgGPT의 도달범위를 교육, 행정, 비즈니스 자동화와 같은 다른 영역으로 확대하는 데도 관심을 보였습니다.

INSAIT의 열정적인 개발자, 연구원, 학자들은 동유럽 및 해외에서 AI 기술을 발전시키기 위해 노력하고 있습니다. 향후 INSAIT는 함수 호출을 통합하고 더 큰 기본 모델과 다른 국가의 학습 모델을 통해 추가로 미세 조정하여 BgGPT를 개선할 계획입니다.