Gemma 공개 모델
Gemini 모델을 만드는 데 사용된 것과 동일한 연구 및 기술을 바탕으로 빌드된 최첨단 경량 개방형 모델 제품군입니다.
Gemma 2 소개
Gemma 2는 최고의 성능과 효율성을 위해 다시 설계되어 다양한 하드웨어에서 초고속 추론을 위해 최적화합니다.
5샷
MMLU
MMLU 벤치마크는 사전 학습 중에 대규모 언어 모델이 얻은 폭넓은 지식과 문제 해결 능력을 측정하는 테스트입니다.
25샷
ARC-C
ARC-c 벤치마크는 ARC-e 데이터 세트의 좀 더 집중된 하위 집합으로, 일반적인 (검색 기반 및 단어 동시 발생) 알고리즘에서 잘못 답변한 질문만 포함되어 있습니다.
5샷
GSM8K
GSM8K 벤치마크는 여러 단계의 추론이 자주 필요한 학교 수준의 수학 문제를 풀 수 있는 언어 모델의 기능을 테스트합니다.
3-5샷
AGIEval
AGIEval 벤치마크는 인간의 지적 능력을 평가하도록 설계된 실제 시험에서 파생된 질문을 사용하여 언어 모델의 일반적인 지능을 테스트합니다.
3샷, CoT
BBH
BBH (BIG-Bench Hard) 벤치마크는 현재 언어 모델의 능력을 넘어서는 것으로 간주되는 작업에 초점을 맞추고 다양한 추론 및 이해 영역에서 한계를 테스트합니다.
3장, F1
DROP
DROP은 문단에 대한 개별 추론이 필요한 읽기 이해 벤치마크입니다.
5샷
위노그란데
Winogrande 벤치마크는 이진 옵션을 사용하여 모호한 빈칸 채우기 작업을 해결하는 언어 모델의 기능을 테스트하며, 일반화된 상식 추론이 필요합니다.
10샷
HellaSwag
HellaSwag 벤치마크는 스토리에 가장 논리적인 결말을 선택하여 상식적 추론을 이해하고 적용하는 언어 모델의 능력에 도전합니다.
4샷
수학
MATH는 추론, 다단계 문제 해결, 수학적 개념에 대한 이해가 필요한 복잡한 수학 단어 문제를 해결하는 언어 모델의 능력을 평가합니다.
제로샷
ARC-e
ARC-e 벤치마크에서는 실제 학년별 객관식 과학 질문을 통해 언어 모델의 고급 질의응답 능력을 테스트합니다.
제로샷
PIQA
PIQA 벤치마크는 일상적인 신체적 상호작용에 관한 질문에 답변하여 물리적 상식 지식을 이해하고 적용하는 언어 모델의 능력을 테스트합니다.
제로샷
SIQA
SIQA 벤치마크는 사람들의 행동과 그 사회적 영향에 대한 질문을 함으로써 사회적 상호작용과 사회적 상식에 대한 언어 모델의 이해도를 평가합니다.
제로샷
Boolq
BoolQ 벤치마크는 자연스럽게 발생하는 예/아니요 질문에 답하는 언어 모델의 기능을 테스트하여 실제 자연어 추론 작업을 실행하는 모델 기능을 테스트합니다.
5샷
TriviaQA
TriviaQA 벤치마크에서는 질의응답 증거를 3배로 하여 독해 능력을 테스트합니다.
5샷
NQ
NQ (자연 질문) 벤치마크는 Wikipedia 문서 전체 내에서 답변을 찾고 이해하는 언어 모델의 능력을 테스트하여 실제 질의 응답 시나리오를 시뮬레이션합니다.
1번 인증
HumanEval
HumanEval 벤치마크는 솔루션이 프로그래밍 문제에 관한 기능적 단위 테스트를 통과하는지 평가하여 언어 모델의 코드 생성 기능을 테스트합니다.
3샷
MBPP
MBPP 벤치마크는 기본 프로그래밍 개념과 표준 라이브러리 사용에 중점을 두고 기본 Python 프로그래밍 문제를 해결하는 언어 모델의 기능을 테스트합니다.
100%
75%
50%
25%
0%
100%
75%
50%
25%
0%
Gemma 1
25억
Gemma 2
26억
Mistral
7B
LLAMA 3
80억
Gemma 1
7B
Gemma 2
90억
Gemma 2
270억
Gemma 1
25억
Gemma 2
26억
Mistral
7B
LLAMA 3
80억
Gemma 1
7B
Gemma 2
90억
Gemma 2
270억
Gemma 1
25억
Gemma 2
26억
Mistral
7B
LLAMA 3
80억
Gemma 1
7B
Gemma 2
90억
Gemma 2
270억
Gemma 1
25억
Gemma 2
26억
Mistral
7B
LLAMA 3
80억
Gemma 1
7B
Gemma 2
90억
Gemma 2
270억
Gemma 1
25억
Gemma 2
26억
Mistral
7B
LLAMA 3
80억
Gemma 1
7B
Gemma 2
90억
Gemma 2
270억
Gemma 1
25억
Gemma 2
26억
Mistral
7B
LLAMA 3
80억
Gemma 1
7B
Gemma 2
90억
Gemma 2
270억
Gemma 1
25억
Gemma 2
26억
Mistral
7B
LLAMA 3
80억
Gemma 1
7B
Gemma 2
90억
Gemma 2
270억
Gemma 1
25억
Gemma 2
26억
Mistral
7B
LLAMA 3
80억
Gemma 1
7B
Gemma 2
90억
Gemma 2
270억
Gemma 1
25억
Gemma 2
26억
Mistral
7B
Gemma 1
7B
Gemma 2
90억
Gemma 2
270억
Gemma 1
25억
Gemma 2
26억
Mistral
7B
Gemma 1
7B
Gemma 2
90억
Gemma 2
270억
Gemma 1
25억
Gemma 2
26억
Mistral
7B
Gemma 1
7B
Gemma 2
90억
Gemma 2
270억
Gemma 1
25억
Gemma 2
26억
Mistral
7B
Gemma 1
7B
Gemma 2
90억
Gemma 2
270억
Gemma 1
25억
Gemma 2
26억
Mistral
7B
Gemma 1
7B
Gemma 2
90억
Gemma 2
270억
Gemma 1
25억
Gemma 2
26억
Mistral
7B
Gemma 1
7B
Gemma 2
90억
Gemma 2
270억
Gemma 1
25억
Gemma 2
26억
Mistral
7B
Gemma 1
7B
Gemma 2
90억
Gemma 2
270억
Gemma 1
25억
Gemma 2
26억
Mistral
7B
Gemma 1
7B
Gemma 2
90억
Gemma 2
270억
Gemma 1
25억
Gemma 2
26억
Mistral
7B
Gemma 1
7B
Gemma 2
90억
Gemma 2
270억
*이는 선행 학습된 모델의 벤치마크입니다. 다른 방법론의 성능에 대한 자세한 내용은 기술 보고서를 참조하세요.
Gemma 모델 계열
개발자를 위한 빠른 시작 가이드
파트너 빠른 시작 가이드
Gemma 레시피북
PaliGemma를 사용한 이미지 캡션, CodeGemma를 사용한 코드 생성, 미세 조정된 Gemma 모델로 챗봇 빌드와 같은 작업에 Gemma의 강력함과 다재다능함을 보여주는 실용적인 레시피와 예시를 살펴보세요.
책임감 있는 AI 개발
책임감 있는 설계
신중하게 선별된 데이터를 사용하여 선행 학습하고 안전에 맞게 조정되어 Gemma 모델을 기반으로 안전하고 책임감 있는 AI 개발을 지원하는 데 도움이 됩니다.
확실하고 투명한 평가
포괄적인 평가와 투명한 보고를 통해 각 사용 사례에 대해 책임감 있는 접근 방식을 채택해야 하는 모델 한계가 드러납니다.
책임감 있는 개발 지원
책임감 있는 생성형 AI 툴킷은 개발자가 책임감 있는 AI 권장사항을 설계하고 구현할 수 있도록 지원합니다.
Google Cloud에 최적화
Google Cloud의 Gemma 모델을 사용하면 Vertex AI의 완전 관리형 도구 또는 GKE의 자체 관리형 옵션으로 모델을 특정 니즈에 맞게 심층적으로 맞춤설정하고, 유연하고 비용 효율적인 AI에 최적화된 인프라에 배포할 수 있습니다.
Google Cloud 크레딧으로 학술 연구 가속화
학술 연구 프로그램(Academic Research Program)은 최근 신청 기간이 종료되었으며, Gemma 모델을 사용해 과학적 발견의 한계를 넓히는 연구원을 지원하기 위해 Google Cloud 크레딧을 지급하고 있습니다. 이 이니셔티브를 통해 획기적인 연구를 확인할 수 있게 되어 기쁩니다.
커뮤니티 가입
ML 모델 커뮤니티에서 다른 사용자와 소통하고, 탐색하고, 지식을 공유하세요.