Gemma 공개 모델

제로샷

HellaSwag

HellaSwag 벤치마크는 이야기의 가장 논리적인 결말을 선택하여 상식적인 추론을 이해하고 적용하는 언어 모델의 능력에 도전합니다.

제로샷

PIQA

PIQA 벤치마크는 일상적인 물리적 상호작용에 관한 질문에 답하여 물리적 상식 지식을 이해하고 적용할 수 있는 언어 모델의 능력을 테스트합니다.

제로샷

SIQA

SIQA 벤치마크는 사람들의 행동과 사회적 영향에 대한 질문을 함으로써 언어 모델의 사회적 상호작용과 사회적 상식에 대한 이해도를 평가합니다.

제로샷

부울

BoolQ 벤치마크는 예/아니요 질문에 자연적으로 발생하는 (메시지가 표시되지 않고 제한되지 않은 설정에서 생성됨) 질문에 대답하는 언어 모델의 기능을 테스트하여 실제 자연어 추론 작업을 수행할 수 있는 모델의 기능을 테스트합니다.

부분 점수

위노그란데

Winogrande 벤치마크는 바이너리 옵션으로 모호한 빈칸 채우기 작업을 해결하는 언어 모델의 기능을 테스트하며, 일반화된 상식적인 추론이 필요합니다.

7샷

최고 품질보증

CQA 벤치마크는 다양한 유형의 상식 지식을 필요로 하는 객관식 질문 답변에서 언어 모델의 성능을 평가합니다.

OBQA

OBQA 벤치마크는 공개 도서 시험 후 모델링된 다단계 추론, 상식 지식, 서식 있는 텍스트 이해로 고급 질의응답을 수행하는 언어 모델의 능력을 평가합니다.

ARC-e

ARC-e 벤치마크는 진정한 초등학교 수준의 객관식 과학 질문을 통해 언어 모델의 고급 질의 응답 기술을 테스트합니다.

ARC-C

ARC-c 벤치마크는 ARC-e 데이터 세트의 좀 더 집중된 하위 집합으로, 일반적인 (검색 기반 및 단어 공존) 알고리즘에서 잘못 답변한 질문만 포함되어 있습니다.

5장

TriviaQA

TriviaQA 벤치마크는 질문-답변-증거를 3배로 활용하여 읽기 능력을 테스트합니다.

패스@1

HumanEval

HumanEval 벤치마크는 솔루션이 프로그래밍 문제에 대한 기능 단위 테스트를 통과하는지 평가하여 언어 모델의 코드 생성 기능을 테스트합니다.

3장

MBPP

MBPP 벤치마크는 기본적인 프로그래밍 개념과 표준 라이브러리 사용에 중점을 두고 기본적인 Python 프로그래밍 문제를 해결하는 언어 모델의 기능을 테스트합니다.

maj@1님

GSM8K

GSM8K 벤치마크는 여러 단계의 추론이 필요한 초등학교 수준의 수학 문제를 해결하는 언어 모델의 능력을 테스트합니다.

4장

MATH

MATH 벤치마크는 추론, 다단계 문제 해결, 수학적 개념에 대한 이해가 필요한 복잡한 수학적 단어 문제를 해결하는 언어 모델의 능력을 평가합니다.

AGIEval

AGIEval 벤치마크는 인간의 지적 능력 (대학 입학 시험, 법무 시험 등)을 평가하기 위해 고안된 실제 시험에서 얻은 질문을 사용하여 언어 모델의 일반적인 지능을 테스트합니다.

BBH

BBH (BIG-Bench Hard) 벤치마크는 다양한 추론과 도메인 이해에 걸쳐 한계를 테스트하며 현재 언어 모델의 능력을 넘어서는 작업에 중점을 둡니다.