Gemma オープンモデル

25 ショット

ARC-C

ARC-c ベンチマークは ARC-e データセットのより焦点を絞ったサブセットで、一般的な（検索ベースと単語の共起）アルゴリズムで誤って回答された質問のみが含まれています。

5 ショット

GSM8K

GSM8K ベンチマークは、複数の推論ステップを必要とすることが多い小学校レベルの数学の問題を、言語モデルが解く能力をテストします。

3 ～ 5 ショット

AGIEval

AGIEval ベンチマークは、人間の知的能力を評価するよう設計された実際の試験問題から導き出された問題を使用して、言語モデルの一般的な知能をテストします。

3 ショット、コットン

BBH

BBH（BIG-Bench Hard）ベンチマークは、現在の言語モデルの能力を超えると見なされるタスクに焦点を当て、さまざまな推論と理解の領域で限界をテストします。

3 ショット、F1

DROP

DROP は読解力のベンチマークであり、段落に対する個別の推論が必要です。

5 ショット

ウィノグランデ

Winogrande ベンチマークは、一般化された常識的な推論を必要とする、あいまいな穴埋めタスクをバイナリ オプションによって解決する言語モデルの能力をテストします。

10 ショット

HellaSwag

HellaSwag ベンチマークは、ストーリーにとって最も論理的な結末を選択することで、常識的な推論を理解し、適用する能力を言語モデルの能力に試します。

4 ショット

数学

MATH は、推論、複数ステップの問題解決、数学的概念の理解を必要とする、複雑な数学の文章問題を解く言語モデルの能力を評価します。

ゼロショット

ARC-e

ARC-e ベンチマークは、本物の小学校レベルの多肢選択式科学の問題で、言語モデルの高度な質問応答スキルをテストします。

ゼロショット

PIQA

PIQA ベンチマークは、日々の身体的なやり取りに関する質問に答えることで、言語モデルの身体的な常識的な知識を理解し応用する能力をテストします。

ゼロショット

SIQA

SIQA ベンチマークは、人々の行動と社会的影響について質問することで、言語モデルの社会的インタラクションと社会的常識に対する理解度を評価します。

ゼロショット

Boolq

BoolQ ベンチマークは、自然に生じる「はい/いいえ」の質問に答える言語モデルの能力をテストし、現実世界の自然言語推論タスクを実行するモデルの能力をテストします。

5 ショット

TriviaQA

TriviaQA ベンチマークは、質問と回答の 3 つのエビデンスで読解力をテストします。

5 ショット

NQ

NQ（Natural Questions）ベンチマークは、現実世界の質問応答シナリオをシミュレートして、Wikipedia の記事全体から回答を見つけて理解する言語モデルの能力をテストします。

パス@1

HumanEval

HumanEval ベンチマークは、言語モデルのコード生成能力をテストするために、そのソリューションがプログラミングの問題に対する機能単体テストに合格するかどうかを評価します。

スリーショット

MBPP

MBPP ベンチマークは、基本的なプログラミングの概念と標準的なライブラリの使用方法に重点を置き、基本的な Python プログラミングの問題を解決する言語モデルの能力をテストします。