Gemma のオープンモデル

ゼロショット

HellaSwag

HellaSwag ベンチマークは、ストーリーの最も論理的なエンディングを選択することで、言語モデルが常識的な推論を理解し、適用する能力に挑戦します。

ゼロショット

PIQA

PIQA ベンチマークでは、言語モデルの能力をテストします。このテストでは、日常的な身体的インタラクションに関する質問に答えることで、身体的な常識的な知識を理解し、応用する能力を評価します。

ゼロショット

SIQA

SIQA ベンチマークでは、人々の行動とその社会的影響について質問することで、言語モデルの社会的交流と社会的常識に関する理解度を評価します。

ゼロショット

ブールク

BoolQ ベンチマークでは、自然に発生する（プロンプトや制約のない設定で生成された）はい/いいえの質問に対して、言語モデルが回答する能力をテストし、モデルが現実世界の自然言語推論タスクを行う能力をテストします。

部分的スコアリング

ウィノグランデ

Winogrande ベンチマークでは、一般化された常識的な推論を必要とするバイナリ オプションを使用して、あいまいな穴埋めタスクを解決する言語モデルの能力をテストします。

7 枚

CQA

CQA ベンチマークでは、多肢選択式の質問応答における言語モデルの性能を評価します。これには、さまざまな常識的な知識が必要です。

OBQA

OBQA ベンチマークでは、オープンブック試験をモデルにした、言語モデルの多段階推論、常識的な知識、リッチテキストの理解度に基づく高度な質問応答能力を評価します。

ARC-e

ARC-e ベンチマークでは、小学校レベルの多肢選択式の科学問題を用いて、言語モデルの高度な質問応答スキルをテストします。

ARC-C

ARC-c ベンチマークは、ARC-e データセットのより焦点を絞ったサブセットで、一般的な（検索ベースと単語の共起）アルゴリズムで正しく回答されない質問のみが含まれています。

5 枚

TriviaQA

TriviaQA ベンチマークでは、質問、回答、裏付けとなる 3 つの質問で読解力をテストします。

pass@1

HumanEval

HumanEval ベンチマークは、言語モデルのコード生成能力をテストするために、そのソリューションがプログラミング問題の機能単体テストに合格しているかどうかを評価します。

3 ショット

MBPP

MBPP ベンチマークでは、基本的なプログラミングの概念と標準ライブラリの使用方法に焦点を当て、基本的な Python プログラミングの問題を解決する言語モデルの能力をテストします。

maj@1

GSM8K

GSM8K ベンチマークでは、複数の推論ステップが必要になることが多い小学校レベルの数学の問題を解決する言語モデルの能力をテストします。

4 ショット

MATH

MATH ベンチマークでは、推論、複数ステップの問題解決、数学的概念の理解を必要とする、複雑な数学の文章問題を解く言語モデルの能力を評価します。

AGIEval

AGIEval ベンチマークは、人間の知的能力を評価するように設計された実際の試験（大学入学試験、法科試験など）から派生した問題を使用して、言語モデルの一般的な知能をテストします。

BBH

BBH（BIG-Bench Hard）ベンチマークは、現在の言語モデルの能力を超えると考えられるタスクに焦点を当て、さまざまな推論と理解の分野で限界をテストします。