Gemma オープンモデル
Gemini モデルの作成に使用されたものと同じ研究とテクノロジーに基づいて構築された、軽量で最先端のオープンモデルのファミリー
Gemma 2 のご紹介
大きなパフォーマンスと卓越した効率性のために再設計された Gemma 2 は、多様なハードウェアでの超高速推論向けに最適化されています。
5 ショット
MMLU
MMLU ベンチマークは、大規模言語モデルが事前トレーニング中に獲得した知識の広さと問題解決能力を測定するテストです。
25 ショット
ARC-C
ARC-c ベンチマークは、ARC-e データセットのより限定的なサブセットであり、一般的な(検索ベースと単語の共起)アルゴリズムで誤って回答された質問のみが含まれています。
5 ショット
GSM8K
GSM8K ベンチマークは、複数の推論ステップが必要な小学校レベルの数学の問題を解く言語モデルの能力をテストします。
3 ~ 5 ショット
AGIEval
AGIEval ベンチマークは、人間の知的能力を評価するよう設計された実際の試験問題から導き出された問題を使用して、言語モデルの一般的な知能をテストします。
3 ショット、CoT
BBH
BBH(BIG-Bench Hard)ベンチマークは、現在の言語モデルの能力を超えると見なされるタスクに焦点を当て、さまざまな推論と理解の領域で限界をテストします。
3 ショット、F1
DROP
DROP は、段落に関する個別の推論を必要とする読解力ベンチマークです。
5 ショット
Winogrande
Winogrande ベンチマークは、一般化された常識的推論を必要とする、バイナリ オプションによるあいまいな穴埋めタスクを解決する言語モデルの能力をテストします。
10 ショット
HellaSwag
HellaSwag ベンチマークは、物語の最も論理的な結末を選択することで、常識的な推論を理解して適用する言語モデルの能力をテストします。
4 ショット
MATH
MATH は、推論、複数ステップの問題解決、数学のコンセプトの理解を必要とする複雑な数学の問題を解く言語モデルの能力を評価します。
ゼロショット
ARC-e
ARC-e ベンチマークは、小学校レベルの実際の科学に関する多肢選択式の問題を使用して、言語モデルの高度な質問応答スキルをテストします。
ゼロショット
PIQA
PIQA ベンチマークは、日々の身体的なやり取りに関する質問に答えることで、言語モデルの身体的な常識的な知識を理解し応用する能力をテストします。
ゼロショット
SIQA
SIQA ベンチマークは、人々の行動と社会的影響について質問することで、言語モデルの社会的インタラクションと社会的常識に対する理解度を評価します。
ゼロショット
Boolq
BoolQ ベンチマークは、自然発生する「はい / いいえ」の質問に回答する言語モデルの能力をテストし、現実世界の自然言語推論タスクを実行するモデルの能力をテストします。
5 ショット
TriviaQA
TriviaQA ベンチマークは、質問と回答と証拠のトリプルを使用して読解力をテストします。
5 ショット
NQ
NQ(自然な質問)ベンチマークは、Wikipedia 記事全体で回答を見つけて理解する言語モデルの能力をテストし、実際の質問応答シナリオをシミュレートします。
pass@1
HumanEval
HumanEval ベンチマークは、言語モデルのコード生成能力をテストするために、そのソリューションがプログラミングの問題に対する機能単体テストに合格するかどうかを評価します。
スリーショット
MBPP
MBPP ベンチマークは、基本的なプログラミングの概念と標準的なライブラリの使用方法に重点を置き、基本的な Python プログラミングの問題を解決する言語モデルの能力をテストします。
100%
75%
50%
25%
0%
100%
75%
50%
25%
0%
Gemma 1
25 億
Gemma 2
26 億
Mistral
70 億人
LLAMA 3 星
8B
Gemma 1
70 億人
Gemma 2
90 億
Gemma 2
270 億
Gemma 1
25 億
Gemma 2
26 億
Mistral
70 億人
LLAMA 3
80 億
Gemma 1
70 億人
Gemma 2
90 億
Gemma 2
270 億
Gemma 1
25 億
Gemma 2
26 億
Mistral
70 億人
LLAMA 3
80 億
Gemma 1
70 億人
Gemma 2
90 億
Gemma 2
270 億
Gemma 1
25 億
Gemma 2
26 億
Mistral
70 億人
LLAMA 3 星
8B
Gemma 1
70 億人
Gemma 2
90 億
Gemma 2
270 億
Gemma 1
25 億
Gemma 2
26 億
Mistral
70 億人
LLAMA 3 星
8B
Gemma 1
70 億人
Gemma 2
90 億
Gemma 2
270 億
Gemma 1
25 億
Gemma 2
26 億
Mistral
70 億人
LLAMA 3 星
8B
Gemma 1
70 億人
Gemma 2
90 億
Gemma 2
270 億
Gemma 1
25 億
Gemma 2
26 億
Mistral
70 億人
LLAMA 3 星
80 億
Gemma 1
70 億人
Gemma 2
90 億
Gemma 2
270 億
Gemma 1
25 億
Gemma 2
26 億
Mistral
70 億人
LLAMA 3 星
8B
Gemma 1
70 億人
Gemma 2
90 億
Gemma 2
270 億
Gemma 1
25 億
Gemma 2
26 億
Mistral
70 億人
Gemma 1
70 億人
Gemma 2
90 億
Gemma 2
270 億
Gemma 1
25 億
Gemma 2
26 億
Mistral
70 億人
Gemma 1
70 億人
Gemma 2
90 億
Gemma 2
270 億
Gemma 1
25 億
Gemma 2
26 億
Mistral
70 億人
Gemma 1
70 億人
Gemma 2
90 億
Gemma 2
270 億
Gemma 1
25 億
Gemma 2
26 億
Mistral
70 億人
Gemma 1
70 億人
Gemma 2
90 億
Gemma 2
270 億
Gemma 1
25 億
Gemma 2
26 億
Mistral
70 億人
Gemma 1
70 億人
Gemma 2
90 億
Gemma 2
270 億
Gemma 1
25 億
Gemma 2
26 億
Mistral
70 億人
Gemma 1
70 億人
Gemma 2
90 億
Gemma 2
270 億
Gemma 1
25 億
Gemma 2
26 億
Mistral
70 億人
Gemma 1
70 億人
Gemma 2
90 億
Gemma 2
270 億
Gemma 1
25 億
Gemma 2
26 億
Mistral
70 億人
Gemma 1
70 億人
Gemma 2
90 億
Gemma 2
270 億
Gemma 1
25 億
Gemma 2
26 億
Mistral
70 億人
Gemma 1
70 億人
Gemma 2
90 億
Gemma 2
270 億
*これらは事前トレーニング済みモデルのベンチマークです。他の手法でのパフォーマンスの詳細については、技術レポートをご覧ください。
Gemma モデル ファミリー
デベロッパー向けクイック スタートガイド
パートナー向けクイック スタートガイド
Gemma クックブック
PaliGemma による画像キャプション、CodeGemma によるコード生成、ファインチューニングされた Gemma モデルによる chatbot の構築など、Gemma の強力さと汎用性を示す実用的なレシピと例のコレクションをご覧ください。
責任ある AI 開発
責任に配慮した設計
慎重にキュレートされたデータで事前トレーニングされ、安全性を確保するためにチューニングされているため、Gemma モデルに基づく安全で責任ある AI 開発を支援します。
堅牢で透明性の高い評価
包括的な評価と透明性の高いレポートにより、モデルの制限が明らかになり、ユースケースごとに責任あるアプローチを採用できます。
責任ある開発を推進する
Responsible Generative AI Toolkit は、デベロッパーが責任ある AI のベスト プラクティスを設計して実装できるように支援します。
Google Cloud 向けに最適化
Google Cloud の Gemma モデルを使用すると、Vertex AI のフルマネージド ツールまたは GKE のセルフマネージド オプションを使用して、特定のニーズに合わせてモデルを詳細にカスタマイズし、柔軟で費用対効果の高い AI 最適化インフラストラクチャにデプロイできます。
Google Cloud クレジットで学術研究を加速する
学術研究プログラムの申請期間が最近終了し、Gemma モデルを使用して科学的発見の限界を押し広げる研究者を支援するために、Google Cloud クレジットが付与されました。このイニシアチブから生まれる画期的な研究を楽しみにしています。
コミュニティに参加
ML モデル コミュニティで他のユーザーとつながり、探索し、知識を共有します。