Gemma 开放模型

一系列先进的轻量级开放模型,利用与 Gemini 模型相同的技术和研究成果构建而成

“从设计上保证负责任”图标

从设计上保证负责任

这些模型整合了全方位的安全措施,采用精选数据集并经过严谨调优,旨在助力打造负责任、值得信赖的 AI 解决方案。

“卓越性能”图标

无论何种大小,均有卓越性能

Gemma 模型在规模达到 20 亿、70 亿、90 亿和 270 亿时取得了出色的基准效果,甚至超过了一些更大的开放式模型。

框架灵活

框架灵活

借助 Keras 3.0,您可以无缝兼容 JAX、TensorFlow 和 PyTorch,使您可以根据自己的任务轻松选择和切换框架。

5 连拍

MMLU

MMLU 基准测试用于衡量大语言模型在预训练期间获得的知识广度和问题解决能力。

25 张

ARC-C

ARC-c 基准是 ARC-e 数据集的更专注的子集,仅包含常见(基于检索和基于词语共现)算法回答错误的问题。

5 次样本

GSM8K

GSM8K 基准测试了语言模型解决经常需要多个推理步骤的小学阶段数学问题的能力。

3-5 个镜头

AGIEval

AGIEval 基准测试使用从实际考试中衍生的问题来测试语言模型的通用智能,这些考试旨在评估人类的智力能力。

3 个镜头,CoT

BBH

BBH(BIG-Bench Hard)基准测试侧重于测试当前语言模型无法完成的任务,在各种推理和理解领域测试其极限。

3 张照片,F1

DROP

DROP 是一项阅读理解基准,需要对段落进行离散推理。

5 连拍

Winogrande

Winogrande 基准测试了语言模型使用二元选项解决模糊填空任务的能力,需要广义常识推理。

10 样本

HellaSwag

HellaSwag 基准测试通过为故事选择最符合逻辑的结局,考验语言模型理解和应用常识推理的能力。

4 个镜头

MATH

MATH 用于评估语言模型解决复杂数学应用题的能力,这类题目需要推理、多步骤解题和理解数学概念。

0 样本

ARC-e

ARC-e 基准测试使用真实的小学级科学多选题来测试语言模型的高级问答能力。

零样本

PIQA

PIQA 基准测试通过回答有关日常物理互动的问题,测试语言模型理解和应用物理常识知识的能力。

零样本

SIQA

SIQA 基准测试会通过询问与人们的行为及其社会影响有关的问题,评估语言模型对社交互动和社会常识的理解。

0 样本

Boolq

BoolQ 基准测试语言模型回答自然出现的“是/否”问题的能力,从而测试模型执行现实世界自然语言推理任务的能力。

5 连拍

TriviaQA

TriviaQA 基准测试使用题目-答案-证据三元组来测试阅读理解能力。

5 次样本

NQ

NQ(自然问题)基准测试旨在测试语言模型在整个维基百科文章中查找和理解答案的能力,从而模拟真实问答场景。

pass@1

HumanEval

HumanEval 基准测试通过评估语言模型的解决方案是否通过编程问题的功能单元测试来测试语言模型的代码生成能力。

3 次

MBPP

MBPP 基准测试会测试语言模型解决基本 Python 编程问题的能力,重点关注编程基础知识和标准库用法。

100%

75%

50%

25%

0%

100%

75%

50%

25%

0%

Gemma 1

25 亿

42.3

Gemma 2

26 亿

51.3

Mistral

70 亿

62.5

LLAMA 3

8B

66.6

Gemma 1

70 亿

64.4

Gemma 2

90 亿

71.3

Gemma 2

270 亿

75.2

Gemma 1

25 亿

48.5

Gemma 2

26 亿

55.4

Mistral

70 亿

60.5

LLAMA 3

8B

59.2

Gemma 1

70 亿

61.1

Gemma 2

90 亿

68.4

Gemma 2

270 亿

71.4

Gemma 1

25 亿

15.1

Gemma 2

26 亿

23.9

Mistral

70 亿

39.6

LLAMA 3

8B

45.7

Gemma 1

70 亿

51.8

Gemma 2

90 亿

68.6

Gemma 2

270 亿

74.0

Gemma 1

25 亿

24.2

Gemma 2

26 亿

30.6

Mistral

70 亿

44.0

LLAMA 3

8B

45.9

Gemma 1

70 亿

44.9

Gemma 2

90 亿

52.8

Gemma 2

270 亿

55.1

Gemma 1

25 亿

35.2

Gemma 2

26 亿

41.9

Mistral

70 亿

56.0

LLAMA 3

8B

61.1

Gemma 1

70 亿

59.0

Gemma 2

90 亿

68.2

Gemma 2

270 亿

74.9

Gemma 1

25 亿

48.5

Gemma 2

26 亿

52.0

Mistral

70 亿

63.8

LLAMA 3

8B

58.4

Gemma 1

70 亿

56.3

Gemma 2

90 亿

69.4

Gemma 2

270 亿

74.2

Gemma 1

25 亿

66.8

Gemma 2

26 亿

70.9

Mistral

70 亿

78.5

LLAMA 3

8B

76.1

Gemma 1

70 亿

79.0

Gemma 2

90 亿

80.6

Gemma 2

270 亿

83.7

Gemma 1

25 亿

71.7

Gemma 2

26 亿

73.0

Mistral

70 亿

83.0

LLAMA 3

8B

82.0

Gemma 1

70 亿

82.3

Gemma 2

90 亿

81.9

Gemma 2

270 亿

86.4

Gemma 1

25 亿

11.8

Gemma 2

26 亿

15.0

Mistral

70 亿

12.7

Gemma 1

70 亿

24.3

Gemma 2

90 亿

36.6

Gemma 2

270 亿

42.3

Gemma 1

25 亿

73.2

Gemma 2

26 亿

80.1

Mistral

70 亿

80.5

Gemma 1

70 亿

81.5

Gemma 2

90 亿

88.0

Gemma 2

270 亿

88.6

Gemma 1

25 亿

77.3

Gemma 2

26 亿

77.8

Mistral

70 亿

82.2

Gemma 1

70 亿

81.2

Gemma 2

90 亿

81.7

Gemma 2

270 亿

83.2

Gemma 1

25 亿

49.7

Gemma 2

26 亿

51.9

Mistral

70 亿

47.0

Gemma 1

70 亿

51.8

Gemma 2

90 亿

53.4

Gemma 2

270 亿

53.7

Gemma 1

25 亿

69.4

Gemma 2

26 亿

72.5

Mistral

70 亿

83.2

Gemma 1

70 亿

83.2

Gemma 2

90 亿

84.2

Gemma 2

270 亿

84.8

Gemma 1

25 亿

53.2

Gemma 2

26 亿

59.4

Mistral

70 亿

62.5

Gemma 1

70 亿

63.4

Gemma 2

90 亿

76.6

Gemma 2

270 亿

83.7

Gemma 1

25 亿

12.5

Gemma 2

26 亿

16.7

Mistral

70 亿

23.2

Gemma 1

70 亿

23.0

Gemma 2

90 亿

29.2

Gemma 2

270 亿

34.5

Gemma 1

25 亿

22.0

Gemma 2

26 亿

17.7

Mistral

70 亿

26.2

Gemma 1

70 亿

32.3

Gemma 2

90 亿

40.2

Gemma 2

270 亿

51.8

Gemma 1

25 亿

29.2

Gemma 2

26 亿

29.6

Mistral

70 亿

40.2

Gemma 1

70 亿

44.4

Gemma 2

90 亿

52.4

Gemma 2

270 亿

62.6

*这些是预训练模型的基准,如需详细了解其他方法的效果,请参阅技术报告。

Gemma 模型系列

新版本

Gemma 2

Gemma 2 提供了三种强大高效的新模型,参数大小分别为 20 亿、90 亿和 270 亿,并且都内置了先进的安全功能。

新版本

DataGemma

DataGemma 是首批旨在将 LLM 与 Google 数据公共平台中提取的大量真实数据相关联的开放式模型。

Gemma 1

Gemma 模型是轻量级的文本到文本模型,仅使用解码器,基于大型文本、代码和数学内容数据集进行训练,适用于各种自然语言处理任务。

RecurrentGemma

RecurrentGemma 是一种在技术上与众不同的模型,它利用循环神经网络和局部注意力来提高内存效率。

PaliGemma

PaliGemma 是一个开放式视觉语言模型,灵感源自 PaLI-3,利用 SigLIP 和 Gemma,旨在成为一个多用途模型,可转移到各种视觉语言任务。

CodeGemma

CodeGemma 利用我们原始预训练 Gemma 模型的基础,提供强大的代码补全和生成功能,且大小适合本地计算机。

面向开发者的快速入门指南

Gemma 食谱集

探索一系列实用方法和示例,展示 Gemma 在各种任务中的强大功能和多样用途,例如使用 PaliGemma 为图片添加文字说明、使用 CodeGemma 生成代码,以及使用经过微调的 Gemma 模型构建聊天机器人。

负责任 AI 开发

从设计上保证负责任

这些模型使用精心挑选的数据进行预训练,并经过安全调优,有助于依托 Gemma 模型实现安全且负责任的 AI 开发。

可靠透明的评估

全面的评估和透明的报告可揭示模型的局限性,以便针对每种使用情形采用负责任的方法。

助力负责任开发

Responsible Generative AI 工具包可帮助开发者设计和实现 Responsible AI 最佳实践。

Google Cloud 图标

专为 Google Cloud 优化

借助 Google Cloud 上的 Gemma 模型,您可以使用 Vertex AI 的全托管式工具或 GKE 的自助选项,根据自己的具体需求对模型进行深度自定义,并将其部署到灵活且经济高效的 AI 优化型基础架构。

利用 Google Cloud 赠金加速学术研究

学术研究计划的申请期刚刚结束,该计划通过奖励 Google Cloud 赠金,支持研究人员利用 Gemma 模型突破科学探索的界限。我们期待看到这项计划带来的突破性研究成果。

敬请关注日后有机会利用 Google Cloud 推进研究工作的机会。

加入社区

与机器学习模型社区中的其他人建立联系、探索知识并分享您的知识。