Gemma 3 型号概览

Gemma 是一类生成式人工智能 (AI) 模型,您可以在各种生成任务(包括问答、总结和推理)中使用它们。Gemma 模型提供开放权重,并允许负责任的商业用途,让您可以在自己的项目和应用中对其进行调优和部署。

Gemma 3 版本包含以下主要功能。在 AI Studio 中试用:

您可以从 KaggleHugging Face 下载 Gemma 3 模型。如需详细了解 Gemma 3 的技术信息,请参阅模型卡片技术报告。 您还可以下载较低版本的 Gemma 核心模型。如需了解详情,请参阅之前的 Gemma 模型

试用 Gemma 3 在 Kaggle 上获取 在 Hugging Face 上获取

多模态图片和文本输入

Gemma 3 能够处理图片和文本数据,因此您可以使用它来处理更复杂的分析和生成任务。您可以使用该模型来解读图片数据、识别对象、提取文本数据,以及完成许多其他将视觉输入转换为文本输出的任务。开始构建

128K 个 token 的上下文窗口

Gemma 3 模型可以处理最多 128, 000 个词元的提示输入,上下文窗口比之前的 Gemma 模型大 16 倍。大量的令牌意味着您可以在单个提示中处理多篇多页文章、篇幅较大的单篇文章或数百张图片。

广泛的语言支持

内置 140 多种语言的支持,让您可以使用自己的母语进行工作。与之前的 Gemma 版本相比,Gemma 3 经过训练,可支持大量语言,让您能够使用客户使用的语言处理更多视觉和文本任务。开始构建

参数大小和量化

Gemma 3 模型有 4 种参数大小,5 种精度级别,从 32 位全精度到 4 位最低精度。不同的大小和精度代表了 AI 应用的一组权衡。参数和位数(精度)越高,模型的功能通常越强大,但在处理周期、内存开销和功耗方面,运行成本也越高。参数和位数较少(精度较低)的模型功能较弱,但可能足以胜任您的 AI 任务。下表详细介绍了使用各个大小的 Gemma 3 模型版本运行推理时大致的 GPU 或 TPU 内存要求。

参数 完整 32 位 BF16(16 位) SFP8
(8 位)
Q4_0
(4 位)
INT4
(4 位)
Gemma 3 1B(纯文字 4 GB 1.5 GB 1.1 GB 892 MB 861 MB
Gemma 3 4B 16 GB 6.4 GB 4.4 GB 3.4 GB 3.2 GB
Gemma 3 12B 48 GB 20 GB 12.2 GB 8.7 GB 8.2 GB
Gemma 3 27B 108 GB 46.4 GB 29.1 GB 21 GB 19.9 GB

表 1. 基于参数数量和量化级别(位深度),加载 Gemma 3 模型所需的近似 GPU 或 TPU 内存。

内存用量会根据您运行的提示所需的令牌总数而增加。处理问题所需的令牌数量越多,所需的内存就越大,这还不包括加载模型所需的内存。

之前的 Gemma 模型

您可以使用上一代 Gemma 模型,这些模型也可从 KaggleHugging Face 获取。如需详细了解旧版 Gemma 模型的技术信息,请参阅以下模型卡片页面:

准备好开始构建了吗? 开始使用 Gemma 模型!