商业用途,让您可以在自己的项目和应用中对其进行调优和部署。
Gemma 是一类生成式人工智能 (AI) 模型,您可以在各种生成任务(包括问答、总结和推理)中使用它们。Gemma 模型提供开放权重,并允许负责任的Gemma 3 版本包含以下主要功能。在 AI Studio 中试用:
- 图片和文本输入:借助多模态功能,您可以输入图片和文本,以了解和分析视觉数据。开始构建
- 128K 个令牌上下文:输入上下文扩大了 16 倍,可分析更多数据并解决更复杂的问题。
- 广泛的语言支持:支持超过 140 种语言,让您可以使用自己的语言进行操作,或扩展 AI 应用的语言功能。开始构建
- 面向开发者的模型大小:选择最适合您的任务和计算资源的模型大小(10 亿、40 亿、120 亿、270 亿)和精度级别。
您可以从 Kaggle 和 Hugging Face 下载 Gemma 3 模型。如需详细了解 Gemma 3 的技术信息,请参阅模型卡片和技术报告。 您还可以下载较低版本的 Gemma 核心模型。如需了解详情,请参阅之前的 Gemma 模型。
试用 Gemma 3 在 Kaggle 上获取 在 Hugging Face 上获取
多模态图片和文本输入
Gemma 3 能够处理图片和文本数据,因此您可以使用它来处理更复杂的分析和生成任务。您可以使用该模型来解读图片数据、识别对象、提取文本数据,以及完成许多其他将视觉输入转换为文本输出的任务。开始构建
128K 个 token 的上下文窗口
Gemma 3 模型可以处理最多 128, 000 个词元的提示输入,上下文窗口比之前的 Gemma 模型大 16 倍。大量的令牌意味着您可以在单个提示中处理多篇多页文章、篇幅较大的单篇文章或数百张图片。
广泛的语言支持
内置 140 多种语言的支持,让您可以使用自己的母语进行工作。与之前的 Gemma 版本相比,Gemma 3 经过训练,可支持大量语言,让您能够使用客户使用的语言处理更多视觉和文本任务。开始构建
参数大小和量化
Gemma 3 模型有 4 种参数大小,5 种精度级别,从 32 位全精度到 4 位最低精度。不同的大小和精度代表了 AI 应用的一组权衡。参数和位数(精度)越高,模型的功能通常越强大,但在处理周期、内存开销和功耗方面,运行成本也越高。参数和位数较少(精度较低)的模型功能较弱,但可能足以胜任您的 AI 任务。下表详细介绍了使用各个大小的 Gemma 3 模型版本运行推理时大致的 GPU 或 TPU 内存要求。
参数 | 完整 32 位 | BF16(16 位) | SFP8 (8 位) |
Q4_0 (4 位) |
INT4 (4 位) |
---|---|---|---|---|---|
Gemma 3 1B(纯文字) | 4 GB | 1.5 GB | 1.1 GB | 892 MB | 861 MB |
Gemma 3 4B | 16 GB | 6.4 GB | 4.4 GB | 3.4 GB | 3.2 GB |
Gemma 3 12B | 48 GB | 20 GB | 12.2 GB | 8.7 GB | 8.2 GB |
Gemma 3 27B | 108 GB | 46.4 GB | 29.1 GB | 21 GB | 19.9 GB |
表 1. 基于参数数量和量化级别(位深度),加载 Gemma 3 模型所需的近似 GPU 或 TPU 内存。
内存用量会根据您运行的提示所需的令牌总数而增加。处理问题所需的令牌数量越多,所需的内存就越大,这还不包括加载模型所需的内存。
之前的 Gemma 模型
您可以使用上一代 Gemma 模型,这些模型也可从 Kaggle 和 Hugging Face 获取。如需详细了解旧版 Gemma 模型的技术信息,请参阅以下模型卡片页面:
准备好开始构建了吗? 开始使用 Gemma 模型!