EmbeddingGemma 模型概览

EmbeddingGemma 是一款基于 Gemma 3 的 3.08 亿参数多语言文本嵌入模型。它专为在手机、笔记本电脑和平板电脑等日常设备中使用做了优化。该模型可生成文本的数值表示,用于信息检索、语义相似度搜索、分类和聚类等下游任务。

EmbeddingGemma 包含以下主要功能:

  • 多语言支持:广泛的语言数据理解能力,经过 100 多种语言的训练。
  • 灵活的输出维度:使用 Matryoshka Representation Learning (MRL) 自定义输出维度(从 768 到 128),以在速度和存储空间之间做出权衡。
  • 2K 词元上下文:用于在硬件上直接处理文本数据和文档的丰富输入上下文。
  • 节省存储空间:通过量化在不到 200MB 的 RAM 上运行
  • 低延迟:在 EdgeTPU 上生成嵌入向量的时间不到 22 毫秒,可实现快速流畅的应用体验。
  • 离线且安全:直接在硬件上生成文档的嵌入内容,无需连接到互联网即可运行,从而确保敏感数据的安全。

在 Hugging Face 上获取 在 Kaggle 上获取 在 Vertex 上访问

与其他 Gemma 模型一样,EmbeddingGemma 随附开放式权重,并获得许可,可用于负责任的商业用途,让您能够在自己的项目和应用中对其进行微调和部署。

试用 EmbeddingGemma 对 EmbeddingGemma 进行微调