在 Android(设备端)上开始使用 Gemini Nano

Gemini Nano 是 Gemini 模型系列中最小版本,可在 Google Pixel 8 Pro 和 Samsung S24 系列等支持的 Android 设备上设备端执行。

如需在 Android 上执行 Gemini Nano 模型,您需要使用适用于 Android 的 Google AI Edge SDK,该 SDK 提供了以下 API:

  • 确定底层 Android 设备是否受支持。
  • 使用 Gemini Nano 模型。
  • 调整安全设置。
  • 以高性能运行推理并实现回退。
  • 您可以根据需要提供 LoRA 微调块,以提高模型针对您的用例的性能。

用于访问 Gemini Nano 的 API 支持文本到文本模态,未来还将支持更多模态。

设备端执行的优势

设备端执行可实现以下功能:

  • 在本地处理敏感数据:在本地处理数据有助于避免将用户数据发送到云端。对于处理敏感数据的应用(例如采用端到端加密的即时通讯应用),这一点非常重要。
  • 离线访问:即使没有连接到互联网,用户也可以使用 AI 功能。这对于需要离线或在连接不稳定的情况下运行的应用非常有用。
  • 节省费用:您可以通过将执行工作分流到消费类硬件来降低推理费用。这对于经常使用的用户体验流程可以显著节省资源。

在设备端执行 Gemini 有诸多优势;不过,对于需要更大的 Gemini 模型并支持各种设备的用例,您可能需要考虑使用 Gemini API 在服务器上访问 Gemini。您可以通过后端集成(使用 PythonGoNode.jsREST)实现此目的,也可以直接通过 Android 应用中的全新 Google AI 客户端 SDK for Android 实现此目的。

运作方式

Gemini Nano 的设备端执行由 Android AICore 提供支持,这项在 Android 14 中引入的全新系统级功能可提供对基础模型的访问权限,以便在设备端执行。基础模型是使用 AICore 预安装的,因此您无需在应用中下载或分发这些模型。您可以使用 LoRa 对这些模型进行微调,以便用于下游任务。Android AICore 现已在 Google Pixel 8 Pro 和三星 S24 系列设备上正式发布,并已为 Google 应用中的创新功能提供支持。

如需了解详情,请参阅 Android AICore

AICore 架构
图 1. AICore 架构

后续步骤