在 Android 裝置上開始使用 Gemini Nano

Gemini Nano 是 Gemini 模型系列中最小的版本，可在支援 Google Pixel 8 Pro 和 Samsung S24 系列的 Android 裝置端執行。

如要在 Android 上執行 Gemini Nano 模型，您必須使用 Android 版 Google AI Edge SDK，此 SDK 會提供 API 以執行以下作業：

  • 判斷是否支援基礎 Android 裝置。
  • 取得 Gemini Nano 模型。
  • 調整安全設定。
  • 在高效能執行推論作業，並實作備用機制。
  • 您也可以選擇提供 LoRA 微調區塊，以改善您用途的模型效能。

用於存取 Gemini Nano 的 API 支援文字轉文字型態，而且日後會推出更多模式。

裝置端執行的優點

裝置端執行功能可執行下列作業：

  • 在本機處理機密資料：在本機處理資料有助於避免將使用者資料傳送至雲端。這對需要處理機密資料的應用程式 (例如具有端對端加密的訊息應用程式) 至關重要。
  • 離線存取：使用者即使沒有網際網路連線，仍然可以使用 AI 功能。對於需要離線工作或可變化連線的應用程式而言，這項功能非常實用。
  • 節省成本：您可以將執行作業卸載至消費者硬體，藉此降低推論成本。這可以大幅節省常用使用者流程的費用。

Gemini API 在裝置端執行具有許多優點；不過，在需要較大型的 Gemini 模型以及支援多種裝置的情況下，建議您考慮使用 Gemini API 在伺服器上存取 Gemini。方法是透過後端整合 (使用 Python、Go、Node.js 或 REST)，或透過全新 Android 專用 Google AI 用戶端 SDK，直接從 Android 應用程式執行這項操作。

運作方式

Gemini Nano 的裝置端執行作業是由 Android AICore 提供。Android AICore 是一項新的系統層級功能，可供存取用於裝置端執行的基礎模型，此功能已於 Android 14 推出。已透過 AICore 預先安裝基礎模型，因此您不必在應用程式中下載或發布模型。您可以使用 LoRa 針對下游工作微調這些模型。Android AICore 現已在 Google Pixel 8 Pro 和 Samsung S24 系列裝置上推出，並且已經支援 Google 應用程式的創新功能。

詳情請參閱「Android AICore」。

AICore 架構
圖 1 AICore 架構

後續步驟