在 Android 裝置上開始使用 Gemini Nano

Gemini Nano 是 Gemini 模型系列的最小版本,從 Pixel 8 Pro 開始,可以在支援的 Android 裝置上執行。

如要在 Android 上執行 Gemini Nano 模型,您必須使用 Google AI Edge SDK for Android,其提供的 API 如下:

  • 判斷是否支援底層 Android 裝置。
  • 取得 Gemini Nano 模型。
  • 調整安全設定。
  • 以高效能執行推論並實作備用機制。
  • 您也可以選擇提供 LoRA 微調區塊,為您的用途改善模型效能。

Gemini Nano 的存取 API 支援文字轉文字型態,而且日後會支援更多模式。

裝置端執行的優點

裝置端執行作業可啟用以下功能:

  • 在本機處理機密資料:在本機處理資料有助於避免將使用者資料傳送至雲端。這對處理機密資料的應用程式而言非常重要,例如端對端加密訊息應用程式。
  • 離線存取:即使沒有網際網路連線,使用者也可以存取 AI 功能。這對於需要離線或可變動連線的應用程式而言非常實用。
  • 節省成本:您可以將執行卸載至消費者硬體,藉此降低推論費用。這可以大幅節省常用的使用者流程費用。

Gemini 的裝置端執行有許多優點;不過,如果用途需要較大的 Gemini 模型,或是支援各式各樣的裝置,建議您使用 Gemini API 在伺服器上存取 Gemini。您可以透過後端整合 (使用 PythonGoNode.jsREST) 進行這項操作,或直接透過 Android 應用程式的全新 Android 專用 Google AI 用戶端 SDK

運作方式

Gemini Nano 採用搭載 Android AICore 的裝置端執行。有了 Android 14 新推出的系統層級功能,即可存取裝置端執行的基礎模型。基礎模型是透過 AICore 預先安裝,因此您不需要在應用程式中下載或發布。您可以使用 LoRa 微調這些模型,以便進行下游工作。Android AICore 現已在 Pixel 8 Pro 裝置上推出,並且已經支援 Google 應用程式的創新功能。

詳情請參閱 Android AICore 相關說明。

AICore 架構
圖 1. AICore 架構

後續步驟