在 Android 裝置上開始使用 Gemini Nano

Gemini Nano 是 Gemini 模型系列中最小版本,可在 Google Pixel 8 Pro 和 Samsung S24 系列等支援裝置上執行。

如要在 Android 上執行 Gemini Nano 模型,您必須使用 Google AI Edge SDK for Android,該 SDK 提供以下 API:

  • 判斷是否支援底層 Android 裝置。
  • 使用 Gemini Nano 模型。
  • 調整安全性設定。
  • 以高效能執行推論,並實作備用方案。
  • 您可以選擇提供 LoRA 精細調整區塊,以便針對用途改善模型效能。

用於存取 Gemini Nano 的 API 支援文字轉文字模式,未來還會推出更多模式。

在裝置端執行的好處

裝置端執行功能可啟用下列功能:

  • 在本機處理機密資料:在本機處理資料有助於避免將使用者資料傳送至雲端。對於處理機密資料的應用程式而言,這一點十分重要,例如採用端對端加密功能的訊息應用程式。
  • 離線存取:即使沒有網路連線,使用者也能存取 AI 功能。如果應用程式需要在離線狀態下運作,或需要變動連線狀態,這項功能就非常實用。
  • 節省成本:您可以將執行作業卸載至消費性硬體,藉此降低推論成本。這對於經常使用的使用者流程可節省大量費用。

在裝置上執行 Gemini 有許多優點;不過,如果用途需要較大的 Gemini 模型,並且支援各種裝置,建議您考慮使用 Gemini API 存取伺服器上的 Gemini。您可以透過後端整合 (使用 PythonGoNode.jsREST) 或直接透過 Android 應用程式中的新 Google AI 用戶端 SDK for Android 執行這項操作。

運作方式

Gemini Nano 的裝置端執行作業由 Android AICore 提供支援,這是在 Android 14 中推出的全新系統層級功能,可讓您存取裝置端執行作業的基礎模型。基礎模型會使用 AICore 預先安裝,因此您不需要在應用程式中下載或發布這些模型。您可以使用 LoRa 微調這些模型,以便處理下游任務。Android AICore 現已在 Google Pixel 8 Pro 和 Samsung S24 系列裝置上正式推出,並已在 Google 應用程式中提供創新功能。

詳情請參閱 Android AICore

AICore 架構
圖 1. AICore 架構

後續步驟