Gemini Nano 是 Gemini 模型系列中最小的版本,可在支援 Google Pixel 8 Pro 和 Samsung S24 系列的 Android 裝置端執行。
如要在 Android 上執行 Gemini Nano 模型,您必須使用 Android 版 Google AI Edge SDK,此 SDK 會提供 API 以執行以下作業:
- 判斷是否支援基礎 Android 裝置。
- 取得 Gemini Nano 模型。
- 調整安全設定。
- 在高效能執行推論作業,並實作備用機制。
- 您也可以選擇提供 LoRA 微調區塊,以改善您用途的模型效能。
用於存取 Gemini Nano 的 API 支援文字轉文字型態,而且日後會推出更多模式。
裝置端執行的優點
裝置端執行功能可執行下列作業:
- 在本機處理機密資料:在本機處理資料有助於避免將使用者資料傳送至雲端。這對需要處理機密資料的應用程式 (例如具有端對端加密的訊息應用程式) 至關重要。
- 離線存取:使用者即使沒有網際網路連線,仍然可以使用 AI 功能。對於需要離線工作或可變化連線的應用程式而言,這項功能非常實用。
- 節省成本:您可以將執行作業卸載至消費者硬體,藉此降低推論成本。這可以大幅節省常用使用者流程的費用。
Gemini API 在裝置端執行具有許多優點;不過,在需要較大型的 Gemini 模型以及支援多種裝置的情況下,建議您考慮使用 Gemini API 在伺服器上存取 Gemini。方法是透過後端整合 (使用 Python、Go、Node.js 或 REST),或透過全新 Android 專用 Google AI 用戶端 SDK,直接從 Android 應用程式執行這項操作。
運作方式
Gemini Nano 的裝置端執行作業是由 Android AICore 提供。Android AICore 是一項新的系統層級功能,可供存取用於裝置端執行的基礎模型,此功能已於 Android 14 推出。已透過 AICore 預先安裝基礎模型,因此您不必在應用程式中下載或發布模型。您可以使用 LoRa 針對下游工作微調這些模型。Android AICore 現已在 Google Pixel 8 Pro 和 Samsung S24 系列裝置上推出,並且已經支援 Google 應用程式的創新功能。
詳情請參閱「Android AICore」。
後續步驟
- 如要瞭解如何在 Android 應用程式的 Google 伺服器上使用 Gemini Pro 推論,請參閱適用於 Android 的 Google AI 用戶端 SDK 快速入門導覽課程。