搭載 LiteRT 的 Google Tensor (EdgeTPU)

Google Tensor 是專為 Google Pixel 手機打造的晶片系統 (SoC)，可執行 AI 模型。Tensor 經過最佳化，可提高運算效率並盡可能降低能源消耗。這項技術採用專屬的機器學習推論加速器 (稱為 TPU，即 Tensor Processing Unit)，可透過 Google Tensor SDK 存取。

申請存取 Google Tensor SDK Beta 版

Google Tensor SDK 是一套軟體開發套件，可運用自訂 Tensor 系統單晶片 (SoC) 及其專屬的 TPU 推論加速器，為 Google Pixel 手機最佳化裝置端機器學習功能。這項 SDK 提供全方位的工具，協助開發人員存取 Model Garden 中精選的開放原始碼模型。這個套件也能將模型編譯為 TPU 相容格式。

 註冊

主要功能與特色

  • 直接存取專屬 TPU 硬體，在 Pixel 裝置上進行有效率的機器學習推論。
  • Model Garden中經過精選，且已針對 SDK 最佳化的開放原始碼模型。

設定開發環境

以下是使用 Google Tensor SDK 的必要硬體和軟體規格，以及先決條件：

硬體

  • 使用 Linux 作業系統的本機開發工作站，且採用 x86_64 架構。
    • 提示：如要確認工作站的架構，可以使用 uname -m 指令或類似的診斷工具。
  • 至少需要 16 GB 的 RAM。
    使用 SDK 時所需的 RAM 容量取決於模型的輸入大小。如要輸入大量資料，建議至少使用 64 GB 的 RAM。

軟體

  • 作業系統：Ubuntu 22.04 LTS
  • 建構系統：Bazel 7.4.1
  • Android SDK：API 級別 34 (Android 14)
  • Android NDK：支援 API 級別 28 (Android 9 Pie)

  • (選用) Python 3.11.0

  • Android Debug Bridge (adb)

必要條件

  • (選用) 獲得 Tensor SDK 團隊授權，可存取遠端 Pixel 裝置的 Google Cloud 專案 (GCP)。如需 Google Cloud 專案建立指南，請參閱「建立及管理專案」。

  • (選用)「efficientnet_b0.tflite」的下載副本

支援的 SoC

Google Tensor SDK 支援下列 SoC：

  • Google Tensor G5 (Tensor_G5)

後續步驟

  1. 請按照「使用 LiteRT 進行 NPU 加速」中的轉換和部署步驟操作，並視需要選擇 Google Tensor。

  2. 如要瞭解語言模型，請參閱「使用 LiteRT-LM 在 NPU 上執行 LLM」。