搭载 LiteRT 的 Google Tensor (EdgeTPU)

Google Tensor 是一款定制设计的片上系统 (SoC)，专为在 Google Pixel 手机上运行 AI 模型而打造。Tensor 经过优化，可实现计算效率和最低能源消耗。它使用名为 TPU（张量处理单元）的专用 ML 推理加速器，可通过 Google Tensor SDK 访问。

注册以获取 Google Tensor SDK Beta 版的访问权限

Google Tensor SDK 是一款软件开发套件，旨在利用定制的 Tensor 片上系统 (SoC) 及其专用 TPU 推理加速器，优化 Google Pixel 手机上的设备端机器学习。 此 SDK 提供了一套全面的工具，可帮助开发者 访问 Model Garden 中精选的开源模型。 此套件还支持将模型编译为与 TPU 兼容的格式。

 注册

主要特性

  • 直接访问专用 TPU 硬件 ，以便在 Pixel 设备上进行高效的 ML 推理。
  • Model Garden 中针对 SDK 优化的精选开源模型。

设置开发环境

以下是利用 Google Tensor SDK 所需的硬件和软件规范，以及前提条件：

硬件

  • 一个本地开发工作站，使用基于 Linux 的操作系统，并采用 x86_64 架构 。
    • 提示： 如需确定工作站的架构，您可以使用 uname -m 命令或类似的诊断工具。
  • 至少需要 16 GB RAM 。
    使用 SDK 所需的特定 RAM 容量取决于模型的输入大小。对于更大量的输入数据，建议至少使用 64 GB RAM。

软件

  • 操作系统： Ubuntu 22.04 LTS
  • 构建系统： Bazel 7.4.1
  • Android SDK： API 级别 34 (Android 14)
  • Android NDK： 支持 API 级别 28 (Android 9 Pie)

  • （可选）Python 3.11.0

  • Android 调试桥 (adb)

前提条件

  • （可选）一个 Google Cloud 项目 (GCP)，该项目已获得 Tensor SDK 团队授予的远程 Pixel 设备访问权限。如需有关 Google Cloud 项目创建的指南，请参阅 创建和管理项目。

  • （可选）efficientnet_b0.tflite 的下载副本

支持的 SoC

Google Tensor SDK 支持以下 SoC：

  • Google Tensor G5 (Tensor_G5)

后续步骤

  1. 按照使用 LiteRT 进行 NPU 加速中的转换和部署步骤操作，并根据需要选择 Google Tensor。

  2. 对于语言模型，请参阅 使用 LiteRT-LM 在 NPU 上执行 LLM。