LiteRT を搭載した Google Tensor（EdgeTPU）

Google Tensor は、Google Pixel スマートフォンで AI モデルを実行するために作られたカスタム設計のシステム オン チップ（SoC）です。Tensor は、計算効率と最小限のエネルギー消費を実現するように最適化されています。Google Tensor SDK を通じてアクセスできる TPU（Tensor Processing Unit）と呼ばれる専用の ML 推論アクセラレータを使用します。

Google Tensor SDK ベータ版へのアクセスに申し込む

Google Tensor SDK は、カスタムの Tensor System-on-Chip（SoC）とその専用の TPU 推論アクセラレータを活用して、Google Pixel のオンデバイス ML を最適化するために作成されたソフトウェア開発キットです。この SDK は、デベロッパーが Model Garden で厳選されたオープンソース モデルにアクセスするのに役立つ包括的なツールスイートを提供します。このキットを使用すると、モデルを TPU 互換形式にコンパイルすることもできます。

 登録

主な機能

  • Pixel デバイスでの効率的な ML 推論のための専用 TPU ハードウェアへの直接アクセス。
  • Model Garden で SDK 向けに最適化された厳選されたオープンソース モデル。

開発環境を設定する

Google Tensor SDK を利用するためのハードウェアとソフトウェアの仕様、前提条件は次のとおりです。

ハードウェア

  • x86_64 アーキテクチャの Linux ベースのオペレーティング システムを使用するローカル開発ワークステーション。
    • ヒント: ワークステーションのアーキテクチャを確認するには、uname -m コマンドなどの診断ツールを使用します。
  • 16 GB 以上の RAM が必要です。
    SDK の使用に必要な RAM 容量は、モデルの入力サイズによって異なります。より大きな入力データの場合は、64 GB 以上の RAM を推奨します。

ソフトウェア

  • オペレーティング システム: Ubuntu 22.04 LTS
  • ビルドシステム: Bazel 7.4.1
  • Android SDK: API レベル 34（Android 14）
  • Android NDK: API レベル 28（Android 9 Pie）のサポート

  • （省略可）Python 3.11.0

  • Android Debug Bridge（adb）

前提条件

  • （省略可）Tensor SDK チームによってリモートの Google Pixel デバイスへのアクセス権が付与された Google Cloud プロジェクト（GCP）。Google Cloud プロジェクトの作成に関するガイダンスについては、プロジェクトの作成と管理をご覧ください。

  • （省略可）efficientnet_b0.tflite のダウンロード コピー

サポートされている SoC

Google Tensor SDK は次の SoC をサポートしています。

  • Google Tensor G5（Tensor_G5）

次のステップ

  1. LiteRT による NPU アクセラレーションのコンバージョンとデプロイの手順に沿って、必要に応じて Google Tensor を選択します。

  2. 言語モデルについては、LiteRT-LM を使用して NPU で LLM を実行するをご覧ください。