Google Tensor (EdgeTPU) mit LiteRT

Google Tensor ist ein speziell entwickelter System-on-Chip (SoC), der für die Ausführung von KI-Modellen auf Google Pixel-Smartphones entwickelt wurde. Tensor ist für Recheneffizienz und minimalen Energieverbrauch optimiert. Es wird ein spezieller ML-Inferenzbeschleuniger namens TPU (Tensor Processing Unit) verwendet, auf den über das Google Tensor SDK zugegriffen werden kann.

Für den Zugriff auf die Betaversion des Google Tensor SDK registrieren

Das Google Tensor SDK ist ein Software Development Kit, das entwickelt wurde, um das On-Device-Maschinelles Lernen für Google Pixel-Smartphones zu optimieren. Dazu wird der eigens entwickelte Tensor-System-on-Chip (SoC) und sein dedizierter TPU-Inferenzbeschleuniger genutzt. Dieses SDK bietet eine umfassende Suite von Tools, mit denen Entwickler auf kuratierte Open-Source-Modelle in Model Garden zugreifen können. Mit diesem Kit können Modelle auch in TPU-kompatible Formate kompiliert werden.

 Registrieren

Wichtige Features

  • Direkter Zugriff auf dedizierte TPU-Hardware für effiziente ML-Inferenz auf Pixel-Geräten.
  • Ausgewählte Open-Source-Modelle, die für das SDK in Model Garden optimiert wurden.

Entwicklungsumgebung einrichten

Im Folgenden finden Sie die erforderlichen Hardware- und Softwarevorgaben sowie die Voraussetzungen für die Nutzung des Google Tensor SDK:

Hardware

  • Eine lokale Entwickler-Workstation mit einem Linux-basierten Betriebssystem mit einer x86_64-Architektur.
    • Tipp:Mit dem Befehl uname -m oder einem ähnlichen Diagnosetool können Sie die Architektur Ihrer Workstation ermitteln.
  • Mindestens 16 GB RAM sind erforderlich.
    Die für die SDK-Nutzung erforderliche RAM-Kapazität hängt von der Eingabegröße Ihres Modells ab. Für umfangreichere Eingabedaten werden mindestens 64 GB RAM empfohlen.

Software

  • Betriebssystem:Ubuntu 22.04 LTS
  • Build-System:Bazel 7.4.1
  • Android SDK:API‑Level 34 (Android 14)
  • Android NDK:Unterstützung für API-Level 28 (Android 9 Pie)

  • (Optional) Python 3.11.0

  • Android Debug Bridge (ADB)

Vorbereitung

  • Optional: Ein Google Cloud-Projekt (GCP), dem das Tensor SDK-Team Zugriff auf Remote-Pixel-Geräte gewährt hat. Eine Anleitung zum Erstellen von Google Cloud-Projekten finden Sie unter Projekte erstellen und verwalten.

  • Optional: Eine heruntergeladene Kopie von efficientnet_b0.tflite

Unterstützte SoCs

Das Google Tensor SDK unterstützt die folgenden SoCs:

  • Google Tensor G5 (Tensor_G5)

Nächste Schritte

  1. Folgen Sie der Anleitung zum Konvertieren und Bereitstellen unter NPU-Beschleunigung mit LiteRT und wählen Sie bei Bedarf Google Tensor aus.

  2. Informationen zu Sprachmodellen finden Sie unter LLMs auf der NPU mit LiteRT-LM ausführen.