Google Tensor (EdgeTPU) z LiteRT

Google Tensor to specjalnie zaprojektowany układ scalony (SoC) przeznaczony do uruchamiania modeli AI na telefonach Google Pixel. Tensor jest zoptymalizowany pod kątem wydajności obliczeniowej i minimalnego zużycia energii. Wykorzystuje dedykowany akcelerator wnioskowania ML o nazwie TPU (Tensor Processing Unit), do którego można uzyskać dostęp za pomocą pakietu Google Tensor SDK.

Zarejestruj się, aby uzyskać dostęp do wersji beta pakietu Google Tensor SDK

Google Tensor SDK to pakiet do tworzenia oprogramowania, który został stworzony w celu optymalizacji uczenia maszynowego na urządzeniu w telefonach Google Pixel przez wykorzystanie specjalnego układu Tensor System-on-Chip (SoC) i jego dedykowanego akceleratora wnioskowania TPU. Ten pakiet SDK zawiera kompleksowy zestaw narzędzi, które pomagają programistom uzyskiwać dostęp do wyselekcjonowanych modeli open source w bazie modeli. Ten zestaw umożliwia też kompilowanie modeli do formatów zgodnych z TPU.

 Zarejestruj się

Najważniejsze funkcje

  • Bezpośredni dostęp do dedykowanego sprzętu TPU w celu wydajnego wnioskowania ML na urządzeniach Pixel.
  • Wyselekcjonowane modele open source zoptymalizowane pod kątem pakietu SDK w bazie modeli.

Konfigurowanie środowiska programistycznego

Poniżej znajdziesz wymagane specyfikacje sprzętowe i oprogramowania oraz wymagania wstępne dotyczące korzystania z pakietu Google Tensor SDK:

Sprzęt

  • Lokalna stacja robocza do programowania korzystająca z systemu operacyjnego opartego na Linuksie z architekturą x86_64.
    • Wskazówka: aby sprawdzić architekturę stacji roboczej, możesz użyć polecenia uname -m lub podobnego narzędzia diagnostycznego.
  • Wymagane jest co najmniej 16 GB pamięci RAM.
    Konkretna ilość pamięci RAM potrzebna do korzystania z pakietu SDK zależy od rozmiaru danych wejściowych modelu. W przypadku większych danych wejściowych zalecamy co najmniej 64 GB pamięci RAM.

Oprogramowanie

  • System operacyjny: Ubuntu 22.04 LTS
  • System kompilacji: Bazel 7.4.1
  • Android SDK: poziom interfejsu API 34 (Android 14)
  • Android NDK: obsługa poziomu interfejsu API 28 (Android 9 Pie)

  • (Opcjonalnie) Python 3.11.0

  • Android Debug Bridge (adb)

Wymagania wstępne

  • (Opcjonalnie) Projekt Google Cloud (GCP), który uzyskał dostęp do zdalnych urządzeń Pixel od zespołu Tensor SDK. Więcej informacji o tworzeniu projektu w chmurze Google Cloud znajdziesz w artykule Tworzenie projektów i zarządzanie nimi.

  • (Opcjonalnie) Pobrana kopia pliku efficientnet_b0.tflite

Obsługiwane układy SoC

Pakiet Google Tensor SDK obsługuje te układy SoC:

  • Google Tensor G5 (Tensor_G5)

Dalsze kroki

  1. Postępuj zgodnie z instrukcjami konwersji i wdrażania w sekcji Przyspieszenie NPU za pomocą LiteRT, wybierając w razie potrzeby Google Tensor.

  2. W przypadku modeli językowych zapoznaj się z artykułem Uruchamianie dużych modeli językowych na NPU za pomocą LiteRT-LM.