Google Tensor (EdgeTPU) con LiteRT

Google Tensor è un SoC (System-on-Chip) progettato su misura per l'esecuzione di modelli di AI sugli smartphone Google Pixel. Tensor è ottimizzato per l'efficienza computazionale e il consumo energetico minimo. Utilizza un acceleratore di inferenza ML dedicato chiamato TPU (Tensor Processing Unit), accessibile tramite Google Tensor SDK.

Registrati per accedere alla versione beta di Google Tensor SDK

Google Tensor SDK è un software development kit creato per ottimizzare il machine learning on-device per gli smartphone Google Pixel utilizzando il SoC (System-on-Chip) Tensor personalizzato e il relativo acceleratore di inferenza TPU dedicato. Questo SDK fornisce una suite completa di strumenti che aiutano gli sviluppatori ad accedere ai modelli open source curati in Model Garden. Questo kit consente anche la compilazione di modelli in formati compatibili con TPU.

 Registrati

Funzionalità principali

  • Accesso diretto all'hardware TPU dedicato per un'inferenza ML efficiente sui dispositivi Pixel.
  • Modelli open source curati e ottimizzati per l'SDK in Model Garden.

Configurare l'ambiente di sviluppo

Di seguito sono riportate le specifiche hardware e software richieste e i prerequisiti per l'utilizzo di Google Tensor SDK:

Hardware

  • Una workstation di sviluppo locale che utilizza un sistema operativo basato su Linux con un'architettura x86_64.
    • Suggerimento:per determinare l'architettura della workstation, puoi utilizzare il comando uname -m o uno strumento di diagnostica simile.
  • È necessario un minimo di 16 GB di RAM.
    La capacità di RAM specifica necessaria per l'utilizzo dell'SDK dipende dalle dimensioni dell'input del modello. Per dati di input più sostanziali, è consigliabile un minimo di 64 GB di RAM.

Software

  • Sistema operativo:Ubuntu 22.04 LTS
  • Sistema di compilazione:Bazel 7.4.1
  • SDK Android:livello API 34 (Android 14)
  • Android NDK:supporto per il livello API 28 (Android 9 Pie)

  • (Facoltativo) Python 3.11.0

  • Android Debug Bridge (adb)

Prerequisiti

  • (Facoltativo) Un progetto Google Cloud (GCP) a cui il team di Tensor SDK ha concesso l'accesso ai dispositivi Pixel remoti. Per indicazioni sulla creazione di progetti Google Cloud, consulta Creazione e gestione dei progetti.

  • (Facoltativo) Una copia scaricata di efficientnet_b0.tflite

SoC supportati

Google Tensor SDK supporta i seguenti SoC:

  • Google Tensor G5 (Tensor_G5)

Passaggi successivi

  1. Segui i passaggi di conversione e deployment in Accelerazione NPU con LiteRT, scegliendo Google Tensor, se applicabile.

  2. Per i modelli linguistici, vedi Eseguire LLM su NPU utilizzando LiteRT-LM.