Google Tensor (EdgeTPU) dengan LiteRT

Google Tensor adalah System-on-Chip (SoC) yang didesain khusus untuk menjalankan model AI di ponsel Google Pixel. Tensor dioptimalkan untuk efisiensi komputasi dan konsumsi energi minimal. Fitur ini menggunakan akselerator inferensi ML khusus yang disebut TPU (Tensor Processing Unit), yang dapat diakses melalui Google Tensor SDK.

Mendaftar untuk mendapatkan akses ke Google Tensor SDK Beta

Google Tensor SDK adalah software development kit yang dibuat untuk mengoptimalkan machine learning di perangkat untuk ponsel Google Pixel dengan memanfaatkan Tensor System-on-Chip (SoC) kustom dan akselerator inferensi TPU khusus. SDK ini menyediakan serangkaian alat komprehensif yang membantu developer mengakses model open source pilihan di Model Garden. Kit ini juga memungkinkan kompilasi model ke dalam format yang kompatibel dengan TPU.

 Daftar

Fitur utama

  • Akses langsung ke hardware TPU khusus untuk inferensi ML yang efisien di perangkat Pixel.
  • Model open source pilihan yang dioptimalkan untuk SDK di Model Garden.

Menyiapkan lingkungan pengembangan

Berikut adalah spesifikasi hardware dan software yang diperlukan, serta prasyarat untuk menggunakan Google Tensor SDK:

Hardware

  • Workstation pengembangan lokal yang menggunakan sistem operasi berbasis Linux dengan arsitektur x86_64.
    • Tips: Untuk memastikan arsitektur workstation Anda, Anda dapat menggunakan perintah uname -m atau alat diagnostik serupa.
  • Diperlukan RAM minimal 16 GB.
    Kapasitas RAM spesifik yang diperlukan untuk penggunaan SDK bergantung pada ukuran input model Anda. Untuk data input yang lebih besar, sebaiknya gunakan RAM minimal 64 GB.

Software

  • Sistem Operasi: Ubuntu 22.04 LTS
  • Sistem Build: Bazel 7.4.1
  • Android SDK: Level API 34 (Android 14)
  • Android NDK: Dukungan untuk Level API 28 (Android 9 Pie)

  • (Opsional) Python 3.11.0

  • Android Debug Bridge (adb)

Prasyarat

  • (Opsional) Project Google Cloud (GCP) yang telah diberi akses ke perangkat Pixel jarak jauh oleh tim Tensor SDK. Untuk mendapatkan panduan tentang pembuatan project Google Cloud, lihat Membuat dan mengelola project.

  • (Opsional) Salinan efficientnet_b0.tflite yang didownload

SoC yang didukung

Google Tensor SDK mendukung SoC berikut:

  • Google Tensor G5 (Tensor_G5)

Langkah berikutnya

  1. Ikuti langkah-langkah konversi dan deployment di Percepatan NPU dengan LiteRT, dengan memilih Google Tensor jika berlaku.

  2. Untuk model bahasa, lihat Menjalankan LLM di NPU menggunakan LiteRT-LM.