Google Tensor (EdgeTPU) me LiteRT

Google Tensor është një Sistem-në-Çip (SoC) i projektuar posaçërisht për të ekzekutuar modele të inteligjencës artificiale në telefonat Google Pixel. Tensor është i optimizuar për efikasitet llogaritës dhe konsum minimal të energjisë. Ai përdor një përshpejtues të dedikuar të nxjerrjes së përfundimeve të ML të quajtur TPU (Njësia e Përpunimit të Tensorit), i cili është i arritshëm përmes Google Tensor SDK.

Regjistrohuni për qasje në Google Tensor SDK Beta

Google Tensor SDK është një komplet zhvillimi softuerësh i krijuar për të optimizuar të mësuarit automatik në pajisje për telefonat Google Pixel duke përdorur Tensor System-on-Chip (SoC) të personalizuar dhe përshpejtuesin e tij të dedikuar të përfundimit TPU. Ky SDK ofron një suitë gjithëpërfshirëse mjetesh që i ndihmojnë zhvilluesit të hyjnë në modele me burim të hapur të kuruara në Model Garden . Ky komplet gjithashtu mundëson përpilimin e modeleve në formate të pajtueshme me TPU.

 Regjistrohu

Karakteristikat kryesore

  • Qasje e drejtpërdrejtë në harduerin e dedikuar TPU për inferencë efikase të ML në pajisjet Pixel.
  • Modele me burim të hapur të kuruara dhe të optimizuara për SDK në Model Garden .

Konfiguroni mjedisin e zhvillimit

Më poshtë janë specifikimet e kërkuara të harduerit dhe softuerit, si dhe parakushtet për përdorimin e SDK-së Google Tensor:

Pajisje

  • Një stacion pune zhvillimi lokal që përdor një sistem operativ të bazuar në Linux me një arkitekturë x86_64 .
    • Këshillë: Për të përcaktuar arkitekturën e stacionit tuaj të punës, mund të përdorni komandën uname -m ose një mjet të ngjashëm diagnostikues.
  • Kërkohet një minimum prej 16 GB RAM .
    Kapaciteti specifik i RAM-it i nevojshëm për përdorimin e SDK-së varet nga madhësia e të dhënave hyrëse të modelit tuaj. Për të dhëna hyrëse më të konsiderueshme, rekomandohet një minimum prej 64 GB RAM.

Softuer

  • Sistemi Operativ: Ubuntu 22.04 LTS
  • Sistemi i Ndërtimit: Bazel 7.4.1
  • Android SDK: Niveli API 34 (Android 14)
  • Android NDK: Mbështetje për API Level 28 (Android 9 Pie)

  • (Opsionale) Python 3.11.0

  • Ura e Debugimit të Android (adb)

Parakushte

  • (Opsionale) Një Projekt Google Cloud (GCP) të cilit i është dhënë qasje në pajisjet Pixel në distancë nga ekipi i Tensor SDK. Për udhëzime mbi krijimin e projekteve Google Cloud, konsultohuni me Krijimin dhe menaxhimin e projekteve .

  • (Opsionale) Një kopje e shkarkuar e efficientnet_b0.tflite

SoC-të e mbështetura

Google Tensor SDK mbështet SoC-të e mëposhtme:

  • Google Tensor G5 (Tensor_G5)

Hapat e ardhshëm

  1. Ndiqni hapat e konvertimit dhe vendosjes në përshpejtimin e NPU me LiteRT , duke zgjedhur Google Tensor sipas rastit.

  2. Për modelet gjuhësore, shihni Ekzekutimi i LLM-ve në NPU duke përdorur LiteRT-LM .