LiteRT ile Google Tensor (EdgeTPU)

Google Tensor, Google Pixel telefonlarda yapay zeka modellerini çalıştırmak için özel olarak tasarlanmış bir çip üzerinde sistemdir (SoC). Tensor, hesaplama verimliliği ve minimum enerji tüketimi için optimize edilmiştir. Google Tensor SDK aracılığıyla erişilebilen TPU (Tensor İşleme Birimi) adlı özel bir makine öğrenimi çıkarım hızlandırıcısı kullanır.

Google Tensor SDK Beta'ya erişmek için kaydolma

Google Tensor SDK, özel Tensor System-on-Chip (SoC) ve özel TPU çıkarım hızlandırıcısını kullanarak Google Pixel telefonlarda cihaz üzerinde makine öğrenimini optimize etmek için oluşturulmuş bir yazılım geliştirme kitidir. Bu SDK, geliştiricilerin Model Garden'daki seçilmiş açık kaynak modellerine erişmesine yardımcı olan kapsamlı bir araç paketi sunar. Bu kit, modellerin TPU ile uyumlu biçimlerde derlenmesini de sağlar.

 Kaydolun

Temel özellikler

  • Pixel cihazlarda verimli makine öğrenimi çıkarımı için özel TPU donanımına doğrudan erişim.
  • Model Garden'da SDK için optimize edilmiş, seçilmiş açık kaynak modeller.

Geliştirme ortamını kurma

Google Tensor SDK'sını kullanmak için gerekli donanım ve yazılım özellikleri ile ön koşullar aşağıda verilmiştir:

Donanım

  • x86_64 mimarisine sahip, Linux tabanlı bir işletim sisteminin kullanıldığı yerel bir geliştirme iş istasyonu.
    • İpucu: İş istasyonunuzun mimarisini belirlemek için uname -m komutunu veya benzer bir teşhis aracını kullanabilirsiniz.
  • En az 16 GB RAM gerekir.
    SDK kullanımı için gereken RAM kapasitesi, modelinizin giriş boyutuna bağlıdır. Daha fazla giriş verisi için en az 64 GB RAM önerilir.

Yazılım

  • İşletim Sistemi: Ubuntu 22.04 LTS
  • Derleme Sistemi: Bazel 7.4.1
  • Android SDK: API düzeyi 34 (Android 14)
  • Android NDK: API düzeyi 28 (Android 9 Pie) desteği

  • (İsteğe bağlı) Python 3.11.0

  • Android Debug Bridge (adb)

Ön koşullar

  • (İsteğe bağlı) Tensor SDK ekibi tarafından uzak Pixel cihazlara erişim izni verilmiş bir Google Cloud projesi (GCP). Google Cloud projesi oluşturma hakkında bilgi edinmek için Proje oluşturma ve yönetme başlıklı makaleyi inceleyin.

  • (İsteğe bağlı) efficientnet_b0.tflite dokümanının indirilmiş kopyası

Desteklenen çip üzerinde sistemler

Google Tensor SDK, aşağıdaki çipleri destekler:

  • Google Tensor G5 (Tensor_G5)

Sonraki adımlar

  1. LiteRT ile NPU hızlandırma bölümündeki dönüşüm ve dağıtım adımlarını uygulayın. Google Tensor'ı uygun şekilde seçin.

  2. Dil modelleri için LiteRT-LM kullanarak NPU'da LLM'leri yürütme başlıklı makaleyi inceleyin.