Google Tensor (EdgeTPU) با LiteRT

گوگل تنسور یک سیستم روی تراشه (SoC) با طراحی سفارشی است که برای اجرای مدل‌های هوش مصنوعی در گوشی‌های گوگل پیکسل ساخته شده است. تنسور برای کارایی محاسباتی و حداقل مصرف انرژی بهینه شده است. از یک شتاب‌دهنده استنتاج یادگیری ماشین اختصاصی به نام TPU (واحد پردازش تنسور) استفاده می‌کند که از طریق Google Tensor SDK قابل دسترسی است.

برای دسترسی به نسخه بتای کیت توسعه نرم‌افزار گوگل تنسور (Google Tensor SDK) ثبت نام کنید

کیت توسعه نرم‌افزار گوگل تنسور (Google Tensor SDK) یک کیت توسعه نرم‌افزار است که برای بهینه‌سازی یادگیری ماشین روی دستگاه برای گوشی‌های گوگل پیکسل با استفاده از سیستم روی تراشه (SoC) تنسور سفارشی و شتاب‌دهنده استنتاج TPU اختصاصی آن ایجاد شده است. این SDK مجموعه‌ای جامع از ابزارها را ارائه می‌دهد که به توسعه‌دهندگان کمک می‌کند تا به مدل‌های متن‌باز منتخب در Model Garden دسترسی پیدا کنند. این کیت همچنین امکان کامپایل مدل‌ها در قالب‌های سازگار با TPU را فراهم می‌کند.

 ثبت نام

ویژگی‌های کلیدی

  • دسترسی مستقیم به سخت‌افزار اختصاصی TPU برای استنتاج کارآمد یادگیری ماشین در دستگاه‌های پیکسل.
  • مدل‌های متن‌بازِ گزینش‌شده که برای SDK در Model Garden بهینه شده‌اند.

محیط توسعه را تنظیم کنید

مشخصات سخت‌افزاری و نرم‌افزاری مورد نیاز و پیش‌نیازهای استفاده از Google Tensor SDK به شرح زیر است:

سخت‌افزار

  • یک ایستگاه کاری توسعه محلی که از یک سیستم عامل مبتنی بر لینوکس با معماری x86_64 استفاده می‌کند.
    • نکته: برای اطمینان از معماری سیستم خود، می‌توانید از دستور uname -m یا یک ابزار تشخیصی مشابه استفاده کنید.
  • حداقل رم مورد نیاز ۱۶ گیگابایت است.
    ظرفیت رم مورد نیاز برای استفاده از SDK به اندازه ورودی مدل شما بستگی دارد. برای داده‌های ورودی بزرگتر، حداقل 64 گیگابایت رم توصیه می‌شود.

نرم‌افزار

  • سیستم عامل: اوبونتو ۲۲.۰۴ LTS
  • سیستم ساخت: Bazel 7.4.1
  • کیت توسعه نرم‌افزار اندروید: API سطح ۳۴ (اندروید ۱۴)
  • اندروید NDK: پشتیبانی از API سطح ۲۸ (اندروید ۹ پای)

  • (اختیاری) پایتون ۳.۱۱.۰

  • پل اشکال‌زدایی اندروید (adb)

پیش‌نیازها

  • (اختیاری) یک پروژه گوگل کلود (GCP) که توسط تیم Tensor SDK به آن دسترسی به دستگاه‌های پیکسل از راه دور اعطا شده باشد. برای راهنمایی در مورد ایجاد پروژه گوگل کلود، به بخش ایجاد و مدیریت پروژه‌ها مراجعه کنید.

  • (اختیاری) یک کپی دانلود شده از efficientnet_b0.tflite

SoC های پشتیبانی شده

کیت توسعه نرم‌افزاری گوگل تنسور از تراشه‌های زیر پشتیبانی می‌کند:

  • گوگل تنسور جی۵ (Tensor_G5)

مراحل بعدی

  1. مراحل تبدیل و استقرار را در شتاب‌دهی NPU با LiteRT دنبال کنید و در صورت لزوم، Google Tensor را انتخاب کنید.

  2. برای مدل‌های زبانی، به «اجرای LLMها روی NPU با استفاده از LiteRT-LM» مراجعه کنید.