شتاب NPU با LiteRT Next

LiteRT Next یک رابط یکپارچه برای استفاده از واحدهای پردازش عصبی (NPU) ارائه می‌کند، بدون اینکه شما را مجبور کند که به‌صورت جداگانه در کامپایلرها، زمان‌های اجرا، یا وابستگی‌های کتابخانه خاص پیمایش کنید. استفاده از LiteRT Next برای شتاب NPU از بسیاری از پیچیدگی‌های خاص فروشنده یا دستگاه جلوگیری می‌کند، عملکرد را برای استنتاج واقعی و مدل بزرگ افزایش می‌دهد، و کپی‌های حافظه را از طریق استفاده از بافر سخت‌افزاری صفر کپی به حداقل می‌رساند.

اگر قبلاً در برنامه دسترسی اولیه LiteRT NPU ثبت نام کرده اید، برای مشاهده اسناد NPU به حساب مجاز وارد شوید. اگر ثبت نام نکرده اید، در برنامه Early Access ثبت نام کنید:

ثبت نام کنید

شروع کنید

برای شروع، راهنمای نمای کلی NPU را ببینید:

  • برای مدل‌های کلاسیک ML ، مستقیماً با چارچوب اصلی پیش بروید:
  • برای مدل‌های زبان بزرگ (LLM) ، توصیه می‌کنیم از چارچوب LiteRT-LM خود برای انجام پردازش‌های سرتاسر مورد نیاز برای اجرای NPU استفاده کنید:

برای مثال پیاده سازی LiteRT Next با پشتیبانی NPU، به برنامه های آزمایشی زیر مراجعه کنید:

فروشندگان NPU

LiteRT Next از شتاب NPU با فروشندگان زیر پشتیبانی می کند: