استقرار مدل‌های GenAI با LiteRT

LiteRT پیاده‌سازی با کارایی بالا را برای مدل‌های هوش مصنوعی مولد در پلتفرم‌های موبایل، دسکتاپ و وب ارائه می‌دهد. LiteRT با بهره‌گیری یکپارچه از شتاب سخت‌افزاری CPUها، GPUها و NPUها، عملکرد پیشرفته‌ای را برای استنتاج GenAI روی دستگاه فراهم می‌کند.

شما می‌توانید مدل‌های پیچیده GenAI را با استفاده از پشته فناوری یکپارچه زیر مستقر کنید:

  • Torch Generative API : یک ماژول پایتون در کتابخانه AI Edge Torch برای نوشتن و تبدیل مدل‌های PyTorch GenAI. این API بلوک‌های سازنده بهینه‌ای را ارائه می‌دهد که اجرای با کارایی بالا را در دستگاه‌ها تضمین می‌کند. برای جزئیات بیشتر به Convert PyTorch GenAI models مراجعه کنید.

  • LiteRT-LM : یک لایه تنظیم تخصصی که بر روی LiteRT ساخته شده است تا پیچیدگی‌های خاص LLM، مانند شبیه‌سازی جلسه، مدیریت kv-cache، ذخیره‌سازی/امتیازدهی سریع، استنتاج مبتنی بر وضعیت را مدیریت کند. برای جزئیات بیشتر به مخزن گیت‌هاب LiteRT-LM مراجعه کنید.

  • مبدل و زمان اجرا LiteRT : موتور بنیادی که تبدیل مدل کارآمد، اجرای زمان اجرا و بهینه‌سازی را فراهم می‌کند و شتاب سخت‌افزاری پیشرفته را در سراسر CPU، GPU و NPU تقویت می‌کند.

باغ وحش مدل LiteRT GenAI

LiteRT از مجموعه‌ای رو به رشد از مدل‌های محبوب با وزن آزاد در انجمن LiteRT Hugging Face پشتیبانی می‌کند. این مدل‌ها از قبل تبدیل و برای استقرار فوری تنظیم شده‌اند و به شما این امکان را می‌دهند که از همان ابتدا از حداکثر عملکرد در CPUها، GPUها و NPUها بهره‌مند شوید.

بینش‌های ویژه