تبدیل مدل‌های PyTorch GenAI برای استنتاج روی دستگاه

API مولد AI Edge Torch یک کتابخانه با کارایی بالا است که برای نوشتن و تبدیل مدل‌های PyTorch مبتنی بر Transformer به فرمت LiteRT/LiteRT-LM طراحی شده است. این امر توسعه‌دهندگان را قادر می‌سازد تا مدل‌های هوش مصنوعی مولد، به‌ویژه مدل‌های زبان بزرگ (LLM)، را برای تولید متن و تصویر روی دستگاه، به راحتی مستقر کنند.

رابط برنامه‌نویسی کاربردی Torch Generative از تبدیل مدل برای اجرای CPU و GPU پشتیبانی می‌کند و پشتیبانی از NPU نیز در حال توسعه است. با جفت کردن Torch Generative API با LiteRT-LM ، می‌توانید برنامه‌های واکنش‌گرا و متمرکز بر حریم خصوصی بسازید که مدل‌های مولد را کاملاً روی دستگاه اجرا می‌کنند.

برای اطلاعات بیشتر، به مخزن GitHub API Generative Torch مراجعه کنید.