نمای کلی LiteRT-LM

LiteRT-LM یک چارچوب استنتاج متن‌باز و آماده برای تولید است که برای ارائه استقرارهای LLM با کارایی بالا و چند پلتفرمی در دستگاه‌های لبه طراحی شده است.

ویژگی‌های کلیدی

• پشتیبانی چند پلتفرمی: قابل اجرا بر روی اندروید، iOS، وب و دسکتاپ.
• شتاب سخت‌افزاری:
  • پردازنده گرافیکی (GPU): با پشتیبانی از ML Drift، از هر دو مدل ML و Generative AI پشتیبانی می‌کند.
  • NPU: استنتاج تسریع‌شده در دستگاه‌هایی با تراشه‌های کوالکام و مدیاتک (دسترسی زودهنگام).
• چندوجهی: پشتیبانی از ورودی تصویر و صدا.
• کاربرد ابزار: پشتیبانی از فراخوانی تابع برای گردش‌های کاری عامل‌محور.
• پشتیبانی گسترده از مدل‌ها: اجرای Gemma، Llama، Phi-4، Qwen و موارد دیگر.

بک‌اندها و پلتفرم‌های پشتیبانی‌شده

شروع سریع

می‌خواهید اول آن را امتحان کنید؟ قبل از ادامه‌ی راه‌اندازی کامل، می‌توانید از فایل‌های باینری از پیش ساخته شده برای دسکتاپ یا برنامه‌ی Google AI Edge Gallery برای موبایل برای اجرای فوری LiteRT-LM استفاده کنید.

اپلیکیشن‌های موبایل

گالری Google AI Edge یک برنامه آزمایشی است که قدرت مدل‌های پیشرفته هوش مصنوعی مولد را مستقیماً در اختیار شما قرار می‌دهد و توسط LiteRT-LM پشتیبانی می‌شود.

• اپلیکیشن گالری لبه هوش مصنوعی اندروید
• اپلیکیشن گالری لبه هوش مصنوعی iOS
• گالری هوش مصنوعی لبه در گیت‌هاب

رابط خط فرمان دسکتاپ

• مک او اس ARM64
• لینوکس x86_64
• لینوکس ARM64
• ویندوز x86_64

پس از دانلود فایل باینری lit ، کافیست lit را اجرا کنید تا گزینه‌ها را ببینید.

پلتفرم خود را انتخاب کنید

مدل‌های پشتیبانی‌شده

جدول زیر نمونه‌ای از مدل‌هایی را نشان می‌دهد که به طور کامل توسط LiteRT-LM پشتیبانی و آزمایش شده‌اند.

توجه: عبارت «آماده برای چت» نشان‌دهنده مدل‌هایی است که برای چت تنظیم شده‌اند (تنظیم دستورالعمل). مدل‌های «پایه» اغلب برای عملکرد بهینه چت نیاز به تنظیم دقیق دارند، مگر اینکه برای تکمیل‌های خاص استفاده شوند.

عملکرد

در زیر اعداد عملکرد اجرای هر مدل روی دستگاه‌های مختلف آمده است. توجه داشته باشید که این معیار با ۱۰۲۴ توکن پیش‌پر شده و ۲۵۶ توکن رمزگشایی شده (با قفل عملکرد روی دستگاه‌های اندروید) اندازه‌گیری شده است.

توجه: اولین باری که یک مدل روی یک دستگاه مشخص بارگذاری می‌شود، با بهینه‌سازی وزن‌ها، بارگذاری آن بیشتر طول می‌کشد. بارگذاری‌های بعدی به دلیل ذخیره‌سازی سریع‌تر خواهند بود.

میزبانی و استقرار مدل

وقتی یک مدل از محدودیت دانلود «از طریق هوا» (اغلب حدود ۱.۵ گیگابایت) فراتر می‌رود، یک استراتژی واکشی از راه دور مورد نیاز است.

• فایربیس: برای دانلود فایل‌های حجیم در اندروید و iOS توصیه می‌شود.
• HuggingFace API: مدل‌ها را مستقیماً با استفاده از HuggingFace API دریافت کنید.

گزارش مشکلات

اگر با اشکالی مواجه شدید یا درخواست ویژگی جدیدی دارید، لطفاً از صفحه مشکلات LiteRT-LM GitHub استفاده کنید.