چارچوب استنتاج متن‌باز و آماده برای تولید که برای ارائه استقرارهای LLM با کارایی بالا و چند پلتفرمی در دستگاه‌های لبه طراحی شده است.
نمای کلی

چرا LiteRT-LM؟

LLM ها را در اندروید، iOS، وب و دسکتاپ مستقر کنید.
با شتاب‌دهی GPU و NPU، عملکرد را به حداکثر برسانید.
پشتیبانی از LLM های محبوب و همچنین چندوجهی (تصویری، صوتی) و استفاده از ابزار.
جدیدترین مدل‌های باز بهینه شده برای لبه، از جمله Gemma-3n، Gemma-3، FunctionGemma، TranslateGemma، Qwen3، Phi-4 و موارد دیگر را اجرا کنید.
مشاهده لیست مدل‌ها

شروع به ساختن کنید

برنامه‌های بومی اندروید و ابزارهای دسکتاپ مبتنی بر JVM.
راهنمای اندروید
ادغام بومی iOS و macOS با پشتیبانی تخصصی Metal (به‌زودی APIهای Swift ارائه می‌شوند).
راهنمای ++C چندسکویی
مستقیماً در مرورگر با WebAssembly و WebGPU اجرا کنید (به‌زودی APIهای JS نیز اضافه می‌شوند).
راهنمای ++C چندسکویی

به انجمن بپیوندید

در کد منبع مشارکت کنید، مشکلات را گزارش دهید و مثال‌ها را ببینید.
در GitHub مشاهده کنید
مدل‌های از پیش تبدیل‌شده را دانلود کنید و به بحث بپیوندید.
مشاهده در حالت بغل کردن صورت