چارچوب استنتاج متن‌باز و آماده برای تولید که برای ارائه استقرارهای LLM با کارایی بالا و چند پلتفرمی در دستگاه‌های لبه طراحی شده است.

کانون توجه

با Gemma 4، مهارت‌های عامل‌شناسی پیشرفته را به اوج خود برسانید.

چرا LiteRT-LM؟

LLM ها را در اندروید، iOS، وب و دسکتاپ مستقر کنید.
با شتاب‌دهی GPU و NPU، عملکرد را به حداکثر برسانید.
پشتیبانی از LLM های محبوب و همچنین چندوجهی (تصویری، صوتی) و استفاده از ابزار.

شروع به ساختن کنید

رابط‌های برنامه‌نویسی پایتون با شتاب‌دهنده سخت‌افزاری در لینوکس، مک‌او‌اس، ویندوز و رزبری پای.
برنامه‌های بومی اندروید و ابزارهای دسکتاپ مبتنی بر JVM.
ادغام بومی iOS و macOS با پشتیبانی تخصصی Metal (به‌زودی APIهای Swift ارائه می‌شوند).
رابط‌های برنامه‌نویسی کاربردی سی‌پلاس‌پلاس برای پلتفرم ایکس.

به انجمن بپیوندید

در پروژه متن‌باز مشارکت کنید، مشکلات را گزارش دهید و مثال‌ها را ببینید.
مدل‌های از پیش تبدیل‌شده (جما، کوئن و موارد دیگر) را دانلود کنید و به بحث بپیوندید.

وبلاگ‌ها و اطلاعیه‌ها

با استفاده از LiteRT-LM، Gemma 4 را درون برنامه‌ای و در طیف وسیع‌تری از دستگاه‌ها با عملکرد و دسترسی فوق‌العاده مستقر کنید.
مدل‌های زبانی را با استفاده از LiteRT-LM در مقیاس بزرگ، روی دستگاه‌های پوشیدنی و پلتفرم‌های مبتنی بر مرورگر مستقر کنید.
نحوه تنظیم دقیق FunctionGemma و فعال کردن قابلیت‌های فراخوانی تابع که توسط LiteRT-LM Tool Use APIs ارائه می‌شود را بررسی کنید.
آخرین بینش‌ها در مورد RAG، چندوجهی بودن و تابعی که مدل‌های زبان لبه را می‌طلبد.