اجرای LLM ها روی دستگاه با LiteRT-LM
چارچوب استنتاج متنباز و آماده برای تولید که برای ارائه استقرارهای LLM با کارایی بالا و چند پلتفرمی در دستگاههای لبه طراحی شده است.
چرا LiteRT-LM؟
کراس پلت فرم
LLM ها را در اندروید، iOS، وب و دسکتاپ مستقر کنید.
شتابدهنده سختافزاری
با شتابدهی GPU و NPU، عملکرد را به حداکثر برسانید.
قابلیتهای گسترده GenAI
پشتیبانی از LLM های محبوب و همچنین چندوجهی (تصویری، صوتی) و استفاده از ابزار.
شروع به ساختن کنید
Python
رابطهای برنامهنویسی پایتون با شتابدهنده سختافزاری در لینوکس، مکاواس، ویندوز و رزبری پای.
Android
برنامههای بومی اندروید و ابزارهای دسکتاپ مبتنی بر JVM.
iOS
ادغام بومی iOS و macOS با پشتیبانی تخصصی Metal (بهزودی APIهای Swift ارائه میشوند).
C++
رابطهای برنامهنویسی کاربردی سیپلاسپلاس برای پلتفرم ایکس.
به انجمن بپیوندید
LiteRT-LM در گیتهاب
در پروژه متنباز مشارکت کنید، مشکلات را گزارش دهید و مثالها را ببینید.
صورت در آغوش گرفته
مدلهای از پیش تبدیلشده (جما، کوئن و موارد دیگر) را دانلود کنید و به بحث بپیوندید.
وبلاگها و اطلاعیهها
با Gemma 4، مهارتهای عاملشناسی پیشرفته را به اوج خود برسانید.
با استفاده از LiteRT-LM، Gemma 4 را درون برنامهای و در طیف وسیعتری از دستگاهها با عملکرد و دسترسی فوقالعاده مستقر کنید.
GenAI روی دستگاه در کروم، کرومبوک پلاس و پیکسل واچ
مدلهای زبانی را با استفاده از LiteRT-LM در مقیاس بزرگ، روی دستگاههای پوشیدنی و پلتفرمهای مبتنی بر مرورگر مستقر کنید.
فراخوانی تابع روی دستگاه در گالری Google AI Edge
نحوه تنظیم دقیق FunctionGemma و فعال کردن قابلیتهای فراخوانی تابع که توسط LiteRT-LM Tool Use APIs ارائه میشود را بررسی کنید.
مدلهای زبان کوچک، چندوجهی بودن و فراخوانی تابع در Google AI Edge
آخرین بینشها در مورد RAG، چندوجهی بودن و تابعی که مدلهای زبان لبه را میطلبد.