מסגרת הסקת מסקנות בקוד פתוח שמוכנה לשימוש בסביבת ייצור, ומיועדת לפריסות של מודלים גדולים של שפה (LLM) בפלטפורמות שונות במכשירי קצה, עם ביצועים גבוהים.
סקירה כללית התחל בעבודה

בדיוק בזמן

בבלוג האחרון שלנו תוכלו לקרוא איך LiteRT-LM משפר את הפריסות של AI גנרטיבי במכשיר, וממצה את הפוטנציאל של Gemma 4 במהירות גבוהה וביעילות מדהימה באמצעות ממשקי API חדשים של Swift,‏ JavaScript ו-Flutter.
פוסט בבלוג סקירה כללית

למה LiteRT-LM?

פריסת מודלים של שפה גדולה ב-Android, ב-iOS, באינטרנט ובמחשב.
שיפור הביצועים באמצעות האצת GPU ו-NPU.
תמיכה במודלים פופולריים של LLM, כמו גם במולטי-מודאליות (ראייה, אודיו) ובשימוש בכלי עזר.

אני רוצה להתחיל לפתח

ממשקי API של Python עם שיפור המהירות באמצעות חומרה ב-Linux, ב-MacOS, ב-Windows וב-Raspberry Pi.
מדריך ל-Python
אפליקציות מקוריות ל-Android וכלים למחשב שמבוססים על JVM.
מדריך ל-Android
ממשקי API מקוריים של Swift ל-iOS (בקרוב גם ל-macOS).
מדריך Swift
ממשקי JavaScript ו-TypeScript API לאפליקציות אינטרנט מבוססות-דפדפן עם האצת WebGPU.
מדריך האינטרנט
יצירת אפליקציות Flutter חוצות-פלטפורמות באמצעות חבילת flutter_gemma שמתוחזקת על ידי הקהילה.
מדריך Flutter
‫x-platform C++ APIs .
מדריך C++‎
ליצור קובצי ‎ .litertlm ממודלים של LiteRT שהומרו.
מדריך ליצירת קבצים

להצטרפות לקהילה

אפשר לתרום לפרויקט הקוד הפתוח, לדווח על בעיות ולראות דוגמאות.
הצגה ב-GitHub
אתם יכולים להוריד מודלים שעברו המרה מראש (Gemma,‏ Qwen ועוד) ולהצטרף לדיון.
הצגה ב-Hugging Face

בלוגים והודעות

מהירויות פענוח מהירות פי 2 ומעלה במעבדים גרפיים בניידים, ללא פגיעה באיכות.
אפשר לפרוס את Gemma 4 באפליקציה ובמגוון רחב יותר של מכשירים עם ביצועים מעולים ופוטנציאל חשיפה רחב באמצעות LiteRT-LM.
פריסת מודלים של שפה במכשירים לבישים ובפלטפורמות מבוססות-דפדפן באמצעות LiteRT-LM בקנה מידה נרחב.
במאמר הזה מוסבר איך לבצע כוונון עדין של FunctionGemma ואיך להפעיל יכולות של בקשות להפעלת פונקציות שמבוססות על ממשקי API של LiteRT-LM Tool Use.

מודלים קטנים של שפה (LLM) של Google AI Edge, מולטי-מודאליות וקריאה לפונקציות

תובנות עדכניות לגבי RAG, מולטי-מודאליות ובקשות להפעלת פונקציות במודלים של שפה שפועלים במכשירים.