הפעלת מודלים של LLM במכשיר באמצעות LiteRT-LM
מסגרת מסקנות מוכנה לייצור, בקוד פתוח, שנועדה לספק פריסות של מודלים גדולים של שפה (LLM) בפלטפורמות שונות במכשירי קצה עם ביצועים גבוהים
למה LiteRT-LM?
פלטפורמות שונות
פריסת מודלים של שפה גדולה ב-Android, ב-iOS, באינטרנט ובמחשב.
שיפור מהירות באמצעות חומרה
שיפור הביצועים באמצעות האצת GPU ו-NPU.
יכולות רחבות של AI גנרטיבי
תמיכה במודלים פופולריים של LLM, כמו גם במולטי-מודאליות (ראייה, אודיו) ובשימוש בכלי עזר.
מודלים נתמכים
הפעלת המודלים העדכניים ביותר של קוד פתוח שעברו אופטימיזציה לשימוש במכשירים, כולל Gemma-3n, Gemma-3, FunctionGemma, TranslateGemma, Qwen3, Phi-4 ועוד.
להצטרפות לקהילה
GitHub
אפשר לתרום לקוד המקור, לדווח על בעיות ולראות דוגמאות.
פרצוף מחבק
אתם יכולים להוריד מודלים שעברו המרה ולהצטרף לדיון.