המרות, זמן ריצה ואופטימיזציה יעילים ללמידת מכונה במכשיר.
‫LiteRT הוא לא רק חדש, הוא הדור הבא של זמן הריצה של למידת מכונה שהכי נפוץ בעולם. היא מפעילה את האפליקציות שבהן אתם משתמשים מדי יום, ומספקת זמן אחזור נמוך ורמת פרטיות גבוהה במיליארדי מכשירים.

אפליקציות Google הכי חשובות מסתמכות עליו

יותר מ-100,000 אפליקציות, מיליארדי משתמשים ברחבי העולם

LiteRT Highlights

שימוש ב-AI גנרטיבי

פריסה באמצעות LiteRT

לייעל את תהליך העבודה של למידה עמוקה, החל מהאימון ועד לפריסה במכשיר.
משתמשים במודלים שעברו אימון מראש בפורמט ‎ .tflite או ממירים מודלים של PyTorch, ‏ JAX או TensorFlow לפורמט ‎ .tflite.
מידע על המרות
אפשר להשתמש בערכת הכלים לאופטימיזציה של LiteRT כדי לכמת את המודלים אחרי האימון.
מידע נוסף על אופטימיזציה
פורסים את המודל באמצעות LiteRT ובוחרים את המאיץ האופטימלי לאפליקציה.
צפייה ביעדי הפריסה

בחירת מסלול הפיתוח

אפשר להשתמש ב-LiteRT כדי לפרוס AI בכל מקום – מאפליקציות לנייד עם ביצועים גבוהים ועד למכשירי IoT עם משאבים מוגבלים.

משתמש קיים ב-TFLite

מעבר ל-LiteRT כדי ליהנות מביצועים משופרים ומממשקי API מאוחדים בפלטפורמות שונות (Android, מחשב, אינטרנט).
יש לכם מודל PyTorch ואתם רוצים להטמיע במכשיר חוויות שקשורות לראייה או לשמיעה.
יצירת צ'אטבוטים מתוחכמים במכשיר באמצעות מודלים אופטימליים של AI גנרטיבי עם משקלים פתוחים, כמו Gemma או מודל אחר עם משקלים פתוחים.
יצירת מודלים בהתאמה אישית או ביצוע אופטימיזציות עמוקות של מעבד/מעבד גרפי/מעבד עצבי ספציפי לחומרה כדי להשיג ביצועים אופטימליים.

דוגמאות, מודלים והדגמות

אפליקציות לדוגמה מלאות מקצה לקצה.
הצגת אפליקציה לדוגמה
מודלים של AI גנרטיבי שעברו אימון מראש ומוכנים לשימוש.
מעבר אל HuggingFace
גלריה שמציגה תרחישים לדוגמה של למידת מכונה (ML) או AI גנרטיבי (GenAI) במכשיר באמצעות LiteRT.
פתיחת חנות Play

בלוגים והודעות

כדאי להתעדכן בהודעות האחרונות, בניתוחים טכניים מעמיקים ובמדדי ביצועים של צוות LiteRT.
בלוגים נוספים
מסגרת מאוחדת של Google ללמידת מכונה במכשיר, שמתפתחת מ-TFLite לפריסה עם ביצועים גבוהים.
הרחבת התמיכה בהאצת NPU לערכות שבבים של MediaTek ל-AI יעיל במיוחד.

שיפור הביצועים ב-NPU של Qualcomm באמצעות LiteRT

שיפור משמעותי בביצועים של AI גנרטיבי ביחידות לעיבוד עצבי של Qualcomm.
חדש: CompiledModel API לבחירת חומרה אוטומטית ולהרצה אסינכרונית.
פריסת מודלים של שפה במכשירים לבישים ובפלטפורמות מבוססות-דפדפן באמצעות LiteRT-LM.

מודלים קטנים של שפה (LLM) של Google AI Edge, מולטי-מודאליות וקריאה לפונקציות

תובנות עדכניות לגבי RAG, מולטי-מודאליות ובקשות להפעלת פונקציות במודלים של שפה בפריסה קרובה למשתמש

להצטרפות לקהילה

לתרום ישירות לפרויקט ולשתף פעולה עם מפתחי הליבה.
גישה למודלים פתוחים שעברו אופטימיזציה ב-Hugging Face Hub.

מתחילים להשתמש ב-LiteRT

רוצים לשפר את למידת המכונה במכשיר? כדאי לעיין בתיעוד ולהתחיל לפתח כבר היום.
עיון במסמכי Docs