‫Google Tensor (EdgeTPU) עם LiteRT

‫Google Tensor הוא מערכת על שבב (SoC) שתוכננה במיוחד להרצת מודלים של AI בטלפונים מדגמי Google Pixel. ה-Tensor מותאם ליעילות חישובית ולצריכת אנרגיה מינימלית. הוא משתמש במאיץ ייעודי של מסקנות ML שנקרא TPU (Tensor Processing Unit), שאפשר לגשת אליו דרך Google Tensor SDK.

הרשמה לגישה לגרסת הבטא של Google Tensor SDK

Google Tensor SDK היא ערכת פיתוח תוכנה שנוצרה כדי לבצע אופטימיזציה של למידת מכונה במכשיר בטלפונים מדגם Google Pixel. האופטימיזציה מתבצעת באמצעות Tensor System-on-Chip (SoC) בהתאמה אישית ומאיץ ההסקה הייעודי של TPU. ה-SDK הזה מספק חבילה מקיפה של כלים שעוזרים למפתחים לגשת למודלים של קוד פתוח שנבחרו בקפידה ב-Model Garden. ערכת הכלים הזו מאפשרת גם קומפילציה של מודלים לפורמטים שתואמים ל-TPU.

הרשמה

תכונות עיקריות

• גישה ישירה ל-TPU ייעודי להסקת מסקנות יעילה של ML במכשירי Pixel.
• מודלים של קוד פתוח שנבחרו בקפידה ועברו אופטימיזציה לשימוש ב-SDK ב-Model Garden.

הגדרת סביבת הפיתוח

בהמשך מפורטות הדרישות המקדימות והמפרטים של החומרה והתוכנה לשימוש ב-Google Tensor SDK:

מערכות SoC נתמכות

ערכת Google Tensor SDK תומכת במערכות הבאות על שבב (SoC):

• Google Tensor G5 ‏ (Tensor_G5)

השלבים הבאים

1. פועלים לפי השלבים להטמעה ולמעקב המרות במאמר בנושא האצת NPU באמצעות LiteRT, ובוחרים ב-Google Tensor לפי הצורך.

2. למודלים של שפה, ראו הפעלת LLM ב-NPU באמצעות LiteRT-LM.