המרת מודלים של AI גנרטיבי ב-PyTorch להסקת מסקנות במכשיר
AI Edge Torch Generative API היא ספרייה עם ביצועים גבוהים שנועדה ליצירה ולהמרה של מודלים מבוססי-טרנספורמר של PyTorch לפורמט LiteRT/LiteRT-LM. כך מפתחים יכולים לפרוס בקלות מודלים של AI גנרטיבי, ובמיוחד מודלים גדולים של שפה (LLM), ליצירת טקסט ותמונות במכשיר.
Torch Generative API תומך בהמרת מודלים להרצה ב-CPU וב-GPU, ותמיכה ב-NPU נמצאת בפיתוח. אם משלבים את Torch Generative API עם LiteRT-LM, אפשר ליצור אפליקציות רספונסיביות שמתמקדות בפרטיות, ומריצות מודלים גנרטיביים באופן מלא במכשיר.
[[["התוכן קל להבנה","easyToUnderstand","thumb-up"],["התוכן עזר לי לפתור בעיה","solvedMyProblem","thumb-up"],["סיבה אחרת","otherUp","thumb-up"]],[["חסרים לי מידע או פרטים","missingTheInformationINeed","thumb-down"],["התוכן מורכב מדי או עם יותר מדי שלבים","tooComplicatedTooManySteps","thumb-down"],["התוכן לא עדכני","outOfDate","thumb-down"],["בעיה בתרגום","translationIssue","thumb-down"],["בעיה בדוגמאות/בקוד","samplesCodeIssue","thumb-down"],["סיבה אחרת","otherDown","thumb-down"]],["עדכון אחרון: 2025-12-22 (שעון UTC)."],[],[]]
