המרת מודלים גנרטיביים של PyTorch

AI Edge Torch Generative API היא ספרייה להמרת מודלים של PyTorch שמבוססים על טרנספורמציה לפורמט LiteRT. כך אפשר להמיר מודלים גדולים של שפה (LLM) ליצירת תמונות וטקסט במכשיר באמצעות LiteRT-LM. ה-API הגנרטיבי של AI Edge Torch תומך כרגע ב-CPU וב-GPU, ויש תוכניות לתמיכה ב-NPU.

מפתחים יכולים להשתמש ב-Generative API כדי לשלב מודלים גדולים של שפה (LLM) של PyTorch עם LiteRT-LM, וכך ליצור אפליקציות שמריצות את מודלי PyTorch שהומרו באופן מלא במכשיר.

מידע נוסף זמין במאגר GitHub של Generative Torch API.