סקירה כללית על TensorFlow Lite

TensorFlow Lite מאפשר למידת מכונה במכשיר (ODML) לנייד וגם מכשירים מוטמעים. אפשר למצוא דגמים מוכנים להפעלה של TensorFlow Lite מגוון משימות של למידת מכונה/בינה מלאכותית, או להמיר ולהריץ מודלים של TensorFlow, PyTorch ו-JAX בפורמט TFLite באמצעות כלי ההמרה והאופטימיזציה של AI Edge.

תכונות עיקריות

  • אופטימיזציה ללמידת מכונה במכשיר: TensorFlow Lite מספק חמש אילוצים עיקריים של ODML: זמן אחזור (אין הלוך ושוב לשרת), פרטיות (לא נשלח מידע אישי מהמכשיר), קישוריות (קישוריות לאינטרנט) לא נדרש), הגודל (מודל מופחת וגודל בינארי) וצריכת חשמל (הסקת מסקנות יעילה והיעדר חיבורי רשת).

  • תמיכה בפלטפורמות מרובות: תואמת ל-Android ול מכשירי iOS, מוטמעים Linux ו מיקרו-בקרים.

  • אפשרויות של מודל Multi-framework: AI Edge מספק כלים להמרת מודלים ממודלים של TensorFlow, PyTorch ו-JAX לתוך פורמט FlatBuffers. (.tflite), כך שתוכלו להשתמש במגוון רחב של מודלים מתקדמים TF Lite. תקבלו גם גישה לכלים לאופטימיזציה של מודלים שיכולים לטפל כימות ומטא-נתונים.

  • תמיכה בשפות שונות: כולל ערכות SDK עבור Java/Kotlin, Swift, Objective-C, C++ ו-Python.

  • ביצועים גבוהים: שיפור מהירות באמצעות חומרה באמצעות משתמשים מוסמכים כמו GPU ו-iOS Core ML.

תהליך עבודה של פיתוח

בתהליך הפיתוח של TensorFlow Lite צריך לזהות בעיה של למידת מכונה/AI, בחירה של מודל שפותר את הבעיה והטמעה של המודל במכשיר. השלבים הבאים מפרטים את תהליך העבודה ומציעים קישורים הוראות להתאמה אישית.

1. זיהוי הפתרון המתאים ביותר לבעיית למידת המכונה

TensorFlow Lite מציע למשתמשים רמה גבוהה של גמישות ויכולת התאמה אישית בניסיון לפתור בעיות של למידת מכונה, למשתמשים שדורשים מודל ספציפי או הטמעה מיוחדת. משתמשים ייתכן שיחפשו פתרונות פלאגין ומפעילים את MediaPipe Tasks, למשימות נפוצות של למידת מכונה כמו זיהוי אובייקטים, סיווג טקסטים והֶקֵּשׁ מ-LLM.

צריך לבחור אחת מהמסגרות הבאות של AI Edge:

  • TensorFlow Lite: זמן ריצה גמיש וניתן להתאמה אישית, שיכול להכיל מגוון מודלים. בוחרים מודל לתרחיש לדוגמה, ממירים אותו בפורמט TensorFlow Lite (במקרה הצורך), ומריצים אותו במכשיר. אם התכוונתם כדי להשתמש ב-TensorFlow Lite, כדאי להמשיך לקרוא.
  • MediaPipe Tasks: פתרונות פלאגין והפעלה עם מודלים המוגדרים כברירת מחדל שמאפשרים להתאמה אישית. בוחרים את המשימה שתפתור את בעיית ה-AI/ML. להטמיע אותו בכמה פלטפורמות. אם אתם מתכוונים להשתמש ב-MediaPipe Tasks, לעיון ב-MediaPipe מסמכי תיעוד של Tasks.

2. בחירת דגם

מודל TensorFlow Lite מיוצג בפורמט נייד יעיל שנקרא FlatBuffers, שמבוססות על .tflite .

אפשר להשתמש במודל TensorFlow Lite בדרכים הבאות:

מודל TensorFlow Lite יכול באופן אופציונלי לכלול מטא-נתונים שכוללים תיאורי מודלים קריאים לאנשים ונתונים קריאים למחשבים ויצירה של צינורות עיבוד נתונים לפני ואחרי העיבוד במהלך הסקת מסקנות במכשיר. אפשר לקרוא פרטים נוספים במאמר הוספת מטא-נתונים.

3. שילוב המודל באפליקציה

אפשר להטמיע את המודלים של TensorFlow Lite כדי להריץ מסקנות באינטרנט, במכשירים ניידים ובמוטמעים. TensorFlow Lite מכיל ממשקי API ל-Python, Java ו- Kotlin ל-Android, ל-Swift עבור iOS ו-C++ למיקרו-מכשירים.

אפשר להיעזר במדריכים הבאים כדי להטמיע מודל TensorFlow Lite Platform:

  • הפעלה ב-Android: הרצת דגמים במכשירי Android באמצעות ממשקי API של Java/Kotlin.
  • הרצה ב-iOS: הרצת מודלים במכשירי iOS באמצעות Swift ממשקי API.
  • הפעלה במיקרו: הרצת מודלים במכשירים מוטמעים באמצעות ממשקי ה-API של C++.

במכשירי Android ו-iOS, אפשר לשפר את הביצועים באמצעות חומרה האצה. בכל אחת מהפלטפורמות ניתן להשתמש ב-GPU להעניק גישה, וב-iOS אפשר להשתמש ב-Core ML הענקת גישה. כדי להוסיף תמיכה מאיצי חומרה חדשים, אפשר איך להגדיר בעל גישה משלכם.

אפשר להריץ מסקנות בדרכים הבאות, על סמך סוג המודל:

  • מודלים ללא מטא-נתונים: השתמשו ב-TensorFlow Lite interpreer API. נתמך בכמה פלטפורמות ושפות כמו Java, Swift, C++, Objective-C ו-Python.

  • מודלים עם מטא-נתונים: תוכלו ליצור צינורות עיבוד נתונים מותאם אישית להסקת מסקנות ספריית התמיכה של TensorFlow Lite.

השלבים הבאים

משתמשים חדשים צריכים להתחיל את השימוש במדריך למתחילים של TensorFlow Lite. בסעיפים הבאים יש מידע ספציפי:

המרה של מודל

מדריכים בנושא פלטפורמות