מידע נוסף על ההודעות מכנס I/O של Google AI Edge

דף זה תורגם על ידי Cloud Translation API.

שילוב מזהי אובייקטים

מזהים של אובייקטים יכולים לזהות איזו קבוצה ידועה של אובייקטים קיימת ולספק מידע על המיקום שלהם בתמונה או בסרטון מסוימים . מזהה האובייקטים מאומן לזהות את הנוכחות והמיקום של כמה סיווגים של אובייקטים. למשל, אפשר לאמן מודל עם תמונות מכילים חלקים שונים של פירות, וגם תווית שמציינת סוג הפרי שהם מייצגים (למשל תפוח, בננה או תות), וכן נתונים שמציינים איפה מופיע כל אובייקט בתמונה. לצפייה דוגמה לזיהוי אובייקט לקבלת מידע נוסף על מזהי אובייקטים.

לפרוס את מזהי האובייקטים המותאמים אישית באמצעות ה-API של ספריית המשימות ObjectDetector או כאלה שעברו אימון מראש לאפליקציות שלכם לנייד.

תכונות מרכזיות ב-ObjectDetector API

עיבוד תמונות קלט, כולל סיבוב, שינוי גודל ומרחב צבעים להמרה.
הוספת תווית ללוקאל במפה.
סף הציון לסינון התוצאות.
תוצאות זיהוי מובילות.
רשימת היתרים ורשימת ישויות שנחסמו.

מודלים נתמכים של מזהי אובייקטים

מובטח שהמודלים הבאים יתאימו לObjectDetector API.

מודלים לזיהוי אובייקטים שעברו אימון מראש ב-TensorFlow Hub.
מודלים שנוצרו על ידי זיהוי אובייקט של AutoML Vision Edge.
מודלים שנוצרו על ידי TensorFlow Lite Model Maker לאיתור אובייקטים.
מודלים מותאמים אישית שעומדים בדרישות התאימות של המודלים.

הרצת ההסקה ב-Java

לצפייה אפליקציית התייחסות לזיהוי אובייקטים דוגמה לאופן השימוש ב-ObjectDetector באפליקציה ל-Android.

שלב 1: מייבאים תלות ב-Gradle והגדרות אחרות

מעתיקים את קובץ המודל .tflite לספריית הנכסים הדיגיטליים של מודול Android. שבה המודל יפעל. לציין שאין לדחוס את הקובץ. מוסיפים את ספריית TensorFlow Lite לקובץ build.gradle של המודול:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }
}

dependencies {
    // Other dependencies

    // Import the Task Vision Library dependency
    implementation 'org.tensorflow:tensorflow-lite-task-vision'
    // Import the GPU delegate plugin Library for GPU inference
    implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin'
}

שלב 2: שימוש במודל

// Initialization
ObjectDetectorOptions options =
    ObjectDetectorOptions.builder()
        .setBaseOptions(BaseOptions.builder().useGpu().build())
        .setMaxResults(1)
        .build();
ObjectDetector objectDetector =
    ObjectDetector.createFromFileAndOptions(
        context, modelFile, options);

// Run inference
List<Detection> results = objectDetector.detect(image);

לצפייה קוד מקור ו-Javadoc לאפשרויות נוספות להגדרה של ObjectDetector.

הרצת ההסקה ב-iOS

שלב 1: מתקינים את יחסי התלות

ספריית המשימות תומכת בהתקנה באמצעות CocoaPods. צריך לוודא ש-CocoaPods מותקנת במערכת שלך. כדאי לעיין מדריך להתקנת CocoaPods לקבלת הוראות.

כדאי לעיין מדריך CocoaPods עבור על הוספת רצפי מודעות לפרויקט Xcode.

מוסיפים את ה-Pod TensorFlowLiteTaskVision בקובץ ה-Podfile.

target 'MyAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskVision'
end

צריך לוודא שמודל .tflite שבו משתמשים לצורך הסקת מסקנות את ה-App Bundle.

שלב 2: שימוש במודל

Swift

// Imports
import TensorFlowLiteTaskVision

// Initialization
guard let modelPath = Bundle.main.path(forResource: "ssd_mobilenet_v1",
                                            ofType: "tflite") else { return }

let options = ObjectDetectorOptions(modelPath: modelPath)

// Configure any additional options:
// options.classificationOptions.maxResults = 3

let detector = try ObjectDetector.detector(options: options)

// Convert the input image to MLImage.
// There are other sources for MLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
guard let image = UIImage (named: "cats_and_dogs.jpg"), let mlImage = MLImage(image: image) else { return }

// Run inference
let detectionResult = try detector.detect(mlImage: mlImage)

Objective-C

// Imports
#import <TensorFlowLiteTaskVision/TensorFlowLiteTaskVision.h>

// Initialization
NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"ssd_mobilenet_v1" ofType:@"tflite"];

TFLObjectDetectorOptions *options = [[TFLObjectDetectorOptions alloc] initWithModelPath:modelPath];

// Configure any additional options:
// options.classificationOptions.maxResults = 3;

TFLObjectDetector *detector = [TFLObjectDetector objectDetectorWithOptions:options
                                                                     error:nil];

// Convert the input image to MLImage.
UIImage *image = [UIImage imageNamed:@"dogs.jpg"];

// There are other sources for GMLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
GMLImage *gmlImage = [[GMLImage alloc] initWithImage:image];

// Run inference
TFLDetectionResult *detectionResult = [detector detectWithGMLImage:gmlImage error:nil];

לצפייה קוד מקור לאפשרויות נוספות להגדרה של TFLObjectDetector.

הרצת ההסקה ב-Python

שלב 1: מתקינים את חבילת PIP

pip install tflite-support

שלב 2: שימוש במודל

# Imports
from tflite_support.task import vision
from tflite_support.task import core
from tflite_support.task import processor

# Initialization
base_options = core.BaseOptions(file_name=model_path)
detection_options = processor.DetectionOptions(max_results=2)
options = vision.ObjectDetectorOptions(base_options=base_options, detection_options=detection_options)
detector = vision.ObjectDetector.create_from_options(options)

# Alternatively, you can create an object detector in the following manner:
# detector = vision.ObjectDetector.create_from_file(model_path)

# Run inference
image = vision.TensorImage.create_from_file(image_path)
detection_result = detector.detect(image)

לצפייה קוד מקור לאפשרויות נוספות להגדרה של ObjectDetector.

הרצת ההסקה ב-C++

// Initialization
ObjectDetectorOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<ObjectDetector> object_detector = ObjectDetector::CreateFromOptions(options).value();

// Create input frame_buffer from your inputs, `image_data` and `image_dimension`.
// See more information here: tensorflow_lite_support/cc/task/vision/utils/frame_buffer_common_utils.h
std::unique_ptr<FrameBuffer> frame_buffer = CreateFromRgbRawBuffer(
      image_data, image_dimension);

// Run inference
const DetectionResult result = object_detector->Detect(*frame_buffer).value();

לצפייה קוד מקור לאפשרויות נוספות להגדרה של ObjectDetector.

תוצאות לדוגמה

הנה דוגמה לתוצאות הזיהוי של ssd mobilenet v1 מ-TensorFlow Hub.

כלבים

Results:
 Detection #0 (red):
  Box: (x: 355, y: 133, w: 190, h: 206)
  Top-1 class:
   index       : 17
   score       : 0.73828
   class name  : dog
 Detection #1 (green):
  Box: (x: 103, y: 15, w: 138, h: 369)
  Top-1 class:
   index       : 17
   score       : 0.73047
   class name  : dog

מעבד את התיבות התוחמות בתמונת הקלט:

פלט הזיהוי

תנסו את השיטה הפשוטה כלי ההדגמה של CLI ל-ObjectDetector את המודל ונתוני הבדיקה שלכם.

דרישות התאימות של המודלים

ל-API ObjectDetector נדרש מודל TFLite עם מטא-נתונים של מודל TFLite. דוגמאות ליצירה מטא-נתונים בשביל מזהי אובייקטים באמצעות TensorFlow Lite Metadata Writer API.

המודלים התואמים של זיהוי אובייקטים צריכים לעמוד בדרישות הבאות:

טנזור תמונה של קלט: (kTfLiteUInt8/kTfLiteFloat32)
- קלט תמונה בגודל [batch x height x width x channels].
- אין תמיכה בהֶקֵּשׁ מנתונים מרובים (הפונקציה batch חייבת להיות 1).
- יש תמיכה רק בקלט RGB (הערך channels חייב להיות 3).
- אם הסוג הוא kTfLiteFloat32, יש צורך ב-regularizationOptions מצורפים למטא-נתונים לצורך נירמול הקלט.
רכיבי פלט פלט חייבים להיות 4 הפלטים של אופ DetectionPostProcess, כלומר:
- Locations tensor (kTfLiteFloat32)
  - את Tensor בגודל [1 x num_results x 4], המערך הפנימי שמייצג תיבות תוחמים בצורת [למעלה, שמאל, ימין, תחתון].
  - יש לצרף את BoundingBoxProperties למטא-נתונים וחייב לציין את type=BOUNDARIES ואת 'coordinate_type=RATIO'.
- Classes tensor (kTfLiteFloat32)
  - את Tensor בגודל [1 x num_results], כל ערך שמייצג את אינדקס מספרים שלמים של מחלקה.
  - ניתן לצרף מפות תוויות אופציונליות (אבל מומלצות) בתור AssociatedFile-s עם סוג TENSOR_VALUE_Labels, המכילה תווית אחת בכל שורה. לצפייה קובץ תווית לדוגמה. ה-AssociatedFile הראשון (אם יש כזה) משמש למילוי שדה class_name של התוצאות. השדה display_name הוא מלא מה-AssociatedFile (אם יש) שהלוקאל שלו תואם השדה display_names_locale של ObjectDetectorOptions שנמצא בשימוש בזמן היצירה ('en' כברירת מחדל, כלומר באנגלית). אם אף אחת מהאפשרויות האלה זמין, רק השדה index של התוצאות ימולא.
- tensor tensor (kTfLiteFloat32)
  - את Tensor בגודל [1 x num_results], כל ערך שמייצג את של האובייקט שזוהה.
- מספר חיישן הזיהוי (kTfLiteFloat32)
  - מספר שלם num_results טנזור בגודל [1].