Tìm hiểu thêm về thông báo tại hội nghị I/O của Google AI Edge

Trang này được dịch bởi Cloud Translation API.

Tích hợp trình phát hiện vật thể

Trình phát hiện đối tượng có thể xác định nhóm đối tượng đã biết nào có thể có mặt và cung cấp thông tin về vị trí của chúng trong hình ảnh hoặc video nhất định luồng. Một trình phát hiện đối tượng được huấn luyện để phát hiện sự hiện diện và vị trí của nhiều lớp đối tượng. Ví dụ: một mô hình có thể được huấn luyện bằng hình ảnh có chứa nhiều loại trái cây cùng với nhãn nêu rõ loại trái cây mà chúng đại diện (ví dụ: táo, chuối hoặc dâu), và dữ liệu chỉ định vị trí mà mỗi đối tượng xuất hiện trong hình ảnh. Xem ví dụ về phát hiện đối tượng để biết thêm thông tin về trình phát hiện vật thể.

Dùng API ObjectDetector của Thư viện tác vụ để triển khai trình phát hiện đối tượng tuỳ chỉnh hoặc được huấn luyện trước vào ứng dụng dành cho thiết bị di động.

Các tính năng chính của ObjectDetector API

Xử lý hình ảnh đầu vào, bao gồm xoay, đổi kích thước và hệ màu chuyển đổi.
Ngôn ngữ bản đồ của nhãn.
Ngưỡng điểm để lọc kết quả.
Kết quả phát hiện hàng đầu.
Hãng nhạc được cho phép và danh sách từ chối.

Các mô hình trình phát hiện đối tượng được hỗ trợ

Các mô hình sau đây được đảm bảo tương thích với ObjectDetector API.

Chiến lược phát hành đĩa đơn các mô hình phát hiện đối tượng được huấn luyện trước trên TensorFlow Hub.
Mô hình được tạo bởi Phát hiện đối tượng trong AutoML Vision Edge.
Mô hình được tạo bởi TensorFlow Lite Model Maker cho trình phát hiện đối tượng.
Mô hình tuỳ chỉnh đáp ứng yêu cầu về khả năng tương thích với mô hình.

Chạy dự đoán trong Java

Xem Ứng dụng tham chiếu Phát hiện đối tượng ví dụ về cách sử dụng ObjectDetector trong ứng dụng Android.

Bước 1: Nhập phần phụ thuộc Gradle và các chế độ cài đặt khác

Sao chép tệp mô hình .tflite vào thư mục thành phần của mô-đun Android nơi mô hình sẽ chạy. Chỉ định rằng tệp không được nén và thêm thư viện TensorFlow Lite vào tệp build.gradle của mô-đun:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }
}

dependencies {
    // Other dependencies

    // Import the Task Vision Library dependency
    implementation 'org.tensorflow:tensorflow-lite-task-vision'
    // Import the GPU delegate plugin Library for GPU inference
    implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin'
}

Bước 2: Sử dụng mô hình

// Initialization
ObjectDetectorOptions options =
    ObjectDetectorOptions.builder()
        .setBaseOptions(BaseOptions.builder().useGpu().build())
        .setMaxResults(1)
        .build();
ObjectDetector objectDetector =
    ObjectDetector.createFromFileAndOptions(
        context, modelFile, options);

// Run inference
List<Detection> results = objectDetector.detect(image);

Xem mã nguồn và javadoc để có thêm lựa chọn để định cấu hình ObjectDetector.

Chạy dự đoán trong iOS

Bước 1: Cài đặt phần phụ thuộc

Thư viện Tác vụ hỗ trợ cài đặt bằng CocoaPods. Đảm bảo rằng CocoaPods được cài đặt trên hệ thống của bạn. Vui lòng xem Hướng dẫn cài đặt CocoaPods để được hướng dẫn.

Vui lòng xem Hướng dẫn của CocoaPods cho chi tiết về cách thêm nhóm vào dự án Xcode.

Thêm nhóm TensorFlowLiteTaskVision trong Podfile.

target 'MyAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskVision'
end

Hãy đảm bảo rằng mô hình .tflite mà bạn sẽ dùng để suy luận có mặt trong gói ứng dụng của bạn.

Bước 2: Sử dụng mô hình

Swift

// Imports
import TensorFlowLiteTaskVision

// Initialization
guard let modelPath = Bundle.main.path(forResource: "ssd_mobilenet_v1",
                                            ofType: "tflite") else { return }

let options = ObjectDetectorOptions(modelPath: modelPath)

// Configure any additional options:
// options.classificationOptions.maxResults = 3

let detector = try ObjectDetector.detector(options: options)

// Convert the input image to MLImage.
// There are other sources for MLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
guard let image = UIImage (named: "cats_and_dogs.jpg"), let mlImage = MLImage(image: image) else { return }

// Run inference
let detectionResult = try detector.detect(mlImage: mlImage)

Objective-C

// Imports
#import <TensorFlowLiteTaskVision/TensorFlowLiteTaskVision.h>

// Initialization
NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"ssd_mobilenet_v1" ofType:@"tflite"];

TFLObjectDetectorOptions *options = [[TFLObjectDetectorOptions alloc] initWithModelPath:modelPath];

// Configure any additional options:
// options.classificationOptions.maxResults = 3;

TFLObjectDetector *detector = [TFLObjectDetector objectDetectorWithOptions:options
                                                                     error:nil];

// Convert the input image to MLImage.
UIImage *image = [UIImage imageNamed:@"dogs.jpg"];

// There are other sources for GMLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
GMLImage *gmlImage = [[GMLImage alloc] initWithImage:image];

// Run inference
TFLDetectionResult *detectionResult = [detector detectWithGMLImage:gmlImage error:nil];

Xem mã nguồn để có thêm lựa chọn để định cấu hình TFLObjectDetector.

Chạy suy luận trong Python

Bước 1: Cài đặt gói pip

pip install tflite-support

Bước 2: Sử dụng mô hình

# Imports
from tflite_support.task import vision
from tflite_support.task import core
from tflite_support.task import processor

# Initialization
base_options = core.BaseOptions(file_name=model_path)
detection_options = processor.DetectionOptions(max_results=2)
options = vision.ObjectDetectorOptions(base_options=base_options, detection_options=detection_options)
detector = vision.ObjectDetector.create_from_options(options)

# Alternatively, you can create an object detector in the following manner:
# detector = vision.ObjectDetector.create_from_file(model_path)

# Run inference
image = vision.TensorImage.create_from_file(image_path)
detection_result = detector.detect(image)

Xem mã nguồn để có thêm lựa chọn để định cấu hình ObjectDetector.

Chạy dự đoán trong C++

// Initialization
ObjectDetectorOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<ObjectDetector> object_detector = ObjectDetector::CreateFromOptions(options).value();

// Create input frame_buffer from your inputs, `image_data` and `image_dimension`.
// See more information here: tensorflow_lite_support/cc/task/vision/utils/frame_buffer_common_utils.h
std::unique_ptr<FrameBuffer> frame_buffer = CreateFromRgbRawBuffer(
      image_data, image_dimension);

// Run inference
const DetectionResult result = object_detector->Detect(*frame_buffer).value();

Xem mã nguồn để có thêm lựa chọn để định cấu hình ObjectDetector.

Kết quả mẫu

Dưới đây là ví dụ về kết quả phát hiện của ssd mobilenet phiên bản 1 từ TensorFlow Hub.

chó

Results:
 Detection #0 (red):
  Box: (x: 355, y: 133, w: 190, h: 206)
  Top-1 class:
   index       : 17
   score       : 0.73828
   class name  : dog
 Detection #1 (green):
  Box: (x: 103, y: 15, w: 138, h: 369)
  Top-1 class:
   index       : 17
   score       : 0.73047
   class name  : dog

Kết xuất các hộp giới hạn trên hình ảnh đầu vào:

đầu ra phát hiện

Thử mẹo đơn giản Công cụ minh hoạ CLI dành cho ObjectDetector thông qua mô hình và dữ liệu thử nghiệm của riêng bạn.

Yêu cầu về khả năng tương thích với mô hình

API ObjectDetector yêu cầu một mô hình TFLite với Siêu dữ liệu mô hình TFLite. Xem ví dụ về cách tạo siêu dữ liệu cho trình phát hiện đối tượng bằng TensorFlow Lite Metadata Writer API.

Các mô hình trình phát hiện vật thể tương thích phải đáp ứng các yêu cầu sau:

Đầu vào tensor hình ảnh: (kTfLiteUInt8/kTfLiteFloat32)
- hình ảnh đầu vào có kích thước [batch x height x width x channels].
- không hỗ trợ suy luận theo lô (batch phải là 1).
- chỉ hỗ trợ đầu vào RGB (bắt buộc phải có channels là 3).
- nếu loại là kTfLiteFloat32, thì NormalizationOptions bắt buộc phải là được đính kèm với siêu dữ liệu để chuẩn hoá đầu vào.
Tensor đầu ra phải là 4 đầu ra của một hoạt động DetectionPostProcess, tức là:
- tensor vị trí (kTfLiteFloat32)
  - tensor của kích thước [1 x num_results x 4], mảng bên trong biểu thị các hộp giới hạn ở dạng [trên cùng, bên trái, bên phải, dưới cùng].
  - Bạn phải đính kèm BoundingBoxProperties vào siêu dữ liệu và phải chỉ định type=BOUNDARIES và `coordinate_type=RATIO.
- Lớp tensor (kTfLiteFloat32)
  - tensor có kích thước [1 x num_results], mỗi giá trị đại diện cho chỉ mục số nguyên của một lớp.
  - có thể đính kèm (các) bản đồ nhãn tuỳ chọn(nhưng nên dùng) dưới dạng AssociatedFile-s thuộc loại TENSOR_VALUE_LABEL, chứa một nhãn trên mỗi dòng. Xem ví dụ về tệp nhãn. AssociatedFile đầu tiên như vậy (nếu có) được dùng để điền vào class_name trường kết quả. Trường display_name là được điền từ AssociatedFile (nếu có) có ngôn ngữ khớp với Trường display_names_locale của ObjectDetectorOptions được sử dụng tại thời gian tạo ("en" theo mặc định, tức là tiếng Anh). Nếu không có phương pháp nào nêu trên có sẵn, thì hệ thống sẽ chỉ điền trường index của kết quả.
- Điểm tensor (kTfLiteFloat32)
  - tensor có kích thước [1 x num_results], mỗi giá trị đại diện cho điểm số của đối tượng được phát hiện.
- Số tensor phát hiện (kTfLiteFloat32)
  - số nguyên num_results ở dạng tensor có kích thước [1].