Tìm hiểu thêm về thông báo tại hội nghị I/O của Google AI Edge

Trang này được dịch bởi Cloud Translation API.

Tích hợp trình phân đoạn hình ảnh

Trình phân đoạn hình ảnh dự đoán liệu mỗi pixel của hình ảnh có được liên kết với một lớp nhất định. Điều này trái ngược với tính năng phát hiện đối tượng, vốn là tính năng phát hiện các đối tượng trong vùng hình chữ nhật và phân loại hình ảnh, giúp phân loại tất cả hình ảnh. Xem tổng quan về phân đoạn hình ảnh ví dụ để biết thêm thông tin về trình phân đoạn hình ảnh.

Sử dụng API ImageSegmenter của Thư viện tác vụ để triển khai các phân đoạn hình ảnh tuỳ chỉnh hoặc được huấn luyện trước vào ứng dụng dành cho thiết bị di động.

Các tính năng chính của ImageSegmenter API

Xử lý hình ảnh đầu vào, bao gồm xoay, đổi kích thước và hệ màu chuyển đổi.
Ngôn ngữ bản đồ của nhãn.
Có hai loại đầu ra: mặt nạ danh mục và mặt nạ tin cậy.
Nhãn có màu để hiển thị.

Các mô hình phân đoạn hình ảnh được hỗ trợ

Các mô hình sau đây được đảm bảo tương thích với ImageSegmenter API.

Các mô hình phân đoạn hình ảnh đã huấn luyện trước trên TensorFlow Nội dung theo lịch.
Các mô hình tuỳ chỉnh đáp ứng khả năng tương thích của mô hình .

Chạy dự đoán trong Java

Xem tài liệu tham khảo về Phân đoạn hình ảnh ứng dụng ví dụ về cách sử dụng ImageSegmenter trong ứng dụng Android.

Bước 1: Nhập phần phụ thuộc Gradle và các chế độ cài đặt khác

Sao chép tệp mô hình .tflite vào thư mục thành phần của mô-đun Android nơi mô hình sẽ chạy. Chỉ định rằng tệp không được nén và thêm thư viện TensorFlow Lite vào tệp build.gradle của mô-đun:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }
}

dependencies {
    // Other dependencies

    // Import the Task Vision Library dependency
    implementation 'org.tensorflow:tensorflow-lite-task-vision'
    // Import the GPU delegate plugin Library for GPU inference
    implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin'
}

Bước 2: Sử dụng mô hình

// Initialization
ImageSegmenterOptions options =
    ImageSegmenterOptions.builder()
        .setBaseOptions(BaseOptions.builder().useGpu().build())
        .setOutputType(OutputType.CONFIDENCE_MASK)
        .build();
ImageSegmenter imageSegmenter =
    ImageSegmenter.createFromFileAndOptions(context, modelFile, options);

// Run inference
List<Segmentation> results = imageSegmenter.segment(image);

Hãy xem mã nguồn và javadoc để có thêm lựa chọn để định cấu hình ImageSegmenter.

Chạy dự đoán trong iOS

Bước 1: Cài đặt phần phụ thuộc

Thư viện Tác vụ hỗ trợ cài đặt bằng CocoaPods. Đảm bảo rằng CocoaPods được cài đặt trên hệ thống của bạn. Vui lòng xem phần cài đặt CocoaPods hướng dẫn để được hướng dẫn.

Vui lòng xem CocoaPods hướng dẫn để biết thông tin chi tiết về thêm các nhóm vào dự án Xcode.

Thêm nhóm TensorFlowLiteTaskVision trong Podfile.

target 'MyAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskVision'
end

Hãy đảm bảo rằng mô hình .tflite mà bạn sẽ dùng để suy luận có mặt trong gói ứng dụng của bạn.

Bước 2: Sử dụng mô hình

Swift

// Imports
import TensorFlowLiteTaskVision

// Initialization
guard let modelPath = Bundle.main.path(forResource: "deeplabv3",
                                            ofType: "tflite") else { return }

let options = ImageSegmenterOptions(modelPath: modelPath)

// Configure any additional options:
// options.outputType = OutputType.confidenceMasks

let segmenter = try ImageSegmenter.segmenter(options: options)

// Convert the input image to MLImage.
// There are other sources for MLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
guard let image = UIImage (named: "plane.jpg"), let mlImage = MLImage(image: image) else { return }

// Run inference
let segmentationResult = try segmenter.segment(mlImage: mlImage)

Objective-C

// Imports
#import <TensorFlowLiteTaskVision/TensorFlowLiteTaskVision.h>

// Initialization
NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"deeplabv3" ofType:@"tflite"];

TFLImageSegmenterOptions *options =
    [[TFLImageSegmenterOptions alloc] initWithModelPath:modelPath];

// Configure any additional options:
// options.outputType = TFLOutputTypeConfidenceMasks;

TFLImageSegmenter *segmenter = [TFLImageSegmenter imageSegmenterWithOptions:options
                                                                      error:nil];

// Convert the input image to MLImage.
UIImage *image = [UIImage imageNamed:@"plane.jpg"];

// There are other sources for GMLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
GMLImage *gmlImage = [[GMLImage alloc] initWithImage:image];

// Run inference
TFLSegmentationResult *segmentationResult =
    [segmenter segmentWithGMLImage:gmlImage error:nil];

Xem nguồn mã để có thêm lựa chọn để định cấu hình TFLImageSegmenter.

Chạy suy luận trong Python

Bước 1: Cài đặt gói pip

pip install tflite-support

Bước 2: Sử dụng mô hình

# Imports
from tflite_support.task import vision
from tflite_support.task import core
from tflite_support.task import processor

# Initialization
base_options = core.BaseOptions(file_name=model_path)
segmentation_options = processor.SegmentationOptions(
    output_type=processor.SegmentationOptions.output_type.CATEGORY_MASK)
options = vision.ImageSegmenterOptions(base_options=base_options, segmentation_options=segmentation_options)
segmenter = vision.ImageSegmenter.create_from_options(options)

# Alternatively, you can create an image segmenter in the following manner:
# segmenter = vision.ImageSegmenter.create_from_file(model_path)

# Run inference
image_file = vision.TensorImage.create_from_file(image_path)
segmentation_result = segmenter.segment(image_file)

Xem nguồn mã để có thêm lựa chọn để định cấu hình ImageSegmenter.

Chạy dự đoán trong C++

// Initialization
ImageSegmenterOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<ImageSegmenter> image_segmenter = ImageSegmenter::CreateFromOptions(options).value();

// Create input frame_buffer from your inputs, `image_data` and `image_dimension`.
// See more information here: tensorflow_lite_support/cc/task/vision/utils/frame_buffer_common_utils.h
std::unique_ptr<FrameBuffer> frame_buffer = CreateFromRgbRawBuffer(
      image_data, image_dimension);

// Run inference
const SegmentationResult result = image_segmenter->Segment(*frame_buffer).value();

Xem nguồn mã để có thêm lựa chọn để định cấu hình ImageSegmenter.

Kết quả mẫu

Dưới đây là ví dụ về kết quả phân đoạn của deeplab_v3, một mô hình phân đoạn chung có trên TensorFlow Hub.

máy bay

Color Legend:
 (r: 000, g: 000, b: 000):
  index       : 0
  class name  : background
 (r: 128, g: 000, b: 000):
  index       : 1
  class name  : aeroplane

# (omitting multiple lines for conciseness) ...

 (r: 128, g: 192, b: 000):
  index       : 19
  class name  : train
 (r: 000, g: 064, b: 128):
  index       : 20
  class name  : tv
Tip: use a color picker on the output PNG file to inspect the output mask with
this legend.

Mặt nạ danh mục phân đoạn sẽ trông giống như sau:

segmentation-output

Hãy thử công cụ minh hoạ CLI đơn giản cho ImageSegmenter thông qua mô hình và dữ liệu thử nghiệm của riêng bạn.

Yêu cầu về khả năng tương thích với mô hình

API ImageSegmenter dự kiến sẽ có mô hình TFLite với Mô hình TFLite bắt buộc Siêu dữ liệu. Xem ví dụ về cách tạo siêu dữ liệu cho hình ảnh bằng cách sử dụng Trình viết siêu dữ liệu TensorFlow Lite .

Nhập tensor hình ảnh (kTfLiteUInt8/kTfLiteFloat32)
- hình ảnh đầu vào có kích thước [batch x height x width x channels].
- không hỗ trợ suy luận theo lô (batch phải là 1).
- chỉ hỗ trợ đầu vào RGB (bắt buộc phải có channels là 3).
- nếu loại là kTfLiteFloat32, thì NormalizationOptions bắt buộc phải là được đính kèm với siêu dữ liệu để chuẩn hoá đầu vào.
Tensor mặt nạ đầu ra: (kTfLiteUInt8/kTfLiteFloat32)
- tensor kích thước [batch x mask_height x mask_width x num_classes], trong đó batch là giá trị bắt buộc phải bằng 1, mask_width và mask_height là kích thước của mặt nạ phân đoạn do mô hình tạo ra và num_classes là số lớp được mô hình hỗ trợ.
- có thể đính kèm (các) bản đồ nhãn tuỳ chọn(nhưng nên dùng) dưới dạng AssociatedFile-s thuộc loại TENSOR_AXIS_LABEL, mỗi nhãn chứa một nhãn . AssociatedFile đầu tiên như vậy (nếu có) được dùng để điền vào label (có tên là class_name trong C++) của kết quả. display_name được điền từ AssociatedFile (nếu có) có ngôn ngữ khớp với Trường display_names_locale của ImageSegmenterOptions được sử dụng tại thời gian tạo ("en" theo mặc định, tức là tiếng Anh). Nếu không có phương pháp nào nêu trên có sẵn, thì hệ thống sẽ chỉ điền trường index của kết quả.