整合圖片區隔工具

圖片區隔工具會預測圖片的每個像素特定類別與物件偵測相反的是矩形區域和圖片分類模型則能將整體模型分類圖片。請參閱圖片區隔總覽示例想進一步瞭解圖片區隔工具

使用工作程式庫 ImageSegmenter API 部署自訂圖片區隔器或是在行動應用程式中預先訓練

ImageSegmenter API 的主要功能

輸入圖片處理作業，包括旋轉、調整大小和色域轉換率
標籤對應語言代碼。
兩種輸出類型：類別遮罩和可信度遮罩。
供顯示用途的彩色標籤。

支援的圖片分段模型

下列型號保證與 ImageSegmenter 相容也能使用 Google Cloud CLI 或 Compute Engine API

在 Java 中執行推論

請參閱圖片區隔參考資料應用程式查看範例，瞭解如何在 Android 應用程式中使用 ImageSegmenter。

步驟 1：匯入 Gradle 依附元件和其他設定

將 .tflite 模型檔案複製到 Android 模組的資產目錄以便訓練模型指定不要壓縮檔案，且將 TensorFlow Lite 程式庫新增至模組的 build.gradle 檔案：

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }
}

dependencies {
    // Other dependencies

    // Import the Task Vision Library dependency
    implementation 'org.tensorflow:tensorflow-lite-task-vision'
    // Import the GPU delegate plugin Library for GPU inference
    implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin'
}

步驟 2：使用模型

// Initialization
ImageSegmenterOptions options =
    ImageSegmenterOptions.builder()
        .setBaseOptions(BaseOptions.builder().useGpu().build())
        .setOutputType(OutputType.CONFIDENCE_MASK)
        .build();
ImageSegmenter imageSegmenter =
    ImageSegmenter.createFromFileAndOptions(context, modelFile, options);

// Run inference
List<Segmentation> results = imageSegmenter.segment(image);

請參閱原始碼並 javadoc 取得更多設定 ImageSegmenter 的選項。

在 iOS 中執行推論

步驟 1：安裝依附元件

工作程式庫支援使用 CocoaPods 進行安裝。確認 CocoaPods 會在您的系統上安裝。請參閱 CocoaPods 安裝指南一文。

請參閱 CocoaPods 指南。將 Pod 新增至 Xcode 專案

在 Podfile 中新增 TensorFlowLiteTaskVision Pod。

target 'MyAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskVision'
end

確認您要用於推論的 .tflite 模型出現在您的應用程式套件。

步驟 2：使用模型

Swift

// Imports
import TensorFlowLiteTaskVision

// Initialization
guard let modelPath = Bundle.main.path(forResource: "deeplabv3",
                                            ofType: "tflite") else { return }

let options = ImageSegmenterOptions(modelPath: modelPath)

// Configure any additional options:
// options.outputType = OutputType.confidenceMasks

let segmenter = try ImageSegmenter.segmenter(options: options)

// Convert the input image to MLImage.
// There are other sources for MLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
guard let image = UIImage (named: "plane.jpg"), let mlImage = MLImage(image: image) else { return }

// Run inference
let segmentationResult = try segmenter.segment(mlImage: mlImage)

Objective-C

// Imports
#import <TensorFlowLiteTaskVision/TensorFlowLiteTaskVision.h>

// Initialization
NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"deeplabv3" ofType:@"tflite"];

TFLImageSegmenterOptions *options =
    [[TFLImageSegmenterOptions alloc] initWithModelPath:modelPath];

// Configure any additional options:
// options.outputType = TFLOutputTypeConfidenceMasks;

TFLImageSegmenter *segmenter = [TFLImageSegmenter imageSegmenterWithOptions:options
                                                                      error:nil];

// Convert the input image to MLImage.
UIImage *image = [UIImage imageNamed:@"plane.jpg"];

// There are other sources for GMLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
GMLImage *gmlImage = [[GMLImage alloc] initWithImage:image];

// Run inference
TFLSegmentationResult *segmentationResult =
    [segmenter segmentWithGMLImage:gmlImage error:nil];

請參閱原始碼程式碼取得更多設定 TFLImageSegmenter 的選項。

在 Python 中執行推論

步驟 1：安裝 pip 套件

pip install tflite-support

步驟 2：使用模型

# Imports
from tflite_support.task import vision
from tflite_support.task import core
from tflite_support.task import processor

# Initialization
base_options = core.BaseOptions(file_name=model_path)
segmentation_options = processor.SegmentationOptions(
    output_type=processor.SegmentationOptions.output_type.CATEGORY_MASK)
options = vision.ImageSegmenterOptions(base_options=base_options, segmentation_options=segmentation_options)
segmenter = vision.ImageSegmenter.create_from_options(options)

# Alternatively, you can create an image segmenter in the following manner:
# segmenter = vision.ImageSegmenter.create_from_file(model_path)

# Run inference
image_file = vision.TensorImage.create_from_file(image_path)
segmentation_result = segmenter.segment(image_file)

請參閱原始碼程式碼取得更多設定 ImageSegmenter 的選項。

在 C++ 中執行推論

// Initialization
ImageSegmenterOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<ImageSegmenter> image_segmenter = ImageSegmenter::CreateFromOptions(options).value();

// Create input frame_buffer from your inputs, `image_data` and `image_dimension`.
// See more information here: tensorflow_lite_support/cc/task/vision/utils/frame_buffer_common_utils.h
std::unique_ptr<FrameBuffer> frame_buffer = CreateFromRgbRawBuffer(
      image_data, image_dimension);

// Run inference
const SegmentationResult result = image_segmenter->Segment(*frame_buffer).value();

請參閱原始碼程式碼取得更多設定 ImageSegmenter 的選項。

搜尋結果範例

這個例子是區隔管道的區隔結果 deeplab_v3 TensorFlow Hub 上可用的一般區隔模型

搭飛機

Color Legend:
 (r: 000, g: 000, b: 000):
  index       : 0
  class name  : background
 (r: 128, g: 000, b: 000):
  index       : 1
  class name  : aeroplane

# (omitting multiple lines for conciseness) ...

 (r: 128, g: 192, b: 000):
  index       : 19
  class name  : train
 (r: 000, g: 064, b: 128):
  index       : 20
  class name  : tv
Tip: use a color picker on the output PNG file to inspect the output mask with
this legend.

區隔類別遮罩看起來應像這樣：

segmentation-output

試用簡單的 CLI 示範工具， ImageSegmenter 使用自己的模型與測試資料

模型相容性需求

ImageSegmenter API 預期的 TFLite 模型須搭配必要的 TFLite 模型中繼資料。查看建立映像檔中繼資料的範例使用 TensorFlow Lite 中繼資料寫入器 API。

輸入圖片張量 (kTfLiteUInt8/kTfLiteFloat32)
- 輸入大小為 [batch x height x width x channels] 的圖片。
- 不支援批次推論 (batch 須為 1)。
- 僅支援 RGB 輸入 (channels 必須為 3)。
- 如果型別是 kTfLiteFloat32，就必須使用正規化選項附加於中繼資料，以便進行輸入正規化
輸出遮罩張量：(kTfLiteUInt8/kTfLiteFloat32)
- 大小為 [batch x mask_height x mask_width x num_classes] 的張量，其中 batch 必須是 1，mask_width 和 mask_height 是模型產生的區隔遮罩維度，以及 num_classes 是模型支援的類別數量。
- (但建議使用) 標籤對應，可以將與 TENSOR_AXIS_LABELS 類型的 AssociatedFile-s 和 TENSOR_AXIS_LABELS 類型，各包含一個標籤互動第一個這類 AssociatedFile (如有) 會填入 label 欄位 (在 C++ 中稱為 class_name)。display_name 欄位將填入關聯檔案 (如有)，且語言代碼符合使用的 ImageSegmenterOptions 的 display_names_locale 欄位建立時間 (預設為「en」，例如英文)。如果這些都不是可用，只有結果的 index 欄位會填入內容。