Python 適用的圖片分類指南

MediaPipe 圖片分類器工作可讓您對圖片執行分類。您可以使用這項工作，在訓練期間定義一組類別的圖片代表的圖片代表的意義。以下操作說明將說明如何搭配 Python 使用圖片分類器。

如要查看這項工作的實際運作情形，請參閱網頁示範。 如要進一步瞭解這項工作的功能、模型和設定選項，請參閱總覽。

程式碼範例

圖片分類器的範例程式碼提供此工作在 Python 中的完整實作，供您參考。這段程式碼可協助您測試這項工作，並開始建構自己的圖片分類器。您可以使用網路瀏覽器查看、執行及編輯圖片分類器的程式碼範例。

如果您要實作 Raspberry Pi 適用的 Image Classifier，請參閱 Raspberry Pi 範例應用程式。

設定

本節說明設定開發環境的重要步驟，以及專門用於使用 Image Classifier 的程式碼專案。如需瞭解如何使用 MediaPipe 工作設定開發環境的一般資訊，包括平台版本需求，請參閱 Python 設定指南。

套裝組合

Image Classifier 工作：Mediapipe pip 套件。您可以使用以下項目安裝依附元件：

$ python -m pip install mediapipe

匯入

匯入下列類別，即可存取 Image Classifier 工作函式：

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

型號

MediaPipe 圖片分類器工作需要使用與這項工作相容的已訓練模型。如要進一步瞭解 Image Classifier 可用的已訓練模型，請參閱工作總覽「模型」一節。

選取並下載模型，然後儲存至本機目錄中。您可以使用建議的 EfficientNet-Lite0 模型。

model_path = '/absolute/path/to/efficientnet_lite0_int8_2.tflite'

在「模型名稱」參數中指定模型的路徑，如下所示：

base_options = BaseOptions(model_asset_path=model_path)

建立工作

使用 create_from_options 函式建立工作。create_from_options 函式可接受設定選項，包括執行模式、顯示名稱語言代碼、結果數量上限、可信度門檻、類別允許清單和拒絕清單。如要進一步瞭解設定選項，請參閱設定總覽。

圖片分類器工作支援 3 種輸入資料類型：靜態圖片、影片檔案和即時影片串流。選擇與輸入資料類型對應的分頁，瞭解如何建立工作並執行推論。

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
ImageClassifier = mp.tasks.vision.ImageClassifier
ImageClassifierOptions = mp.tasks.vision.ImageClassifierOptions
VisionRunningMode = mp.tasks.vision.RunningMode

options = ImageClassifierOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    max_results=5,
    running_mode=VisionRunningMode.IMAGE)

with ImageClassifier.create_from_options(options) as classifier:
  # The classifier is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
ImageClassifier = mp.tasks.vision.ImageClassifier
ImageClassifierOptions = mp.tasks.vision.ImageClassifierOptions
VisionRunningMode = mp.tasks.vision.RunningMode

options = ImageClassifierOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    max_results=5,
    running_mode=VisionRunningMode.VIDEO)

with ImageClassifier.create_from_options(options) as classifier:
  # The classifier is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
ImageClassifierResult = mp.tasks.vision.ImageClassifier.ImageClassifierResult
ImageClassifier = mp.tasks.vision.ImageClassifier
ImageClassifierOptions = mp.tasks.vision.ImageClassifierOptions
VisionRunningMode = mp.tasks.vision.RunningMode

def print_result(result: ImageClassifierResult, output_image: mp.Image, timestamp_ms: int):
    print('ImageClassifierResult result: {}'.format(result))

options = ImageClassifierOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    running_mode=VisionRunningMode.LIVE_STREAM,
    max_results=5,
    result_callback=print_result)

with ImageClassifier.create_from_options(options) as classifier:
  # The classifier is initialized. Use it here.
  # ...
    

如需建立與圖片搭配使用的完整圖片分類器範例，請參閱程式碼範例。

設定選項

這項工作的 Python 應用程式設定選項如下：

準備資料

將輸入準備為圖片檔或 numpy 陣列，然後再將其轉換為 mediapipe.Image 物件。如果輸入的內容是影片檔案，或是透過網路攝影機直播，可以使用外部程式庫 (例如 OpenCV) 將輸入影格載入為 numpy 陣列。

以下範例說明每種可用資料類型 以及如何準備資料以進行處理

import mediapipe as mp

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to load the input video.

# Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS
# You’ll need it to calculate the timestamp for each frame.

# Loop through each frame in the video using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to start capturing from the webcam.

# Create a loop to read the latest frame from the camera using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

執行工作

您可以呼叫與執行模式對應的分類函式，藉此觸發推論。Image Classifier API 會傳回輸入圖片或頁框中物件的可能類別。

# Perform image classification on the provided single image.
classification_result = classifier.classify(mp_image)
    

# Calculate the timestamp of the current frame
frame_timestamp_ms = 1000 * frame_index / video_file_fps

# Perform image classification on the video frame.
classification_result = classifier.classify_for_video(mp_image, frame_timestamp_ms)
    

# Send the latest frame to perform image classification.
# Results are sent to the `result_callback` provided in the `ImageClassifierOptions`.
classifier.classify_async(mp_image, frame_timestamp_ms)
    

注意事項：

• 在影片模式或直播模式中執行時，您還必須為圖片分類器工作提供輸入影格的時間戳記。
• 在圖片或影片模型中執行時，圖片分類器工作會封鎖目前的執行緒，直到處理輸入圖片或影格為止。
• 以直播模式執行時，圖片分類器工作不會封鎖目前的執行緒，但會立即傳回。每當完成輸入影格的處理時，它就會透過分類結果叫用結果事件監聽器。如果在圖片分類器工作忙於處理其他影格時呼叫 classifyAsync 函式，則工作會忽略新的輸入影格。

如需建立與圖片搭配使用的完整圖片分類器範例，請參閱程式碼範例。

處理並顯示結果

執行推論時，圖片分類器工作會傳回 ImageClassifierResult 物件，其中包含輸入圖片或影格中物件的可能類別清單。

以下為這項工作的輸出資料範例：

ImageClassifierResult:
 Classifications #0 (single classification head):
  head index: 0
  category #0:
   category name: "/m/01bwb9"
   display name: "Passer domesticus"
   score: 0.91406
   index: 671
  category #1:
   category name: "/m/01bwbt"
   display name: "Passer montanus"
   score: 0.00391
   index: 670

已取得這項結果，方法是在以下裝置執行 Bird Classifier：

Image Classifier 範例程式碼示範如何顯示工作傳回的分類結果，詳情請參閱程式碼範例。