Hướng dẫn phân loại hình ảnh cho Python

Tác vụ Trình phân loại hình ảnh MediaPipe cho phép bạn phân loại hình ảnh. Bạn có thể sử dụng nhiệm vụ này nhằm xác định nội dung mà một hình ảnh đại diện cho một tập hợp các danh mục được xác định vào thời gian huấn luyện. Các hướng dẫn này cho bạn biết cách sử dụng Trình phân loại hình ảnh bằng Python.

Bạn có thể xem công việc này trong thực tế bằng cách xem trang Web bản minh hoạ. Cho thông tin khác về tính năng, kiểu máy và tuỳ chọn cấu hình của nhiệm vụ này, hãy xem phần Tổng quan.

Ví dụ về mã

Mã ví dụ cho Trình phân loại hình ảnh cung cấp cách triển khai hoàn chỉnh công việc bằng Python để bạn tham khảo. Mã này giúp bạn kiểm thử công việc này và hãy bắt đầu xây dựng thuật toán phân loại hình ảnh của riêng mình. Bạn có thể xem, chạy và chỉnh sửa Ví dụ về công cụ phân loại hình ảnh mã chỉ bằng trình duyệt web.

Nếu bạn đang triển khai Trình phân loại hình ảnh cho Raspberry Pi, hãy tham khảo Ví dụ về Raspberry Pi ứng dụng.

Thiết lập

Phần này mô tả các bước chính để thiết lập môi trường phát triển và mã dự án cụ thể để sử dụng Công cụ phân loại hình ảnh. Để biết thông tin chung về thiết lập môi trường phát triển để sử dụng các tác vụ MediaPipe, bao gồm yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập cho Python.

Gói

Trình phân loại hình ảnh sẽ thực hiện tác vụ cho gói pip mediapipe. Bạn có thể cài đặt bằng các phần phụ thuộc sau:

$ python -m pip install mediapipe
``` ### Imports

Import the following classes to access the Image Classifier task functions:

```python
import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

Mẫu

Nhiệm vụ Trình phân loại hình ảnh MediaPipe cần có một mô hình đã huấn luyện tương thích với công việc. Để biết thêm thông tin về các mô hình đã huấn luyện hiện có cho Công cụ phân loại hình ảnh, hãy xem tổng quan về nhiệm vụ phần Mô hình.

Chọn và tải mô hình xuống rồi lưu trữ mô hình đó trong một thư mục trên máy. Bạn có thể sử dụng được đề xuất Hiệu quảNet-Lite0 mô hình.

model_path = '/absolute/path/to/efficientnet_lite0_int8_2.tflite'

Chỉ định đường dẫn của mô hình trong thông số Tên mô hình, như được hiển thị dưới đây:

base_options = BaseOptions(model_asset_path=model_path)

Tạo việc cần làm

Sử dụng hàm create_from_options để tạo công việc. Chiến lược phát hành đĩa đơn Hàm create_from_options chấp nhận các lựa chọn cấu hình bao gồm cả chạy chế độ, ngôn ngữ tên hiển thị, số lượng kết quả tối đa, ngưỡng tin cậy, danh mục cho phép và danh sách từ chối. Để biết thêm thông tin về cấu hình hãy xem phần Configuration Overview (Tổng quan về cấu hình).

Tác vụ Trình phân loại hình ảnh hỗ trợ 3 loại dữ liệu đầu vào: ảnh tĩnh, tệp video và luồng video trực tiếp. Chọn thẻ tương ứng với loại dữ liệu nhập của bạn để xem cách tạo tác vụ và chạy suy luận.

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
ImageClassifier = mp.tasks.vision.ImageClassifier
ImageClassifierOptions = mp.tasks.vision.ImageClassifierOptions
VisionRunningMode = mp.tasks.vision.RunningMode

options = ImageClassifierOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    max_results=5,
    running_mode=VisionRunningMode.IMAGE)

with ImageClassifier.create_from_options(options) as classifier:
  # The classifier is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
ImageClassifier = mp.tasks.vision.ImageClassifier
ImageClassifierOptions = mp.tasks.vision.ImageClassifierOptions
VisionRunningMode = mp.tasks.vision.RunningMode

options = ImageClassifierOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    max_results=5,
    running_mode=VisionRunningMode.VIDEO)

with ImageClassifier.create_from_options(options) as classifier:
  # The classifier is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
ImageClassifierResult = mp.tasks.vision.ImageClassifier.ImageClassifierResult
ImageClassifier = mp.tasks.vision.ImageClassifier
ImageClassifierOptions = mp.tasks.vision.ImageClassifierOptions
VisionRunningMode = mp.tasks.vision.RunningMode

def print_result(result: ImageClassifierResult, output_image: mp.Image, timestamp_ms: int):
    print('ImageClassifierResult result: {}'.format(result))

options = ImageClassifierOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    running_mode=VisionRunningMode.LIVE_STREAM,
    max_results=5,
    result_callback=print_result)

with ImageClassifier.create_from_options(options) as classifier:
  # The classifier is initialized. Use it here.
  # ...
    

Để biết ví dụ hoàn chỉnh về cách tạo Trình phân loại hình ảnh để sử dụng với hình ảnh, hãy xem mã ví dụ.

Các lựa chọn về cấu hình

Tác vụ này có các lựa chọn cấu hình sau cho các ứng dụng Python:

Chuẩn bị dữ liệu

Chuẩn bị dữ liệu đầu vào dưới dạng tệp hình ảnh hoặc mảng numpy, sau đó chuyển đổi tệp đó thành Đối tượng mediapipe.Image. Nếu dữ liệu đầu vào của bạn là tệp video hoặc chương trình phát trực tiếp từ webcam, bạn có thể sử dụng thư viện bên ngoài như OpenCV để tải các khung đầu vào của bạn dưới dạng numpy mảng.

Các ví dụ sau giải thích và trình bày cách chuẩn bị dữ liệu để xử lý cho từng loại dữ liệu có sẵn

import mediapipe as mp

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to load the input video.

# Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS
# You’ll need it to calculate the timestamp for each frame.

# Loop through each frame in the video using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to start capturing from the webcam.

# Create a loop to read the latest frame from the camera using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

Chạy tác vụ

Bạn có thể gọi hàm phân loại tương ứng với chế độ chạy của mình để kích hoạt suy luận. API Phân loại hình ảnh sẽ trả về các danh mục có thể có cho trong hình ảnh hoặc khung đầu vào.

# Perform image classification on the provided single image.
classification_result = classifier.classify(mp_image)
    

# Calculate the timestamp of the current frame
frame_timestamp_ms = 1000 * frame_index / video_file_fps

# Perform image classification on the video frame.
classification_result = classifier.classify_for_video(mp_image, frame_timestamp_ms)
    

# Send the latest frame to perform image classification.
# Results are sent to the `result_callback` provided in the `ImageClassifierOptions`.
classifier.classify_async(mp_image, frame_timestamp_ms)
    

Xin lưu ý những điều sau:

• Khi chạy ở chế độ video hoặc chế độ phát trực tiếp, bạn cũng phải cung cấp cho tác vụ Trình phân loại hình ảnh dấu thời gian của khung nhập.
• Khi chạy trong hình ảnh hoặc mô hình video, tác vụ Trình phân loại hình ảnh sẽ chặn luồng hiện tại cho đến khi xử lý xong hình ảnh đầu vào hoặc khung.
• Khi chạy ở chế độ phát trực tiếp, tác vụ Trình phân loại hình ảnh sẽ không chặn luồng hiện tại nhưng trả về ngay lập tức. Tham số này sẽ gọi ra kết quả trình nghe với kết quả phân loại mỗi khi hoàn tất xử lý khung đầu vào. Nếu hàm classifyAsync được gọi khi tác vụ Trình phân loại hình ảnh đang bận xử lý một khung khác, tác vụ này sẽ bỏ qua khung đầu vào mới.

Để biết ví dụ hoàn chỉnh về cách tạo Trình phân loại hình ảnh để sử dụng với hình ảnh, hãy xem mã ví dụ.

Xử lý và hiện kết quả

Sau khi chạy dự đoán, tác vụ Trình phân loại hình ảnh sẽ trả về một Đối tượng ImageClassifierResult chứa danh sách các danh mục có thể có cho các đối tượng trong hình ảnh hoặc khung đầu vào.

Sau đây là ví dụ về dữ liệu đầu ra của tác vụ này:

ImageClassifierResult:
 Classifications #0 (single classification head):
  head index: 0
  category #0:
   category name: "/m/01bwb9"
   display name: "Passer domesticus"
   score: 0.91406
   index: 671
  category #1:
   category name: "/m/01bwbt"
   display name: "Passer montanus"
   score: 0.00391
   index: 670

Kết quả này thu được bằng cách chạy Trình phân loại chim vào:

Mã ví dụ của Trình phân loại hình ảnh minh hoạ cách hiển thị kết quả phân loại kết quả được trả về từ tác vụ, hãy xem mã ví dụ để biết thông tin chi tiết.