Hướng dẫn phát hiện đối tượng cho Python

Tác vụ Trình phát hiện đối tượng MediaPipe cho phép bạn phát hiện sự hiện diện và vị trí của nhiều các lớp đối tượng. Các hướng dẫn này cho bạn biết cách sử dụng Trình phát hiện đối tượng công việc trong Python. Bạn có thể xem ví dụ về mã được mô tả trong các hướng dẫn này trên GitHub.

Bạn có thể xem tác vụ này trong thực tế bằng cách xem Bản minh hoạ trên web. Để biết thêm thông tin về các tính năng, mô hình và các tuỳ chọn cấu hình của tác vụ này, xem Tổng quan.

Ví dụ về mã

Mã ví dụ cho Trình phát hiện đối tượng cung cấp cách triển khai hoàn chỉnh cho công việc bằng Python để bạn tham khảo. Mã này giúp bạn kiểm thử công việc này và bắt đầu xây dựng ứng dụng phân loại văn bản của riêng bạn. Bạn có thể xem, chạy và chỉnh sửa mã ví dụ về Trình phát hiện đối tượng chỉ bằng trình duyệt web.

Nếu bạn đang triển khai Trình phát hiện đối tượng cho Raspberry Pi, hãy tham khảo Ví dụ về Raspberry Pi ứng dụng.

Thiết lập

Phần này mô tả các bước chính để thiết lập môi trường phát triển và mã dự án cụ thể để sử dụng Trình phát hiện đối tượng. Để biết thông tin chung về thiết lập môi trường phát triển để sử dụng các tác vụ MediaPipe, bao gồm yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập cho Python.

Gói

Tác vụ của Trình phát hiện đối tượng cần có gói pip mediapipe. Bạn có thể cài đặt các gói bắt buộc bằng các lệnh sau:

$ python -m pip install mediapipe

Nhập

Nhập các lớp sau để truy cập vào các hàm tác vụ của Trình phát hiện đối tượng:

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

Mẫu

Nhiệm vụ Trình phát hiện đối tượng MediaPipe yêu cầu một mô hình đã huấn luyện tương thích với công việc. Để biết thêm thông tin về các mô hình đã huấn luyện hiện có dành cho Trình phát hiện đối tượng, hãy xem tổng quan về nhiệm vụ phần Mô hình.

Chọn và tải mô hình xuống, sau đó lưu trữ mô hình đó trong một thư mục trên máy:

model_path = '/absolute/path/to/lite-model_efficientdet_lite0_detection_metadata_1.tflite'

Sử dụng tham số model_asset_path của đối tượng BaseOptions để chỉ định đường dẫn của mô hình để sử dụng. Để xem ví dụ về mã, hãy xem phần tiếp theo.

Tạo việc cần làm

Sử dụng hàm create_from_options để tạo công việc. Chiến lược phát hành đĩa đơn Hàm create_from_options chấp nhận các lựa chọn cấu hình bao gồm cả chạy chế độ, ngôn ngữ tên hiển thị, số lượng kết quả tối đa, ngưỡng tin cậy, danh mục cho phép và danh sách từ chối. Nếu không đặt tuỳ chọn cấu hình, tác vụ sẽ sử dụng giá trị mặc định. Để biết thêm thông tin về các tuỳ chọn cấu hình, hãy xem phần Tuỳ chọn cấu hình.

Tác vụ Trình phát hiện đối tượng hỗ trợ một số loại dữ liệu đầu vào: hình ảnh tĩnh, video tệp và luồng video trực tiếp. Chọn thẻ tương ứng với dữ liệu nhập của bạn loại để xem cách tạo tác vụ và chạy suy luận.

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
ObjectDetector = mp.tasks.vision.ObjectDetector
ObjectDetectorOptions = mp.tasks.vision.ObjectDetectorOptions
VisionRunningMode = mp.tasks.vision.RunningMode

options = ObjectDetectorOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    max_results=5,
    running_mode=VisionRunningMode.IMAGE)

with ObjectDetector.create_from_options(options) as detector:
  # The detector is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
ObjectDetector = mp.tasks.vision.ObjectDetector
ObjectDetectorOptions = mp.tasks.vision.ObjectDetectorOptions
VisionRunningMode = mp.tasks.vision.RunningMode

options = ObjectDetectorOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    max_results=5,
    running_mode=VisionRunningMode.VIDEO)

with ObjectDetector.create_from_options(options) as detector:
  # The detector is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
DetectionResult = mp.tasks.components.containers.detections.DetectionResult
ObjectDetector = mp.tasks.vision.ObjectDetector
ObjectDetectorOptions = mp.tasks.vision.ObjectDetectorOptions
VisionRunningMode = mp.tasks.vision.RunningMode

def print_result(result: DetectionResult, output_image: mp.Image, timestamp_ms: int):
    print('detection result: {}'.format(result))

options = ObjectDetectorOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    running_mode=VisionRunningMode.LIVE_STREAM,
    max_results=5,
    result_callback=print_result)

with ObjectDetector.create_from_options(options) as detector:
  # The detector is initialized. Use it here.
  # ...
    

Để biết ví dụ đầy đủ về cách tạo Trình phát hiện đối tượng để sử dụng với hình ảnh, hãy xem mã ví dụ.

Các lựa chọn về cấu hình

Tác vụ này có các lựa chọn cấu hình sau cho các ứng dụng Python:

Chuẩn bị dữ liệu

Chuẩn bị dữ liệu đầu vào dưới dạng tệp hình ảnh hoặc mảng numpy, sau đó chuyển đổi thành đối tượng mediapipe.Image. Nếu nội dung bạn nhập là tệp video hoặc phát trực tiếp trên webcam, thì bạn có thể dùng thư viện bên ngoài như OpenCV để tải các khung đầu vào của bạn dưới dạng numpy mảng.

Các ví dụ sau giải thích và trình bày cách chuẩn bị dữ liệu để xử lý cho từng loại dữ liệu có sẵn:

import mediapipe as mp

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to load the input video.

# Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS
# You’ll need it to calculate the timestamp for each frame.

# Loop through each frame in the video using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to start capturing from the webcam.

# Create a loop to read the latest frame from the camera using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

Chạy tác vụ

Bạn có thể gọi một trong các hàm phát hiện để kích hoạt suy luận. Đối tượng Tác vụ của trình phát hiện sẽ trả về các đối tượng được phát hiện trong hình ảnh hoặc khung đầu vào.

# Perform object detection on the provided single image.
detection_result = detector.detect(mp_image)
    

# Calculate the timestamp of the current frame
frame_timestamp_ms = 1000 * frame_index / video_file_fps

# Perform object detection on the video frame.
detection_result = detector.detect_for_video(mp_image, frame_timestamp_ms)
    

# Send the latest frame to perform object detection.
# Results are sent to the `result_callback` provided in the `ObjectDetectorOptions`.
detector.detect_async(mp_image, frame_timestamp_ms)
    

Để biết ví dụ đầy đủ về cách chạy Trình phát hiện đối tượng trên một hình ảnh, hãy xem mã ví dụ để biết thông tin chi tiết.

Xin lưu ý những điều sau:

• Khi chạy ở chế độ video hoặc chế độ phát trực tiếp, bạn cũng phải cung cấp cho tác vụ Trình phát hiện đối tượng dấu thời gian của khung nhập.
• Khi chạy trong hình ảnh hoặc mô hình video, tác vụ Trình phát hiện đối tượng sẽ chặn luồng hiện tại cho đến khi xử lý xong hình ảnh đầu vào hoặc khung.
• Khi chạy ở chế độ phát trực tiếp, tác vụ Trình phát hiện đối tượng sẽ không chặn luồng hiện tại nhưng trả về ngay lập tức. Tham số này sẽ gọi ra kết quả mỗi khi xử lý xong một trình xử lý khung đầu vào. Nếu hàm phát hiện được gọi khi thực hiện tác vụ Trình phát hiện đối tượng đang bận xử lý một khung khác, thì khung nhập mới sẽ bị bỏ qua.

Xử lý và hiện kết quả

Sau khi chạy dự đoán, tác vụ Trình phát hiện đối tượng sẽ trả về một Đối tượng ObjectDetectionResult mô tả các đối tượng mà đối tượng này tìm thấy hình ảnh đầu vào.

Sau đây là ví dụ về dữ liệu đầu ra của tác vụ này:

ObjectDetectorResult:
 Detection #0:
  Box: (x: 355, y: 133, w: 190, h: 206)
  Categories:
   index       : 17
   score       : 0.73828
   class name  : dog
 Detection #1:
  Box: (x: 103, y: 15, w: 138, h: 369)
  Categories:
   index       : 17
   score       : 0.73047
   class name  : dog

Hình ảnh sau đây minh hoạ kết quả của tác vụ:

Mã ví dụ về Trình phát hiện đối tượng minh hoạ cách hiển thị tính năng phát hiện kết quả được trả về từ tác vụ, hãy xem mã ví dụ để biết thông tin chi tiết.