Tác vụ của Trình phân loại hình ảnh MediaPipe cho phép bạn phân loại hình ảnh. Bạn có thể dùng nhiệm vụ này để xác định nội dung mà một hình ảnh đại diện cho một nhóm danh mục được xác định tại thời điểm huấn luyện. Những hướng dẫn này cho bạn biết cách sử dụng Trình phân loại hình ảnh với Python.
Bạn có thể xem cách hoạt động của công việc này bằng cách xem Bản minh hoạ trên web. Để biết thêm thông tin về các tính năng, mô hình và lựa chọn cấu hình của nhiệm vụ này, hãy xem phần Tổng quan.
Ví dụ về mã
Mã mẫu cho Trình phân loại hình ảnh cung cấp cách triển khai đầy đủ tác vụ này trong Python để bạn tham khảo. Mã này giúp bạn kiểm thử tác vụ này và bắt đầu xây dựng thuật toán phân loại hình ảnh của riêng mình. Bạn có thể xem, chạy và chỉnh sửa mã ví dụ của Trình phân loại hình ảnh chỉ bằng trình duyệt web.
Nếu bạn đang triển khai Trình phân loại hình ảnh cho Rassberry Pi, hãy tham khảo ứng dụng ví dụ về Rspberry Pi.
Thiết lập
Phần này mô tả các bước chính để thiết lập môi trường phát triển và các dự án mã dành riêng để sử dụng Công cụ phân loại hình ảnh. Để biết thông tin chung về cách thiết lập môi trường phát triển nhằm sử dụng các tác vụ của MediaPipe, bao gồm cả các yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập cho Python.
Gói
Tác vụ Trình phân loại hình ảnh tác vụ gói pip mediapipe. Bạn có thể cài đặt phần phụ thuộc bằng các đoạn mã sau:
$ python -m pip install mediapipe
Nhập
Nhập các lớp sau để truy cập vào các hàm tác vụ của Trình phân loại hình ảnh:
import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision
Mẫu
Tác vụ của Trình phân loại hình ảnh MediaPipe cần có một mô hình đã qua huấn luyện tương thích với tác vụ này. Để biết thêm thông tin về các mô hình được huấn luyện hiện có cho Trình phân loại hình ảnh, hãy xem phần Mô hình tổng quan về tác vụ.
Chọn và tải một mô hình xuống rồi lưu trữ trong thư mục cục bộ. Bạn có thể sử dụng mô hình Hiệu quả-Lite0 được đề xuất.
model_path = '/absolute/path/to/efficientnet_lite0_int8_2.tflite'
Chỉ định đường dẫn của mô hình trong tham số Tên mô hình, như minh hoạ dưới đây:
base_options = BaseOptions(model_asset_path=model_path)
Tạo việc cần làm
Dùng hàm create_from_options
để tạo tác vụ. Hàm create_from_options
chấp nhận các tuỳ chọn cấu hình, trong đó có chế độ chạy, ngôn ngữ của tên hiển thị, số lượng kết quả tối đa, ngưỡng tin cậy, danh sách cho phép theo danh mục và danh sách từ chối. Để biết thêm thông tin về các lựa chọn cấu hình, hãy xem phần Tổng quan về cấu hình.
Tác vụ Trình phân loại hình ảnh hỗ trợ 3 loại dữ liệu đầu vào: hình ảnh tĩnh, tệp video và luồng video trực tiếp. Chọn thẻ tương ứng với loại dữ liệu đầu vào của bạn để xem cách tạo tác vụ và chạy suy luận.
Bài đăng có hình ảnh
import mediapipe as mp BaseOptions = mp.tasks.BaseOptions ImageClassifier = mp.tasks.vision.ImageClassifier ImageClassifierOptions = mp.tasks.vision.ImageClassifierOptions VisionRunningMode = mp.tasks.vision.RunningMode options = ImageClassifierOptions( base_options=BaseOptions(model_asset_path='/path/to/model.tflite'), max_results=5, running_mode=VisionRunningMode.IMAGE) with ImageClassifier.create_from_options(options) as classifier: # The classifier is initialized. Use it here. # ...
Video
import mediapipe as mp BaseOptions = mp.tasks.BaseOptions ImageClassifier = mp.tasks.vision.ImageClassifier ImageClassifierOptions = mp.tasks.vision.ImageClassifierOptions VisionRunningMode = mp.tasks.vision.RunningMode options = ImageClassifierOptions( base_options=BaseOptions(model_asset_path='/path/to/model.tflite'), max_results=5, running_mode=VisionRunningMode.VIDEO) with ImageClassifier.create_from_options(options) as classifier: # The classifier is initialized. Use it here. # ...
Sự kiện trực tiếp
import mediapipe as mp BaseOptions = mp.tasks.BaseOptions ImageClassifierResult = mp.tasks.vision.ImageClassifier.ImageClassifierResult ImageClassifier = mp.tasks.vision.ImageClassifier ImageClassifierOptions = mp.tasks.vision.ImageClassifierOptions VisionRunningMode = mp.tasks.vision.RunningMode def print_result(result: ImageClassifierResult, output_image: mp.Image, timestamp_ms: int): print('ImageClassifierResult result: {}'.format(result)) options = ImageClassifierOptions( base_options=BaseOptions(model_asset_path='/path/to/model.tflite'), running_mode=VisionRunningMode.LIVE_STREAM, max_results=5, result_callback=print_result) with ImageClassifier.create_from_options(options) as classifier: # The classifier is initialized. Use it here. # ...
Để biết ví dụ đầy đủ về cách tạo Trình phân loại hình ảnh để sử dụng với hình ảnh, hãy xem mã ví dụ.
Các lựa chọn về cấu hình
Tác vụ này có các lựa chọn cấu hình sau đây cho các ứng dụng Python:
Tên lựa chọn | Nội dung mô tả | Khoảng giá trị | Giá trị mặc định |
---|---|---|---|
running_mode |
Đặt chế độ chạy cho tác vụ. Có 3 chế độ: IMAGE: Chế độ nhập một hình ảnh. VIDEO: Chế độ khung hình đã giải mã của video. LIVE_STREAM: Chế độ phát trực tiếp dữ liệu đầu vào, chẳng hạn như từ máy quay. Ở chế độ này, bạn phải gọi resultsListener để thiết lập trình nghe nhằm nhận kết quả không đồng bộ. |
{IMAGE, VIDEO, LIVE_STREAM } |
IMAGE |
display_names_locale |
Đặt ngôn ngữ của nhãn để sử dụng cho tên hiển thị được cung cấp trong siêu dữ liệu của mô hình của tác vụ, nếu có. Giá trị mặc định là en đối với
tiếng Anh. Bạn có thể thêm nhãn đã bản địa hoá vào siêu dữ liệu của mô hình tuỳ chỉnh bằng cách sử dụng API Trình viết siêu dữ liệu TensorFlow Lite |
Mã ngôn ngữ | vi |
max_results |
Đặt số lượng kết quả phân loại được tính điểm cao nhất (không bắt buộc) để trả về. Nếu < 0, hàm sẽ trả về tất cả kết quả hiện có. | Số dương bất kỳ | -1 |
score_threshold |
Đặt ngưỡng điểm dự đoán để ghi đè ngưỡng được cung cấp trong siêu dữ liệu mô hình (nếu có). Những kết quả bên dưới giá trị này sẽ bị từ chối. | Số thực bất kỳ | Không đặt |
category_allowlist |
Đặt danh sách các tên danh mục được phép (không bắt buộc). Nếu không để trống, kết quả phân loại có tên danh mục không có tên trong tập hợp này sẽ bị lọc ra. Tên danh mục trùng lặp hoặc không xác định sẽ bị bỏ qua.
Tuỳ chọn này loại trừ lẫn nhau với category_denylist và việc sử dụng cả hai sẽ dẫn đến lỗi. |
Chuỗi bất kỳ | Không đặt |
category_denylist |
Đặt danh sách các tên danh mục không được phép (không bắt buộc). Nếu không để trống, kết quả phân loại có tên danh mục nằm trong tập hợp này sẽ bị lọc ra. Tên danh mục trùng lặp hoặc không xác định sẽ bị bỏ qua. Tuỳ chọn này loại trừ lẫn nhau với category_allowlist và việc sử dụng cả hai sẽ gây ra lỗi. |
Chuỗi bất kỳ | Không đặt |
result_callback |
Đặt trình nghe kết quả để nhận kết quả phân loại một cách không đồng bộ khi Trình phân loại hình ảnh đang ở chế độ phát trực tiếp. Chỉ có thể sử dụng khi bạn đặt chế độ chạy thành LIVE_STREAM |
Không áp dụng | Không đặt |
Chuẩn bị dữ liệu
Chuẩn bị dữ liệu đầu vào dưới dạng tệp hình ảnh hoặc mảng numpy, sau đó chuyển đổi dữ liệu đó thành đối tượng mediapipe.Image
. Nếu dữ liệu đầu vào là tệp video hoặc sự kiện phát trực tiếp từ webcam, bạn có thể sử dụng một thư viện bên ngoài, chẳng hạn như OpenCV để tải khung hình đầu vào dưới dạng các mảng numpy.
Các ví dụ sau giải thích và cho thấy cách chuẩn bị dữ liệu để xử lý cho từng loại dữ liệu có sẵn
Bài đăng có hình ảnh
import mediapipe as mp # Load the input image from an image file. mp_image = mp.Image.create_from_file('/path/to/image') # Load the input image from a numpy array. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
Video
import mediapipe as mp # Use OpenCV’s VideoCapture to load the input video. # Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS # You’ll need it to calculate the timestamp for each frame. # Loop through each frame in the video using VideoCapture#read() # Convert the frame received from OpenCV to a MediaPipe’s Image object. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
Sự kiện trực tiếp
import mediapipe as mp # Use OpenCV’s VideoCapture to start capturing from the webcam. # Create a loop to read the latest frame from the camera using VideoCapture#read() # Convert the frame received from OpenCV to a MediaPipe’s Image object. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
Chạy tác vụ
Bạn có thể gọi hàm phân loại tương ứng với chế độ chạy của mình để kích hoạt các dự đoán. Image Classifier API (API Phân loại hình ảnh) sẽ trả về các danh mục có thể áp dụng cho đối tượng trong hình ảnh hoặc khung đầu vào.
Bài đăng có hình ảnh
# Perform image classification on the provided single image. classification_result = classifier.classify(mp_image)
Video
# Calculate the timestamp of the current frame frame_timestamp_ms = 1000 * frame_index / video_file_fps # Perform image classification on the video frame. classification_result = classifier.classify_for_video(mp_image, frame_timestamp_ms)
Sự kiện trực tiếp
# Send the latest frame to perform image classification. # Results are sent to the `result_callback` provided in the `ImageClassifierOptions`. classifier.classify_async(mp_image, frame_timestamp_ms)
Xin lưu ý những điều sau:
- Khi chạy ở chế độ video hoặc chế độ phát trực tiếp, bạn cũng phải cung cấp dấu thời gian của khung đầu vào cho tác vụ Trình phân loại hình ảnh.
- Khi chạy trong hình ảnh hoặc mô hình video, tác vụ Trình phân loại hình ảnh sẽ chặn luồng hiện tại cho đến khi xử lý xong hình ảnh hoặc khung đầu vào.
- Khi chạy ở chế độ phát trực tiếp, tác vụ Trình phân loại hình ảnh không chặn luồng hiện tại mà sẽ trả về ngay lập tức. Hàm này sẽ gọi trình nghe kết quả với kết quả phân loại mỗi khi xử lý xong một khung đầu vào. Nếu hàm
classifyAsync
được gọi khi tác vụ Trình phân loại hình ảnh đang bận xử lý một khung khác, thì tác vụ đó sẽ bỏ qua khung đầu vào mới.
Để biết ví dụ đầy đủ về cách tạo Trình phân loại hình ảnh để sử dụng với hình ảnh, hãy xem mã ví dụ.
Xử lý và hiển thị kết quả
Khi chạy suy luận, tác vụ Trình phân loại hình ảnh sẽ trả về một đối tượng ImageClassifierResult
chứa danh sách các danh mục có thể xảy ra cho các đối tượng trong hình ảnh hoặc khung đầu vào.
Sau đây là ví dụ về dữ liệu đầu ra của nhiệm vụ này:
ImageClassifierResult:
Classifications #0 (single classification head):
head index: 0
category #0:
category name: "/m/01bwb9"
display name: "Passer domesticus"
score: 0.91406
index: 671
category #1:
category name: "/m/01bwbt"
display name: "Passer montanus"
score: 0.00391
index: 670
Bạn có thể đạt được kết quả này bằng cách chạy Trình phân loại Bird trên:
Mã ví dụ của Trình phân loại hình ảnh minh hoạ cách hiển thị kết quả phân loại được trả về từ tác vụ, hãy xem ví dụ về mã để biết thông tin chi tiết.