Nhiệm vụ Trình phân đoạn hình ảnh tương tác MediaPipe lấy một vị trí trong một hình ảnh, ước tính ranh giới của một đối tượng tại vị trí đó và trả về phân đoạn cho đối tượng dưới dạng hình ảnh . Các hướng dẫn này cho bạn biết cách sử dụng Trình phân đoạn hình ảnh tương tác bằng Python ngôn ngữ. Để biết thêm thông tin về tính năng, kiểu máy và cấu hình các tuỳ chọn của việc cần làm này, hãy xem phần Tổng quan.
Ví dụ về mã
Mã ví dụ cho Trình phân đoạn hình ảnh tương tác cung cấp cách triển khai hoàn chỉnh công việc bằng Python để bạn tham khảo. Mã này giúp bạn kiểm thử công việc này và bắt đầu xây dựng ứng dụng phân đoạn hình ảnh tương tác của riêng bạn. Bạn có thể xem, chạy và chỉnh sửa Trình phân đoạn hình ảnh tương tác mã ví dụ chỉ bằng trình duyệt web.
Thiết lập
Phần này mô tả các bước chính để thiết lập môi trường phát triển và lập trình dự án cụ thể để sử dụng Trình phân đoạn hình ảnh tương tác. Để biết thông tin chung về thiết lập môi trường phát triển để sử dụng các tác vụ MediaPipe, bao gồm yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập cho Python. Bạn có thể xem mã nguồn cho ví dụ này trên GitHub
Gói
Tác vụ Trình phân đoạn hình ảnh tương tác MediaPipe cần có gói mediapipe. Bạn có thể cài đặt
phần phụ thuộc bắt buộc bằng lệnh sau:
$ python -m pip install mediapipe
Nhập
Nhập các lớp sau để truy cập vào các hàm tác vụ của Trình phân đoạn hình ảnh tương tác:
import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision
Mẫu
Nhiệm vụ Trình phân đoạn hình ảnh tương tác MediaPipe cần có một mô hình đã huấn luyện tương thích với công việc. Để biết thêm thông tin về các mô hình đã huấn luyện hiện có cho Trình phân đoạn hình ảnh tương tác, hãy xem phần Mô hình tổng quan về nhiệm vụ.
Chọn và tải mô hình xuống rồi lưu trữ mô hình đó trong thư mục dự án:
model_path = '/absolute/path/to/model.tflite'
Chỉ định đường dẫn của mô hình trong tham số model_asset_path, như minh hoạ
bên dưới:
base_options = BaseOptions(model_asset_path=model_path)
Tạo việc cần làm
Tác vụ Trình phân đoạn hình ảnh tương tác MediaPipe sử dụng hàm create_from_options để
thiết lập việc cần làm. Hàm create_from_options chấp nhận các giá trị
để biết các tuỳ chọn cấu hình cần xử lý. Để biết thêm thông tin về cấu hình
hãy xem phần Tuỳ chọn cấu hình.
Mã sau đây minh hoạ cách tạo và định cấu hình tác vụ này.
BaseOptions = mp.tasks.BaseOptions InteractiveSegmenter = mp.tasks.vision.InteractiveSegmenter InteractiveSegmenterOptions = mp.tasks.vision.InteractiveSegmenterOptions VisionRunningMode = mp.tasks.vision.RunningMode # Create a image segmenter instance with the image mode: options = InteractiveSegmenterOptions( base_options=BaseOptions(model_asset_path='/path/to/model.task'), running_mode=VisionRunningMode.IMAGE, output_type=InteractiveSegmenterOptions.OutputType.CATEGORY_MASK) with InteractiveSegmenter.create_from_options(options) as segmenter: # segmenter is initialized and ready to use
Các lựa chọn về cấu hình
Tác vụ này có các lựa chọn cấu hình sau cho các ứng dụng Python:
| Tên lựa chọn | Mô tả | Khoảng giá trị | Giá trị mặc định |
|---|---|---|---|
output_category_mask |
Nếu bạn đặt thành True, kết quả sẽ bao gồm một mặt nạ phân đoạn
dưới dạng hình ảnh uint8, trong đó mỗi giá trị pixel cho biết liệu pixel đó có thuộc
đối tượng tại khu vực quan tâm. |
{True, False} |
False |
output_confidence_masks |
Nếu bạn đặt thành True, kết quả sẽ bao gồm một mặt nạ phân đoạn
dưới dạng hình ảnh giá trị số thực, trong đó mỗi giá trị số thực biểu thị độ tin cậy
rằng pixel là một phần của đối tượng nằm tại khu vực quan tâm. |
{True, False} |
True |
display_names_locale |
Đặt ngôn ngữ của nhãn để sử dụng cho tên hiển thị được cung cấp trong
siêu dữ liệu về mô hình của công việc (nếu có). Mặc định là en cho
Tiếng Anh. Bạn có thể thêm nhãn đã bản địa hoá vào siêu dữ liệu của mô hình tuỳ chỉnh
bằng TensorFlow Lite Metadata Writer API
| Mã ngôn ngữ | vi |
Chuẩn bị dữ liệu
Chuẩn bị dữ liệu đầu vào dưới dạng tệp hình ảnh hoặc mảng numpy,
sau đó chuyển đổi thành đối tượng mediapipe.Image.
# Load the input image from an image file. mp_image = mp.Image.create_from_file('/path/to/image') # Load the input image from a numpy array. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
RegionOfInterest = vision.InteractiveSegmenterRegionOfInterest # Perform image segmentation on the provided single image. # The image segmenter must be created with the image mode. roi = RegionOfInterest(format=RegionOfInterest.Format.KEYPOINT, keypoint=NormalizedKeypoint(x, y)) segmented_masks = segmenter.segment(mp_image, roi)
Để có ví dụ hoàn chỉnh hơn về cách chạy suy luận của Trình phân đoạn hình ảnh tương tác, hãy xem mã ví dụ.
Xử lý và hiện kết quả
Kết quả đầu ra cho Trình phân đoạn hình ảnh tương tác là danh sách dữ liệu Image và có thể
bao gồm mặt nạ danh mục, mặt nạ bảo mật hoặc cả hai, tuỳ thuộc vào chế độ bạn đặt
khi bạn định cấu hình tác vụ. Nếu bạn đặt
output_category_mask đến True, kết quả đầu ra là danh sách chứa một
mặt nạ được phân đoạn dưới dạng hình ảnh uint8. Giá trị pixel cho biết liệu đây có phải là một phần của
đối tượng tại khu vực quan tâm. chỉ mục danh mục được công nhận của hình ảnh đầu vào. Nếu
bạn đặt output_confidence_masks thành True, kết quả đầu ra là danh sách các kênh
có chứa các giá trị pixel trong phạm vi [0,1] thể hiện độ tin cậy
điểm của điểm ảnh thuộc về đối tượng tại khu vực quan tâm.
Các phần sau đây sẽ giải thích thêm về dữ liệu đầu ra của tác vụ này:
Mặt nạ danh mục
Các hình ảnh sau đây minh hoạ kết quả đầu ra của tác vụ cho một danh mục
mặt nạ giá trị có cho biết khu vực quan tâm. Mỗi pixel là một uint8
giá trị cho biết liệu pixel có phải là một phần của đối tượng nằm tại khu vực
mối quan tâm. Vòng tròn đen trắng trên hình ảnh thứ hai cho biết
lĩnh vực quan tâm.
Đầu ra mặt nạ danh mục và hình ảnh gốc. Hình ảnh nguồn từ Pascal VOC 2012 tập dữ liệu.
Mặt nạ tin cậy
Kết quả của một mặt nạ tin cậy chứa các giá trị số thực có độ chính xác đơn giữa [0, 1] cho
từng kênh nhập hình ảnh. Giá trị càng cao thì độ tin cậy càng cao
pixel hình ảnh là một phần của đối tượng nằm tại khu vực quan tâm.