Hướng dẫn về phân đoạn hình ảnh

Nhiệm vụ của Trình phân đoạn hình ảnh MediaPipe cho phép bạn chia hình ảnh thành các vùng dựa trên danh mục. Bạn có thể dùng chức năng này để xác định những đối tượng hoặc hoạ tiết rồi áp dụng hiệu ứng hình ảnh như làm mờ nền. Việc cần làm này bao gồm một số mô hình được huấn luyện đặc biệt để phân khúc người dùng và trong dữ liệu hình ảnh, bao gồm:

• Người và phông nền
• Chỉ tóc của người
• Mái tóc, khuôn mặt, da, quần áo và phụ kiện của người

Nhiệm vụ này hoạt động dựa trên dữ liệu hình ảnh bằng mô hình học máy (ML) với một hình ảnh hoặc luồng video liên tục. Công cụ này đưa ra danh sách các khu vực được phân đoạn, thể hiện các đối tượng hoặc vùng trong một hình ảnh, tuỳ thuộc vào mô hình bạn chọn.

Hãy trải nghiệm thử!arrow_forward

Bắt đầu

Bắt đầu sử dụng tác vụ này bằng cách làm theo một trong những hướng dẫn triển khai sau cho nền tảng mục tiêu. Những hướng dẫn dành riêng cho nền tảng này sẽ hướng dẫn bạn từng bước việc triển khai tác vụ này, bao gồm mô hình được đề xuất và ví dụ về mã với các lựa chọn cấu hình được đề xuất:

• Android – Mã ví dụ – Hướng dẫn
• Python – Ví dụ về mã Hướng dẫn
• Web – Mã ví dụ – Hướng dẫn

Thông tin chi tiết về việc cần làm

Phần này mô tả các chức năng, dữ liệu đầu vào, đầu ra và cấu hình các tuỳ chọn của nhiệm vụ này.

Tính năng

• Xử lý hình ảnh đầu vào – Quá trình xử lý bao gồm xoay, đổi kích thước hình ảnh, chuẩn hoá và chuyển đổi hệ màu.

Tuỳ chọn cấu hình

Tác vụ này có các lựa chọn cấu hình sau:

Mô hình

Bạn có thể sử dụng Trình phân đoạn hình ảnh với nhiều mô hình học máy. Hầu hết các yêu cầu sau các mô hình phân đoạn được xây dựng và huấn luyện để thực hiện phân đoạn bằng hình ảnh của người. Tuy nhiên, mô hình DeepLab-v3 được xây dựng dưới dạng một mã tổng quát trình phân đoạn hình ảnh mục đích. Chọn mô hình phù hợp nhất với ứng dụng của bạn.

Mô hình phân đoạn ảnh chân dung tự chụp

Mô hình này có thể phân đoạn ảnh chân dung của người dùng và có thể được dùng để thay thế hoặc sửa đổi nền trong một hình ảnh. Mô hình này đưa ra 2 danh mục, nền ở chỉ mục 0 và người ở chỉ mục 1. Mô hình này có các phiên bản có hình dạng đầu vào khác nhau bao gồm phiên bản hình vuông và phiên bản ngang có thể hiệu quả hơn cho các ứng dụng mà đầu vào luôn có dạng đó, chẳng hạn như cuộc gọi video.

Mô hình phân đoạn tóc

Người mẫu này chụp ảnh một người, xác định vị trí tóc trên đầu và cho ra bản đồ phân đoạn hình ảnh cho kiểu tóc của họ. Bạn có thể sử dụng mô hình này cho nhuộm lại tóc hoặc áp dụng các hiệu ứng khác cho tóc. Mô hình cho ra những kết quả sau: danh mục phân khúc:

0 - background
1 - hair

Mô hình phân đoạn ảnh chân dung tự chụp đa lớp

Mô hình này chụp ảnh một người, xác định vị trí của các khu vực như tóc, da và quần áo rồi tạo ra bản đồ phân đoạn hình ảnh cho các mục này. Bạn có thể sử dụng mô hình này để áp dụng nhiều hiệu ứng khác nhau cho mọi người trong hình ảnh hoặc video. Mô hình sẽ đưa ra các danh mục phân đoạn sau:

0 - background
1 - hair
2 - body-skin
3 - face-skin
4 - clothes
5 - others (accessories)

Mô hình DeepLab-v3

Mô hình này xác định các phân đoạn cho một số danh mục, bao gồm nền, người, mèo, chó và cây trồng trong chậu. Mô hình này sử dụng kim tự tháp không gian ngang để thu thập thông tin có phạm vi dài hơn. Để biết thêm thông tin, hãy xem DeepLab-v3.

Điểm chuẩn của việc cần làm

Sau đây là điểm chuẩn cho toàn bộ quy trình dựa trên nội dung được huấn luyện trước ở trên người mẫu. Kết quả về độ trễ là độ trễ trung bình trên Pixel 6 sử dụng CPU / GPU.