Hướng dẫn về thao tác nhúng hình ảnh

Nhiệm vụ Trình nhúng hình ảnh MediaPipe cho phép bạn tạo một bản trình bày dạng số của hình ảnh. Tính năng này rất hữu ích trong việc hoàn thành nhiều tác vụ hình ảnh dựa trên công nghệ học máy. Chức năng này thường được dùng để so sánh mức độ tương đồng của 2 hình ảnh bằng các kỹ thuật so sánh toán học, chẳng hạn như Độ tương đồng Cosin. Tác vụ này hoạt động trên dữ liệu hình ảnh với mô hình học máy (ML) dưới dạng dữ liệu tĩnh hoặc luồng liên tục, và xuất ra một bản trình bày số của dữ liệu hình ảnh dưới dạng danh sách vectơ tính năng nhiều chiều, còn gọi là vectơ nhúng, ở dạng dấu phẩy động hoặc lượng tử hoá.

Hãy dùng thử!arrow_forward

Bắt đầu

Hãy bắt đầu sử dụng tác vụ này bằng cách làm theo một trong những hướng dẫn triển khai sau cho nền tảng mục tiêu của bạn. Các hướng dẫn dành riêng cho nền tảng này sẽ hướng dẫn bạn cách triển khai cơ bản của tác vụ này, sử dụng mô hình được đề xuất và cung cấp ví dụ về mã cùng với các tùy chọn cấu hình được đề xuất:

• Android – Ví dụ về mã – Hướng dẫn
• Python – Ví dụ về mã – Hướng dẫn
• Web – Ví dụ về mã – Hướng dẫn

Thông tin chi tiết về việc cần làm

Phần này mô tả các tính năng, dữ liệu đầu vào, đầu ra và tuỳ chọn cấu hình của tác vụ này.

Tính năng

• Xử lý hình ảnh đầu vào – Xử lý bao gồm việc xoay hình ảnh, đổi kích thước, chuẩn hoá và chuyển đổi không gian màu.
• Khu vực quan tâm – Thực hiện việc nhúng vào một vùng của hình ảnh thay vì toàn bộ hình ảnh.
• Nhúng phép tính độ tương đồng – Hàm hiệu dụng tích hợp sẵn để tính độ tương đồng cos giữa hai vectơ đặc trưng
• Lượng tử hoá – Hỗ trợ lượng tử vô hướng cho các vectơ đối tượng.

Lựa chọn về cấu hình

Tác vụ này có các chế độ cấu hình sau:

Mô hình

Trình nhúng hình ảnh yêu cầu bạn tải xuống và lưu trữ mô hình nhúng hình ảnh trong thư mục dự án. Hãy bắt đầu bằng mô hình mặc định, được đề xuất cho nền tảng mục tiêu của bạn khi bắt đầu phát triển bằng tác vụ này. Các mô hình có sẵn khác thường cân bằng giữa hiệu suất, độ chính xác, độ phân giải và các yêu cầu về tài nguyên và trong một số trường hợp, còn có thêm các tính năng bổ sung.

Mô hình MobileNetV3

Nhóm mô hình này sử dụng kiến trúc MobileNet V3 và được huấn luyện bằng dữ liệu ImageNet. Mô hình này sử dụng hệ số nhân là 0,75 cho độ sâu (số tính năng) trong lớp tích chập để điều chỉnh sự đánh đổi độ trễ chính xác. Ngoài ra, MobileNet V3 có hai kích thước khác nhau, nhỏ và lớn, để điều chỉnh mạng cho các trường hợp sử dụng tài nguyên thấp hoặc cao.

Điểm chuẩn nhiệm vụ

Dưới đây là các điểm chuẩn tác vụ cho toàn bộ quy trình dựa trên các mô hình được huấn luyện trước ở trên. Kết quả về độ trễ là độ trễ trung bình trên Pixel 6 khi sử dụng CPU / GPU.