Hướng dẫn nhúng hình ảnh cho Python

Nhiệm vụ Trình nhúng hình ảnh MediaPipe cho phép bạn chuyển đổi dữ liệu hình ảnh thành một giá trị biểu diễn dạng số để hoàn thành các nhiệm vụ xử lý hình ảnh liên quan đến học máy, chẳng hạn như so sánh mức độ tương đồng của 2 hình ảnh. Các hướng dẫn này cho bạn biết cách sử dụng Trình nhúng hình ảnh bằng Python.

Để biết thêm thông tin về các tính năng, mô hình và lựa chọn cấu hình của nhiệm vụ này, hãy xem phần Tổng quan.

Ví dụ về mã

Mã ví dụ cho Image Embeddedder (Trình nhúng hình ảnh) cung cấp cách triển khai đầy đủ của tác vụ này trong Python để bạn tham khảo. Mã này giúp bạn kiểm thử công việc này và bắt đầu tạo trình nhúng hình ảnh của riêng mình. Bạn có thể xem, chạy và chỉnh sửa mã mẫu Trình nhúng hình ảnh chỉ bằng trình duyệt web với Google Colab. Bạn có thể xem mã nguồn cho ví dụ này trên GitHub.

Thiết lập

Phần này mô tả các bước chính để thiết lập môi trường phát triển và lập trình cho các dự án dành riêng cho việc sử dụng Trình nhúng hình ảnh. Để biết thông tin chung về cách thiết lập môi trường phát triển nhằm sử dụng các tác vụ của MediaPipe, bao gồm cả các yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập dành cho Python.

Gói

Trình nhúng hình ảnh tác vụ cho gói pip mediapipe. Bạn có thể cài đặt phần phụ thuộc bằng các đoạn mã sau:

$ python -m pip install mediapipe

Nhập

Nhập các lớp sau để truy cập vào các chức năng tác vụ của Trình nhúng hình ảnh:

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

Mẫu

Tác vụ Trình nhúng hình ảnh MediaPipe cần có một mô hình đã qua huấn luyện tương thích với tác vụ này. Để biết thêm thông tin về các mô hình đã huấn luyện hiện có cho Trình nhúng hình ảnh, hãy xem phần Mô hình tổng quan về tác vụ.

Chọn và tải một mô hình xuống rồi lưu trữ trong thư mục cục bộ. Bạn có thể dùng kiểu MobileNetV3 được đề xuất.

model_path = '/absolute/path/to/mobilenet_v3_small_075_224_embedder.tflite'

Chỉ định đường dẫn của mô hình trong tham số model_asset_path như dưới đây:

base_options = BaseOptions(model_asset_path=model_path)

Tạo việc cần làm

Bạn có thể dùng hàm create_from_options để tạo việc cần làm. Hàm create_from_options chấp nhận các tuỳ chọn cấu hình để đặt các tuỳ chọn của trình nhúng. Để biết thêm thông tin về các lựa chọn cấu hình, hãy xem phần Tổng quan về cấu hình.

Tác vụ Trình nhúng hình ảnh hỗ trợ 3 loại dữ liệu đầu vào: hình ảnh tĩnh, tệp video và luồng video trực tiếp. Chọn thẻ tương ứng với loại dữ liệu đầu vào của bạn để xem cách tạo tác vụ và chạy suy luận.

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
ImageEmbedder = mp.tasks.vision.ImageEmbedder
ImageEmbedderOptions = mp.tasks.vision.ImageEmbedderOptions
VisionRunningMode = mp.tasks.vision.RunningMode

options = ImageEmbedderOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    quantize=True,
    running_mode=VisionRunningMode.IMAGE)

with ImageEmbedder.create_from_options(options) as embedder:
  # The embedder is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
ImageEmbedder = mp.tasks.vision.ImageEmbedder
ImageEmbedderOptions = mp.tasks.vision.ImageEmbedderOptions
VisionRunningMode = mp.tasks.vision.RunningMode

options = ImageEmbedderOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    quantize=True,
    running_mode=VisionRunningMode.VIDEO)

with ImageEmbedder.create_from_options(options) as embedder:
  # The embedder is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
ImageEmbedderResult = mp.tasks.vision.ImageEmbedder.ImageEmbedderResult
ImageEmbedder = mp.tasks.vision.ImageEmbedder
ImageEmbedderOptions = mp.tasks.vision.ImageEmbedderOptions
VisionRunningMode = mp.tasks.vision.RunningMode

def print_result(result: ImageEmbedderResult, output_image: mp.Image, timestamp_ms: int):
    print('ImageEmbedderResult result: {}'.format(result))

options = ImageEmbedderOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    running_mode=VisionRunningMode.LIVE_STREAM,
    quantize=True,
    result_callback=print_result)

with ImageEmbedder.create_from_options(options) as embedder:
  # The embedder is initialized. Use it here.
  # ...
    

Các lựa chọn về cấu hình

Tác vụ này có các lựa chọn cấu hình sau đây cho các ứng dụng Python:

Chuẩn bị dữ liệu

Chuẩn bị dữ liệu đầu vào dưới dạng tệp hình ảnh hoặc mảng numpy, sau đó chuyển đổi dữ liệu đó thành đối tượng mediapipe.Image. Nếu dữ liệu đầu vào là tệp video hoặc sự kiện phát trực tiếp từ webcam, bạn có thể sử dụng thư viện bên ngoài như OpenCV để tải khung hình đầu vào dưới dạng mảng numpy.

import mediapipe as mp

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to load the input video.

# Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS
# You’ll need it to calculate the timestamp for each frame.

# Loop through each frame in the video using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to start capturing from the webcam.

# Create a loop to read the latest frame from the camera using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

Chạy tác vụ

Bạn có thể gọi hàm nhúng tương ứng với chế độ đang chạy để kích hoạt dự đoán. API Image Embeddedder sẽ trả về các vectơ nhúng cho hình ảnh hoặc khung đầu vào.

# Perform image embedding on the provided single image.
embedding_result = embedder.embed(mp_image)
    

# Calculate the timestamp of the current frame
frame_timestamp_ms = 1000 * frame_index / video_file_fps

# Perform image embedding on the video frame.
embedding_result = embedder.embed_for_video(mp_image, frame_timestamp_ms)
    

# Send the latest frame to perform image embedding.
# Results are sent to the `result_callback` provided in the `ImageEmbedderOptions`.
embedder.embed_async(mp_image, frame_timestamp_ms)
    

Xin lưu ý những điều sau:

• Khi chạy ở chế độ video hoặc chế độ phát trực tiếp, bạn cũng phải cung cấp cho tác vụ Trình nhúng hình ảnh dấu thời gian của khung nhập.
• Khi chạy trong hình ảnh hoặc mô hình video, tác vụ Trình nhúng hình ảnh sẽ chặn luồng hiện tại cho đến khi xử lý xong hình ảnh hoặc khung đầu vào.
• Khi chạy ở chế độ phát trực tiếp, tác vụ Trình nhúng hình ảnh không chặn luồng hiện tại mà sẽ trả về ngay lập tức. Hàm này sẽ gọi trình nghe kết quả cùng với kết quả nhúng mỗi khi xử lý xong một khung đầu vào. Nếu hàm embedAsync được gọi khi tác vụ Trình nhúng hình ảnh đang bận xử lý một khung khác, thì tác vụ đó sẽ bỏ qua khung đầu vào mới.

Xử lý và hiển thị kết quả

Sau khi chạy dự đoán, tác vụ Trình nhúng hình ảnh sẽ trả về một đối tượng ImageEmbedderResult chứa danh sách các danh mục có thể có cho các đối tượng trong hình ảnh hoặc khung đầu vào.

Sau đây là ví dụ về dữ liệu đầu ra của nhiệm vụ này:

ImageEmbedderResult:
  Embedding #0 (sole embedding head):
    float_embedding: {0.0, 0.0, ..., 0.0, 1.0, 0.0, 0.0, 2.0}
    head_index: 0

Kết quả này thu được bằng cách nhúng hình ảnh sau:

Bạn có thể so sánh điểm tương đồng của 2 phương thức nhúng bằng cách sử dụng hàm ImageEmbedder.cosine_similarity. Hãy xem mã ví dụ sau đây.

# Compute cosine similarity.
similarity = ImageEmbedder.cosine_similarity(
  embedding_result.embeddings[0],
  other_embedding_result.embeddings[0])