คู่มือการแบ่งกลุ่มรูปภาพแบบอินเทอร์แอกทีฟสำหรับ Python

งานเครื่องมือแบ่งกลุ่มรูปภาพแบบอินเทอร์แอกทีฟ MediaPipe จะใช้ตำแหน่งในรูปภาพ ซึ่งเป็นการประมาณขอบเขตของ ของออบเจ็กต์ที่ตำแหน่งนั้น และแสดงการแบ่งกลุ่มของออบเจ็กต์เป็นรูปภาพ คำแนะนำเหล่านี้จะแสดงวิธีใช้ตัวจัดกลุ่มรูปภาพแบบอินเทอร์แอกทีฟกับ Python ภาษา สำหรับข้อมูลเพิ่มเติมเกี่ยวกับความสามารถ โมเดล และการกำหนดค่า ตัวเลือกของงานนี้ โปรดดูภาพรวม

ตัวอย่างโค้ด

โค้ดตัวอย่างสำหรับตัวจัดกลุ่มภาพเชิงโต้ตอบช่วยให้การปรับใช้ในเรื่องนี้ได้อย่างสมบูรณ์ ใน Python เพื่อใช้เป็นข้อมูลอ้างอิง โค้ดนี้จะช่วยคุณทดสอบงานนี้และรับ เริ่มจากการสร้างแอปพลิเคชันแบ่งกลุ่มรูปภาพแบบอินเทอร์แอกทีฟ คุณสามารถ ดู เรียกใช้ และแก้ไขตัวจัดกลุ่มรูปภาพแบบอินเทอร์แอกทีฟ โค้ดตัวอย่าง โดยใช้แค่เว็บเบราว์เซอร์

ตั้งค่า

ส่วนนี้จะอธิบายขั้นตอนสำคัญในการตั้งค่าสภาพแวดล้อมในการพัฒนาซอฟต์แวร์ และ เพื่อใช้การแบ่งกลุ่มภาพเชิงโต้ตอบโดยเฉพาะ สำหรับข้อมูลทั่วไปเกี่ยวกับ การตั้งค่าสภาพแวดล้อมในการพัฒนาซอฟต์แวร์ของคุณสำหรับการใช้งาน MediaPipe ซึ่งรวมถึง โปรดดูข้อกำหนดเวอร์ชันของแพลตฟอร์ม คู่มือการตั้งค่าสำหรับ Python คุณตรวจสอบซอร์สโค้ดสำหรับตัวอย่างนี้ได้ใน GitHub

แพ็กเกจ

งานเครื่องมือแบ่งกลุ่มรูปภาพแบบอินเทอร์แอกทีฟของ MediaPipe ต้องการแพ็กเกจ mediapipe คุณสามารถติดตั้ง ทรัพยากร Dependency ที่จำเป็นโดยใช้คำสั่งต่อไปนี้

$ python -m pip install mediapipe

การนำเข้า

นำเข้าคลาสต่อไปนี้เพื่อเข้าถึงฟังก์ชันงานของเครื่องมือแบ่งกลุ่มรูปภาพแบบอินเทอร์แอกทีฟ

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

รุ่น

งานเครื่องมือแบ่งกลุ่มรูปภาพแบบอินเทอร์แอกทีฟ MediaPipe ต้องใช้โมเดลที่ผ่านการฝึก ซึ่งสามารถทำงานร่วมกับฟังก์ชันดังกล่าว งาน สำหรับข้อมูลเพิ่มเติมเกี่ยวกับโมเดลที่ผ่านการฝึกที่ใช้ได้สำหรับเครื่องมือแบ่งกลุ่มรูปภาพแบบอินเทอร์แอกทีฟ โปรดดู ส่วนโมเดลภาพรวมงาน

เลือกและดาวน์โหลดโมเดล จากนั้นเก็บโมเดลไว้ในไดเรกทอรีโปรเจ็กต์ของคุณ:

model_path = '/absolute/path/to/model.tflite'

ระบุเส้นทางของโมเดลภายในพารามิเตอร์ model_asset_path ตามที่แสดง ด้านล่าง

base_options = BaseOptions(model_asset_path=model_path)

สร้างงาน

งานเครื่องมือแบ่งกลุ่มรูปภาพแบบอินเทอร์แอกทีฟของ MediaPipe ใช้ฟังก์ชัน create_from_options เพื่อ ตั้งค่างาน ฟังก์ชัน create_from_options ยอมรับค่า เพื่อจัดการกับตัวเลือกการกำหนดค่า ดูข้อมูลเพิ่มเติมเกี่ยวกับการกำหนดค่า โปรดดูตัวเลือกที่หัวข้อตัวเลือกการกำหนดค่า โค้ดต่อไปนี้แสดงวิธีสร้างและกำหนดค่างานนี้

BaseOptions = mp.tasks.BaseOptions
InteractiveSegmenter = mp.tasks.vision.InteractiveSegmenter
InteractiveSegmenterOptions = mp.tasks.vision.InteractiveSegmenterOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a image segmenter instance with the image mode:
options = InteractiveSegmenterOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.IMAGE,
    output_type=InteractiveSegmenterOptions.OutputType.CATEGORY_MASK)
with InteractiveSegmenter.create_from_options(options) as segmenter:
# segmenter is initialized and ready to use

ตัวเลือกการกำหนดค่า

งานนี้มีตัวเลือกการกำหนดค่าต่อไปนี้สำหรับแอปพลิเคชัน Python

เตรียมข้อมูล

ให้เตรียมอินพุตเป็นไฟล์รูปภาพหรืออาร์เรย์แบบตัวเลข จากนั้นแปลงเป็นออบเจ็กต์ mediapipe.Image

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)

RegionOfInterest = vision.InteractiveSegmenterRegionOfInterest
# Perform image segmentation on the provided single image.
# The image segmenter must be created with the image mode.
roi = RegionOfInterest(format=RegionOfInterest.Format.KEYPOINT,
                          keypoint=NormalizedKeypoint(x, y))
segmented_masks = segmenter.segment(mp_image, roi)

สำหรับตัวอย่างที่สมบูรณ์ยิ่งขึ้นของการเรียกใช้การอนุมานเครื่องมือแบ่งกลุ่มรูปภาพแบบอินเทอร์แอกทีฟ โปรดดู ตัวอย่างโค้ด

จัดการและแสดงผลลัพธ์

ผลลัพธ์สำหรับเครื่องมือแบ่งกลุ่มรูปภาพแบบอินเทอร์แอกทีฟเป็นรายการของข้อมูล Image และอาจ รวมมาสก์หมวดหมู่ มาสก์ความเชื่อมั่น หรือทั้ง 2 อย่าง ทั้งนี้ขึ้นอยู่กับสิ่งที่คุณตั้งค่า เมื่อกำหนดค่างาน หากตั้งค่าไว้ output_category_mask ถึง True เอาต์พุตจะเป็นลิสต์ที่มีซิงเกิล มาสก์ที่แบ่งกลุ่มเป็นรูปภาพ uint8 ค่าพิกเซลระบุว่าเป็นส่วนหนึ่งของ บริเวณที่สนใจ ดัชนีหมวดหมู่ที่รู้จักของรูปภาพอินพุต ถ้า คุณตั้งค่า output_confidence_masks เป็น True เอาต์พุตจะเป็นรายการช่อง ที่มีค่าพิกเซลภายในช่วง [0,1] ที่แสดงถึงความเชื่อมั่น คะแนนของพิกเซลที่เป็นของวัตถุในพื้นที่ที่สนใจ

ส่วนต่อไปนี้จะอธิบายเพิ่มเติมถึงข้อมูลเอาต์พุตจากงานนี้

มาสก์หมวดหมู่

รูปภาพต่อไปนี้แสดงภาพเอาต์พุตงานสำหรับหมวดหมู่ มาสก์ค่าที่มีการระบุจุดที่น่าสนใจ แต่ละพิกเซลคือ uint8 ที่ระบุว่าพิกเซลเป็นส่วนหนึ่งของวัตถุที่อยู่ในพื้นที่ของ ความสนใจ วงกลมสีขาวดำในรูปภาพที่ 2 ระบุถึงรูปภาพที่เลือก สถานที่ที่สนใจ

ผลลัพธ์มาสก์รูปภาพและหมวดหมู่ต้นฉบับ แหล่งที่มาของรูปภาพจาก VOC ของ Pascal ปี 2012 ชุดข้อมูล

หน้ากากเสริมความมั่นใจ

เอาต์พุตสำหรับมาสก์ความเชื่อมั่นมีค่าแบบลอยระหว่าง [0, 1] สำหรับ ในแต่ละช่องทางป้อนภาพ ค่าที่สูงขึ้นแสดงถึงความเชื่อมั่นที่สูงขึ้นว่า พิกเซลภาพเป็นส่วนหนึ่งของวัตถุที่อยู่บริเวณที่สนใจ