คู่มือการแบ่งกลุ่มรูปภาพแบบอินเทอร์แอกทีฟสำหรับ Python

งานเครื่องมือแบ่งส่วนรูปภาพแบบอินเทอร์แอกทีฟของ MediaPipe จะใช้ตำแหน่งในรูปภาพ ประมาณขอบเขตของออบเจ็กต์ ณ ตำแหน่งนั้น และแสดงการแบ่งกลุ่มของออบเจ็กต์ในรูปแบบข้อมูลรูปภาพ วิธีการเหล่านี้จะแสดงวิธีใช้เครื่องมือแบ่งรูปภาพแบบอินเทอร์แอกทีฟกับภาษา Python ดูข้อมูลเพิ่มเติมเกี่ยวกับความสามารถ โมเดล และตัวเลือกการกำหนดค่าของงานนี้ได้ที่ภาพรวม

ตัวอย่างโค้ด

โค้ดตัวอย่างสำหรับตัวแบ่งรูปภาพแบบอินเทอร์แอกทีฟช่วยให้นำงานนี้ไปใช้ใน Python ได้อย่างสมบูรณ์สำหรับการอ้างอิง โค้ดนี้จะช่วยคุณทดสอบงานนี้และเริ่ม สร้างแอปพลิเคชันการแบ่งกลุ่มรูปภาพแบบอินเทอร์แอกทีฟ คุณดู เรียกใช้ และแก้ไขโค้ดตัวอย่างของเครื่องมือแบ่งกลุ่มรูปภาพแบบอินเทอร์แอกทีฟได้โดยใช้เพียงเว็บเบราว์เซอร์

ตั้งค่า

ส่วนนี้จะอธิบายขั้นตอนสำคัญในการตั้งค่าสภาพแวดล้อมการพัฒนาและโปรเจ็กต์โค้ดสำหรับใช้เครื่องมือแบ่งรูปภาพแบบอินเทอร์แอกทีฟโดยเฉพาะ ดูข้อมูลทั่วไปเกี่ยวกับการตั้งค่าสภาพแวดล้อมการพัฒนาเพื่อใช้งาน MediaPipe รวมถึงข้อกำหนดเวอร์ชันแพลตฟอร์มได้ที่คู่มือการตั้งค่าสำหรับ Python คุณตรวจสอบซอร์สโค้ดของตัวอย่างนี้ได้ที่ GitHub

กล่องพัสดุ

งานเครื่องมือแบ่งรูปภาพแบบอินเทอร์แอกทีฟของ MediaPipe ต้องใช้แพ็กเกจ mediapipe คุณติดตั้งทรัพยากร Dependency ที่จำเป็นได้ด้วยคำสั่งต่อไปนี้

$ python -m pip install mediapipe

การนำเข้า

นำเข้าคลาสต่อไปนี้เพื่อเข้าถึงฟังก์ชันงานเครื่องมือแบ่งรูปภาพแบบอินเทอร์แอกทีฟ

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

รุ่น

งานเครื่องมือแบ่งรูปภาพแบบอินเทอร์แอกทีฟของ MediaPipe ต้องใช้โมเดลที่ผ่านการฝึกซึ่งเข้ากันได้กับงานนี้ ดูข้อมูลเพิ่มเติมเกี่ยวกับโมเดลที่ได้รับการฝึกแล้วสำหรับเครื่องมือแบ่งรูปภาพแบบอินเทอร์แอกทีฟ ที่ส่วนภาพรวมงานโมเดล

เลือกและดาวน์โหลดโมเดล แล้วจัดเก็บไว้ในไดเรกทอรีโปรเจ็กต์ โดยทำดังนี้

model_path = '/absolute/path/to/model.tflite'

ระบุเส้นทางของโมเดลภายในพารามิเตอร์ model_asset_path ดังที่แสดงด้านล่าง

base_options = BaseOptions(model_asset_path=model_path)

สร้างงาน

งานเครื่องมือแบ่งส่วนรูปภาพแบบอินเทอร์แอกทีฟของ MediaPipe ใช้ฟังก์ชัน create_from_options เพื่อตั้งค่างาน ฟังก์ชัน create_from_options จะยอมรับค่าสำหรับตัวเลือกการกำหนดค่าที่ต้องจัดการ ดูข้อมูลเพิ่มเติมเกี่ยวกับตัวเลือกการกำหนดค่าได้ที่ตัวเลือกการกำหนดค่า โค้ดต่อไปนี้แสดงวิธีการสร้างและกำหนดค่างานนี้

BaseOptions = mp.tasks.BaseOptions
InteractiveSegmenter = mp.tasks.vision.InteractiveSegmenter
InteractiveSegmenterOptions = mp.tasks.vision.InteractiveSegmenterOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a image segmenter instance with the image mode:
options = InteractiveSegmenterOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.IMAGE,
    output_type=InteractiveSegmenterOptions.OutputType.CATEGORY_MASK)
with InteractiveSegmenter.create_from_options(options) as segmenter:
# segmenter is initialized and ready to use

ตัวเลือกการกำหนดค่า

งานนี้มีตัวเลือกการกำหนดค่าสำหรับแอปพลิเคชัน Python ดังต่อไปนี้

ชื่อตัวเลือก	คำอธิบาย	ช่วงของค่า	ค่าเริ่มต้น
output_category_mask	หากตั้งค่าเป็น True เอาต์พุตจะมีมาสก์การแบ่งกลุ่มเป็นรูปภาพ uint8 ซึ่งค่าพิกเซลแต่ละค่าจะระบุว่าพิกเซลเป็นส่วนหนึ่งของออบเจ็กต์ที่อยู่ในบริเวณที่สนใจหรือไม่	{True, False}	False
output_confidence_masks	หากตั้งค่าเป็น True เอาต์พุตจะมีมาสก์การแบ่งกลุ่มเป็นรูปภาพค่าทศนิยม โดยค่าลอยแต่ละค่าแสดงถึงความเชื่อมั่นที่พิกเซลเป็นส่วนหนึ่งของวัตถุที่อยู่ในบริเวณที่สนใจ	{True, False}	True
display_names_locale	ตั้งค่าภาษาของป้ายกำกับที่จะใช้กับชื่อที่แสดงซึ่งระบุไว้ในข้อมูลเมตาของโมเดลของงาน หากมี ค่าเริ่มต้นคือ en สำหรับภาษาอังกฤษ คุณเพิ่มป้ายกำกับที่แปลเป็นภาษาท้องถิ่นลงในข้อมูลเมตาของโมเดลที่กำหนดเองได้โดยใช้ TensorFlow Lite Metadata Writer API	รหัสภาษา	en

เตรียมข้อมูล

เตรียมอินพุตเป็นไฟล์ภาพหรืออาร์เรย์ตัวเลข แล้วแปลงเป็นออบเจ็กต์ mediapipe.Image

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)

ดูตัวอย่างโค้ดที่แสดงการเตรียมข้อมูลสำหรับเครื่องมือแบ่งรูปภาพแบบอินเทอร์แอกทีฟได้ในตัวอย่างโค้ด

เรียกใช้งาน

เครื่องมือแบ่งกลุ่มรูปภาพแบบอินเทอร์แอกทีฟใช้ฟังก์ชัน segment เพื่อทริกเกอร์การอนุมาน สำหรับการแบ่งกลุ่มรูปภาพ นี่รวมถึงการประมวลผลข้อมูลอินพุตล่วงหน้า การเรียกใช้โมเดลการแบ่งกลุ่ม และการประมวลผลภายหลังของเอาต์พุตโมเดลดิบไปยังมาสก์ที่แบ่งกลุ่ม

ตัวอย่างโค้ดต่อไปนี้แสดงวิธีเรียกใช้การประมวลผลด้วยโมเดลงาน

RegionOfInterest = vision.InteractiveSegmenterRegionOfInterest
# Perform image segmentation on the provided single image.
# The image segmenter must be created with the image mode.
roi = RegionOfInterest(format=RegionOfInterest.Format.KEYPOINT,
                          keypoint=NormalizedKeypoint(x, y))
segmented_masks = segmenter.segment(mp_image, roi)

ดูตัวอย่างที่สมบูรณ์ของการเรียกใช้การอนุมานเครื่องมือแบ่งรูปภาพแบบอินเทอร์แอกทีฟได้จากตัวอย่างโค้ด

แฮนเดิลและแสดงผลลัพธ์

ผลลัพธ์เอาต์พุตสำหรับเครื่องมือแบ่งรูปภาพแบบอินเทอร์แอกทีฟเป็นรายการของข้อมูล Image และอาจรวมมาสก์หมวดหมู่ มาสก์ความเชื่อมั่น หรือทั้ง 2 อย่าง ทั้งนี้ขึ้นอยู่กับสิ่งที่คุณตั้งค่าเมื่อกำหนดค่างาน หากคุณตั้งค่า output_category_mask เป็น True เอาต์พุตจะเป็นรายการที่มีมาสก์กลุ่มเดียวเป็นอิมเมจ uint8 ค่าพิกเซลจะระบุว่าเป็นส่วนหนึ่งของออบเจ็กต์ในพื้นที่ที่สนใจหรือไม่ ดัชนีหมวดหมู่ที่รู้จักของรูปภาพอินพุต หากตั้งค่า output_confidence_masks เป็น True เอาต์พุตจะเป็นรายการแชแนลที่มีค่าพิกเซลอยู่ในช่วง [0,1] ที่แสดงถึงคะแนนความเชื่อมั่นของพิกเซลที่เป็นของออบเจ็กต์ในบริเวณที่สนใจ

ส่วนต่อไปนี้จะอธิบายเพิ่มเติมเกี่ยวกับข้อมูลเอาต์พุตจากงานนี้

มาสก์หมวดหมู่

รูปภาพต่อไปนี้แสดงภาพเอาต์พุตงานสำหรับมาสก์ค่าหมวดหมู่โดยระบุจุดที่น่าสนใจ แต่ละพิกเซลคือค่า uint8 ที่ระบุว่าพิกเซลนั้นเป็นส่วนหนึ่งของวัตถุที่ตั้งอยู่บริเวณที่สนใจหรือไม่ วงกลมสีขาวดำในรูปที่ 2 แสดงถึงส่วนที่สนใจที่เลือกไว้

เอาต์พุตมาสก์รูปภาพและหมวดหมู่ต้นฉบับ รูปภาพต้นฉบับจากชุดข้อมูล Pascal VOC 2012

หน้ากากสร้างความมั่นใจ

เอาต์พุตสำหรับมาสก์ความเชื่อมั่นมีค่าทศนิยมระหว่าง [0, 1] สำหรับแชแนลอินพุตรูปภาพแต่ละช่อง ค่าที่สูงขึ้นบ่งบอกถึงความมั่นใจที่สูงขึ้นว่าพิกเซลภาพเป็นส่วนหนึ่งของวัตถุที่ตั้งอยู่ในบริเวณที่สนใจ