Python के लिए फ़ेस लैंडमार्क की पहचान करने वाली गाइड

MediaPipe फ़ेस लैंडमार्कर टास्क की मदद से, चेहरे के लैंडमार्क और चेहरे के हाव-भाव इमेज और वीडियो. इस टास्क का इस्तेमाल करके, इंसानों के चेहरे के हाव-भाव की पहचान की जा सकती है साथ ही, वर्चुअल अवतार बनाने के लिए चेहरे के फ़िल्टर और इफ़ेक्ट इस्तेमाल करें. यह टास्क, मशीन लर्निंग (एमएल) के मॉडल, जो किसी एक इमेज या लगातार चलने वाली इमेज के साथ काम कर सकते हैं में से उसी को चुनने के लिए कहें. टास्क से चेहरे के 3-डाइमेंशन वाले लैंडमार्क, ब्लेंडशेप मिलते हैं चेहरे की बारीकियों का पता लगाने के लिए स्कोर (चेहरे के हाव-भाव दिखाने वाले गुणांक) रीयल टाइम में सर्फ़ेसेस और रूपांतरण आव्यूहों का इस्तेमाल करके इफ़ेक्ट रेंडर करने के लिए ज़रूरी ट्रांसफ़ॉर्मेशन.

इन निर्देशों में बताया गया कोड सैंपल यहां उपलब्ध है GitHub. क्षमताओं, मॉडल, और कॉन्फ़िगरेशन के विकल्पों के बारे में ज़्यादा जानकारी पाने के लिए इस टास्क की खास जानकारी देखें.

कोड का उदाहरण

फ़ेस लैंडमार्कर के लिए दिए गए उदाहरण में, इसे पूरी तरह लागू करने की सुविधा है Python में आज़माएं. यह कोड, इस टास्क की जांच करने और यह पाने में आपकी मदद करता है ने अपना फ़ेस लैंडमार्कर बनाना शुरू किया. आपके पास को देखने, चलाने, और बदलाव करने का विकल्प है फ़ेस लैंडमार्कर का उदाहरण कोड बस अपने वेब ब्राउज़र का इस्तेमाल करके.

अगर आप Raspberry Pi के लिए फ़ेस लैंडमार्कर इस्तेमाल कर रहे हैं, तो Raspberry Pi का उदाहरण ऐप्लिकेशन है.

सेटअप

इस सेक्शन में, आपके डेवलपमेंट एनवायरमेंट को सेट अप करने और फ़ेस लैंडमार्कर का इस्तेमाल करने के लिए कोड प्रोजेक्ट बनाते हैं. इस पर सामान्य जानकारी के लिए MediaPipe के टास्क इस्तेमाल करने के लिए डेवलपमेंट एनवायरमेंट सेट अप करना. इसमें ये भी शामिल हैं प्लैटफ़ॉर्म वर्शन की ज़रूरी शर्तें, Google के सभी प्रॉडक्ट के लिए सेटअप गाइड Python.

पैकेज

MediaPipe फ़ेस लैंडमार्कर टास्क के लिए, Mediaपाइप PyPI पैकेज की ज़रूरत होती है. आप इंस्टॉल कर सकते हैं और इन डिपेंडेंसी को नीचे दिए गए निर्देशों के साथ इंपोर्ट करें:

$ python -m pip install mediapipe

आयात

फ़ेस लैंडमार्कर के टास्क फ़ंक्शन ऐक्सेस करने के लिए, इन क्लास को इंपोर्ट करें:

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

मॉडल

MediaPipe Face लैंडमार्कर टास्क के लिए, एक प्रशिक्षित मॉडल की ज़रूरत होती है, जो इस सुविधा के साथ काम कर सके टास्क. फ़ेस लैंडमार्कर के लिए ट्रेन किए गए मॉडल के बारे में ज़्यादा जानकारी के लिए, देखें टास्क की खास जानकारी मॉडल सेक्शन.

मॉडल को चुनें और डाउनलोड करें, और फिर उसे लोकल डायरेक्ट्री में स्टोर करें:

model_path = '/absolute/path/to/face_landmarker.task'

इसका पाथ बताने के लिए, BaseOptions ऑब्जेक्ट model_asset_path पैरामीटर का इस्तेमाल करें तो उसके बारे में बताएँ. कोड के उदाहरण के लिए, अगला सेक्शन देखें.

टास्क बनाएं

MediaPipe फ़ेस लैंडमार्कर टास्क, create_from_options फ़ंक्शन का इस्तेमाल करके टास्क. create_from_options फ़ंक्शन, कॉन्फ़िगरेशन के लिए वैल्यू स्वीकार करता है को मैनेज करने के विकल्प होते हैं. कॉन्फ़िगरेशन के विकल्पों के बारे में ज़्यादा जानकारी पाने के लिए, यहां जाएं कॉन्फ़िगरेशन के विकल्प.

नीचे दिया गया कोड इस टास्क को बनाने और कॉन्फ़िगर करने का तरीका बताता है.

ये सैंपल, इमेज के लिए अलग-अलग तरह के टास्क बनाते हैं, और लाइव स्ट्रीम.

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
FaceLandmarker = mp.tasks.vision.FaceLandmarker
FaceLandmarkerOptions = mp.tasks.vision.FaceLandmarkerOptions
VisionRunningMode = mp.tasks.vision.RunningMode

options = FaceLandmarkerOptions(
    base_options=BaseOptions(model_asset_path=model_path),
    running_mode=VisionRunningMode.IMAGE)

with FaceLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
FaceLandmarker = mp.tasks.vision.FaceLandmarker
FaceLandmarkerOptions = mp.tasks.vision.FaceLandmarkerOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a face landmarker instance with the video mode:
options = FaceLandmarkerOptions(
    base_options=BaseOptions(model_asset_path=model_path),
    running_mode=VisionRunningMode.VIDEO)

with FaceLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
FaceLandmarker = mp.tasks.vision.FaceLandmarker
FaceLandmarkerOptions = mp.tasks.vision.FaceLandmarkerOptions
FaceLandmarkerResult = mp.tasks.vision.FaceLandmarkerResult
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a face landmarker instance with the live stream mode:
def print_result(result: FaceLandmarkerResult, output_image: mp.Image, timestamp_ms: int):
    print('face landmarker result: {}'.format(result))

options = FaceLandmarkerOptions(
    base_options=BaseOptions(model_asset_path=model_path),
    running_mode=VisionRunningMode.LIVE_STREAM,
    result_callback=print_result)

with FaceLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

इमेज के साथ इस्तेमाल करने के लिए फ़ेस लैंडमार्कर बनाने का पूरा उदाहरण देखने के लिए, देखें कोड उदाहरण के लिए.

कॉन्फ़िगरेशन विकल्प

इस टास्क में Python ऐप्लिकेशन के लिए, ये कॉन्फ़िगरेशन विकल्प मौजूद हैं:

डेटा तैयार करें

अपना इनपुट, इमेज फ़ाइल या नंपी अरे के तौर पर तैयार करें. इसके बाद, mediapipe.Image ऑब्जेक्ट. अगर आपका इनपुट किसी वीडियो फ़ाइल या लाइव स्ट्रीम के लिए है, वेबकैम से, आप एक बाहरी लाइब्रेरी का इस्तेमाल कर सकते हैं, जैसे कि अपने इनपुट फ़्रेम को numpy के तौर पर लोड करने के लिए OpenCV कलेक्शन.

import mediapipe as mp

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to load the input video.

# Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS
# You’ll need it to calculate the timestamp for each frame.

# Loop through each frame in the video using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to start capturing from the webcam.

# Create a loop to read the latest frame from the camera using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

टास्क को पूरा करें

फ़ेस लैंडमार्कर, detect, detect_for_video, और detect_async का इस्तेमाल करता है फ़ंक्शन का इस्तेमाल करता है. चेहरे को लैंडमार्क बनाने के लिए, इसमें ये शामिल हैं इनपुट डेटा की प्री-प्रोसेसिंग और इमेज में चेहरों का पता लगाने की सुविधा.

नीचे दिया गया कोड बताता है कि टास्क की मदद से प्रोसेसिंग कैसे की जाए मॉडल.

# Perform face landmarking on the provided single image.
# The face landmarker must be created with the image mode.
face_landmarker_result = landmarker.detect(mp_image)
    

# Perform face landmarking on the provided single image.
# The face landmarker must be created with the video mode.
face_landmarker_result = landmarker.detect_for_video(mp_image, frame_timestamp_ms)
    

# Send live image data to perform face landmarking.
# The results are accessible via the `result_callback` provided in
# the `FaceLandmarkerOptions` object.
# The face landmarker must be created with the live stream mode.
landmarker.detect_async(mp_image, frame_timestamp_ms)
    

निम्न पर ध्यान दें:

• वीडियो मोड या लाइव स्ट्रीम मोड में चलाते समय, यह भी बताएं कि फ़ेस लैंडमार्कर टास्क, इनपुट फ़्रेम के टाइमस्टैंप के साथ होता है.
• इमेज या वीडियो मॉडल में इस्तेमाल करते समय, 'फ़ेस लैंडमार्कर' टास्क ब्लॉक हो जाता है मौजूदा थ्रेड को तब तक सबमिट नहीं किया जाता, जब तक कि इनपुट इमेज या फ़्रेम की प्रोसेसिंग पूरी नहीं हो जाती.
• लाइव स्ट्रीम मोड में चलाते समय, 'फ़ेस लैंडमार्कर' टास्क वापस आ जाता है तुरंत और मौजूदा थ्रेड को ब्लॉक नहीं करता. इससे नतीजा आएगा हर बार जानकारी प्रोसेस करने के बाद, लिसनर को हर बार इनपुट फ़्रेम. अगर फ़ेस लैंडमार्कर टास्क करते समय, पहचान करने वाले फ़ंक्शन को कॉल किया जाता है दूसरा फ़्रेम प्रोसेस करने में व्यस्त है, तो टास्क नए इनपुट फ़्रेम को अनदेखा कर देगा.

किसी इमेज पर फ़ेस लैंडमार्कर चलाने का पूरा उदाहरण देखने के लिए, कोड देखें उदाहरण के लिए देखें.

नतीजों को हैंडल करना और दिखाना

फ़ेस लैंडमार्कर हर बार की जाने वाली पहचान के लिए, एक FaceLandmarkerResult ऑब्जेक्ट दिखाता है दौड़ना. नतीजे के ऑब्जेक्ट में, पहचाने गए हर चेहरे के लिए एक फ़ेस मेश होता है हर लैंडमार्क के लिए निर्देशांक तय करता है. विकल्प के तौर पर, रिज़ल्ट ऑब्जेक्ट भी ये काम कर सकता है इसमें ब्लेंड साइज़ होते हैं, जो चेहरे के हाव-भाव दिखाते हैं. साथ ही, इसमें चेहरे के ट्रांसफ़ॉर्मेशन मैट्रिक्स. इसका इस्तेमाल, उन लैंडमार्क पर चेहरे के इफ़ेक्ट लागू करने के लिए किया जाता है जिनका पता लगाया गया है.

इस टास्क के आउटपुट डेटा का एक उदाहरण नीचे दिया गया है:

FaceLandmarkerResult:
  face_landmarks:
    NormalizedLandmark #0:
      x: 0.5971359014511108
      y: 0.485361784696579
      z: -0.038440968841314316
    NormalizedLandmark #1:
      x: 0.3302789330482483
      y: 0.29289937019348145
      z: -0.09489090740680695
    ... (478 landmarks for each face)
  face_blendshapes:
    browDownLeft: 0.8296722769737244
    browDownRight: 0.8096957206726074
    browInnerUp: 0.00035583582939580083
    browOuterUpLeft: 0.00035752105759456754
    ... (52 blendshapes for each face)
  facial_transformation_matrixes:
    [9.99158978e-01, -1.23036895e-02, 3.91213447e-02, -3.70770246e-01]
    [1.66496094e-02,  9.93480563e-01, -1.12779640e-01, 2.27719707e+01]
    ...

नीचे दी गई इमेज, टास्क के आउटपुट का विज़ुअलाइज़ेशन दिखाती है:

फ़ेस लैंडमार्कर का उदाहरण कोड, नतीजों को दिखाने का तरीका बताता है टास्क से बाहर निकलने के लिए कोड देखें उदाहरण के लिए देखें.