تتيح لك مهمة أداة التعرّف على إيماءة MediaPipe التعرّف على إيماءات اليد في الوقت الفعلي، وتوفّر نتائج إيماءات اليد المتعرّف عليها ومعالم اليد لليد التي تم التعرّف عليها. توضح لك هذه التعليمات كيفية استخدام أداة التعرّف على الإيماءات مع تطبيقات بايثون.
يمكنك الاطّلاع على هذه المهمة وهي قيد التنفيذ من خلال الاطّلاع على العرض التوضيحي للويب. لمزيد من المعلومات حول الإمكانيات والنماذج وخيارات الضبط لهذه المهمة، يمكنك الاطّلاع على نظرة عامة.
مثال الرمز البرمجي
يوفّر الرمز النموذجي لميزة "التعرّف على الإيماءات" تنفيذًا كاملاً لهذه المهمة في لغة بايثون كمرجع لك. تساعدك هذه التعليمات البرمجية في اختبار هذه المهمة والبدء في إنشاء أداة التعرف على إيماءات اليد الخاصة بك. يمكنك عرض مثال رمز أداة التعرّف على الإيماءات وتشغيله وتعديله باستخدام متصفّح الويب فقط.
في حال تنفيذ ميزة "التعرّف على الإيماءات" لنظام Raspberry Pi، يُرجى الرجوع إلى التطبيق النموذجي لـ Raspberry Pi.
ضبط إعدادات الجهاز
يصف هذا القسم الخطوات الرئيسية لإعداد بيئة التطوير ومشاريع الرموز البرمجية لاستخدام "أداة التعرّف على الإيماءات" تحديدًا. للحصول على معلومات عامة حول إعداد بيئة التطوير لاستخدام مهام MediaPipe، بما في ذلك متطلبات إصدار النظام الأساسي، راجع دليل إعداد Python.
الطرود
تتطلّب مهمة أداة التعرّف على إيماءة MediaPipe حزمة PyPI. يمكنك تثبيت هذه التبعيات واستيرادها باتّباع ما يلي:
$ python -m pip install mediapipe
عمليات الاستيراد
يمكنك استيراد الفئات التالية للوصول إلى وظائف مهمة "أداة التعرّف على الإيماءات":
import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision
الطراز
تتطلّب مهمة أداة التعرّف على إيماءة MediaPipe حزمة نموذج مدرَّبة متوافقة مع هذه المهمة. للحصول على مزيد من المعلومات حول النماذج المدربة المتاحة لميزة "التعرّف على الإيماءات"، يمكنك الاطّلاع على نظرة عامة على المهمة قسم النماذج.
اختَر النموذج ونزِّله، ثم خزِّنه في دليل محلي:
model_path = '/absolute/path/to/gesture_recognizer.task'
حدد مسار النموذج ضمن معلمة اسم النموذج، كما هو موضح أدناه:
base_options = BaseOptions(model_asset_path=model_path)
إنشاء المهمة
تستخدم مهمة أداة التعرّف على إيماءة MediaPipe الوظيفة create_from_options
لإعداد المهمة. تقبل الدالة create_from_options
قيمًا لخيارات الضبط التي يجب معالجتها. لمزيد من المعلومات حول خيارات الضبط، يُرجى الاطّلاع على
خيارات الضبط.
يوضح الرمز التالي كيفية إنشاء هذه المهمة وتكوينها.
تعرض هذه النماذج أيضًا الأشكال المختلفة لإنشاء المهمة للصور وملفات الفيديو وأحداث الفيديو المباشر.
صورة
import mediapipe as mp BaseOptions = mp.tasks.BaseOptions GestureRecognizer = mp.tasks.vision.GestureRecognizer GestureRecognizerOptions = mp.tasks.vision.GestureRecognizerOptions VisionRunningMode = mp.tasks.vision.RunningMode # Create a gesture recognizer instance with the image mode: options = GestureRecognizerOptions( base_options=BaseOptions(model_asset_path='/path/to/model.task'), running_mode=VisionRunningMode.IMAGE) with GestureRecognizer.create_from_options(options) as recognizer: # The detector is initialized. Use it here. # ...
حملة فيديو
import mediapipe as mp BaseOptions = mp.tasks.BaseOptions GestureRecognizer = mp.tasks.vision.GestureRecognizer GestureRecognizerOptions = mp.tasks.vision.GestureRecognizerOptions VisionRunningMode = mp.tasks.vision.RunningMode # Create a gesture recognizer instance with the video mode: options = GestureRecognizerOptions( base_options=BaseOptions(model_asset_path='/path/to/model.task'), running_mode=VisionRunningMode.VIDEO) with GestureRecognizer.create_from_options(options) as recognizer: # The detector is initialized. Use it here. # ...
البث المباشر
import mediapipe as mp BaseOptions = mp.tasks.BaseOptions GestureRecognizer = mp.tasks.vision.GestureRecognizer GestureRecognizerOptions = mp.tasks.vision.GestureRecognizerOptions GestureRecognizerResult = mp.tasks.vision.GestureRecognizerResult VisionRunningMode = mp.tasks.vision.RunningMode # Create a gesture recognizer instance with the live stream mode: def print_result(result: GestureRecognizerResult, output_image: mp.Image, timestamp_ms: int): print('gesture recognition result: {}'.format(result)) options = GestureRecognizerOptions( base_options=BaseOptions(model_asset_path='/path/to/model.task'), running_mode=VisionRunningMode.LIVE_STREAM, result_callback=print_result) with GestureRecognizer.create_from_options(options) as recognizer: # The detector is initialized. Use it here. # ...
خيارات الضبط
تتضمن هذه المهمة خيارات التهيئة التالية لتطبيقات بايثون:
اسم الخيار | الوصف | نطاق القيمة | القيمة التلقائية | |
---|---|---|---|---|
running_mode |
تحدِّد هذه السياسة وضع التشغيل للمهمة. هناك ثلاثة
أوضاع: IMAGE: وضع إدخالات الصورة الفردية. فيديو: وضع لقطات الفيديو التي تم فك ترميزها البث المباشر: وضع بث مباشر لبيانات الإدخال، مثل الكاميرا. في هذا الوضع، يجب استدعاء resultsListener لإعداد أداة معالجة الصوت لكي تتلقى النتائج بشكل غير متزامن. |
{IMAGE, VIDEO, LIVE_STREAM } |
IMAGE |
|
num_hands |
يمكن رصد الحدّ الأقصى لعدد الأيدي من خلال "GestureRecognizer ".
|
Any integer > 0 |
1 |
|
min_hand_detection_confidence |
تمثّل هذه السمة الحد الأدنى لدرجة الثقة ليتم اعتبار رصد اليد ناجحًا في نموذج اكتشاف راحة اليد. | 0.0 - 1.0 |
0.5 |
|
min_hand_presence_confidence |
تمثّل هذه السمة الحد الأدنى لدرجة الثقة لنتيجة تواجد اليد في نموذج رصد معالِم اليد. في وضع الفيديو ووضع البث المباشر في "أداة التعرّف على الإيماءات"، إذا كانت النتيجة الواثقة من تواجد اليد من نموذج المَعلم لليد أقل من هذا الحدّ، سيتم تشغيل نموذج "رصد راحة اليد". وبخلاف ذلك، يتم استخدام خوارزمية تتبُّع بسيطة لليد لتحديد موقع اليد أو الأيدي من أجل رصدها لاحقًا. | 0.0 - 1.0 |
0.5 |
|
min_tracking_confidence |
تمثّل هذه السمة الحد الأدنى لدرجة الثقة ليتم اعتبار تتبُّع اليد ناجحًا. هذا هو الحدّ الأدنى لوحدات وحدات القياس بين الأيدي في الإطار الحالي والإطار الأخير. في وضع الفيديو ووضع البث في "أداة التعرّف على الإيماءات"، إذا تعذّر تتبُّع الإيماءات، ستعمل هذه الميزة على تفعيل ميزة رصد اليد. وبخلاف ذلك، يتم تخطي رصد اليدين. | 0.0 - 1.0 |
0.5 |
|
canned_gestures_classifier_options |
خيارات ضبط سلوك مصنِّف الإيماءات الجاهزة الإيماءات الجاهزة هي ["None", "Closed_Fist", "Open_Palm", "Pointing_Up", "Thumb_Down", "Thumb_Up", "Victory", "ILoveYou"] . |
|
|
|
custom_gestures_classifier_options |
خيارات ضبط سلوك مصنِّف الإيماءات المخصّصة |
|
|
|
result_callback |
يعمل هذا الإعداد على ضبط أداة معالجة النتائج لتلقّي نتائج التصنيف
بشكل غير متزامن عندما يكون أداة التعرّف على الإيماءات في وضع البث المباشر.
لا يمكن استخدام هذا الخيار إلا عند ضبط وضع التشغيل على LIVE_STREAM . |
ResultListener |
لا ينطبق | لا ينطبق |
إعداد البيانات
جهِّز الإدخال كملف صورة أو صفيفة numpy، ثم حوِّلها إلى كائن mediapipe.Image
. إذا كان الإدخال ملف فيديو أو بثًا مباشرًا من كاميرا ويب، يمكنك استخدام مكتبة خارجية مثل OpenCV لتحميل إطارات الإدخال على شكل صفيفات numpy.
صورة
import mediapipe as mp # Load the input image from an image file. mp_image = mp.Image.create_from_file('/path/to/image') # Load the input image from a numpy array. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
حملة فيديو
import mediapipe as mp # Use OpenCV’s VideoCapture to load the input video. # Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS # You’ll need it to calculate the timestamp for each frame. # Loop through each frame in the video using VideoCapture#read() # Convert the frame received from OpenCV to a MediaPipe’s Image object. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
البث المباشر
import mediapipe as mp # Use OpenCV’s VideoCapture to start capturing from the webcam. # Create a loop to read the latest frame from the camera using VideoCapture#read() # Convert the frame received from OpenCV to a MediaPipe’s Image object. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
تنفيذ المهمة
تستخدم "أداة التعرّف على الإيماءات" دوال "التعرف" و" recognized_for_video" و"تعرف_async" على تشغيل الاستنتاجات. بالنسبة إلى التعرف على الإيماءات، فإن ذلك يتضمن المعالجة المسبقة لبيانات الإدخال واكتشاف اليدين في الصورة واكتشاف العلامات المعالم لليد والتعرف على إيماءة اليد من المعالم.
توضح التعليمة البرمجية التالية كيفية تنفيذ المعالجة باستخدام نموذج المهمة.
صورة
# Perform gesture recognition on the provided single image. # The gesture recognizer must be created with the image mode. gesture_recognition_result = recognizer.recognize(mp_image)
حملة فيديو
# Perform gesture recognition on the provided single image. # The gesture recognizer must be created with the video mode. gesture_recognition_result = recognizer.recognize_for_video(mp_image, frame_timestamp_ms)
البث المباشر
# Send live image data to perform gesture recognition. # The results are accessible via the `result_callback` provided in # the `GestureRecognizerOptions` object. # The gesture recognizer must be created with the live stream mode. recognizer.recognize_async(mp_image, frame_timestamp_ms)
يُرجى ملاحظة ما يلي:
- عند التشغيل في وضع الفيديو أو وضع البث المباشر، يجب أيضًا توفير الطابع الزمني لإطار الإدخال في ميزة "أداة التعرّف على الإيماءات".
- عند تشغيل مهمة "أداة التعرّف على الإيماءات" في الصورة أو نموذج الفيديو، ستحظر سلسلة التعليمات الحالية إلى أن تنتهي من معالجة صورة الإدخال أو الإطار.
- عند تفعيل وضع البث المباشر، لا تؤدي مهمة "أداة التعرّف على الإيماءات" إلى حظر سلسلة المحادثات الحالية، بل الرجوع إليها على الفور. وستستدعي أداة الاستماع إلى النتائج مع نتيجة التعرف في كل مرة تنتهي فيها من معالجة إطار الإدخال. إذا تم استدعاء وظيفة التعرف على البيانات عندما تكون مهمة "أداة التعرّف على الإيماءات" مشغولة بمعالجة إطار آخر، ستتجاهل المهمة إطار الإدخال الجديد.
للحصول على مثال كامل عن تشغيل "أداة التعرّف على الإيماءات" على صورة، يمكنك الاطّلاع على مثال الرمز للحصول على التفاصيل.
التعامل مع النتائج وعرضها
تنشئ "أداة التعرّف على الإيماءات" كائن نتيجة لرصد الإيماءات لكل عملية التعرّف على الإيماءات. يحتوي كائن النتيجة على معالم اليد في إحداثيات الصور، ومعالِم لليد في إحداثيات العالم، واليد(اليد اليسرى/اليمنى)، وفئات إيماءات اليد للأيدي التي تم اكتشافها.
ويوضح ما يلي مثالاً على بيانات المخرجات من هذه المهمة:
يحتوي GestureRecognizerResult
الناتج على أربعة مكوِّنات، وكل مكوِّن هو مصفوفة، حيث يحتوي كل عنصر على النتيجة التي تم اكتشافها ليد واحدة تم اكتشافها.
الإنصاف
تشير ميزة "استخدام اليد" إلى ما إذا كانت الأيدي التي تم رصدها هما اليد اليسرى أو اليمنى.
الإيماءات
فئات الإيماءات المعروفة للأيدي التي تم رصدها
المَعالم
هناك 21 معلمًا على اليد، يتألف كل منها من إحداثيات
x
وy
وz
. تتم تسوية إحداثيتَيx
وy
لتصبح [0.0 و1.0] في عرض الصورة وارتفاعها، على التوالي. يمثل التنسيقz
عمق المعلم، حيث يكون العمق في المعصم هو الأصل. كلما كانت القيمة أصغر، اقترب المعلم الرئيسي من الكاميرا. يستخدم مقدارz
مقياسًا مماثلاً تقريبًا لمقياسx
.معالم عالمية
ويتم عرض 21 معلمًا يدويًا في الإحداثيات العالمية. ويتألف كل معلَم من
x
وy
وz
، ما يمثّل إحداثيات ثلاثية الأبعاد حقيقية بمقاييس، وتتكوّن من نقطة الأصل في المركز الهندسي لليد.
GestureRecognizerResult:
Handedness:
Categories #0:
index : 0
score : 0.98396
categoryName : Left
Gestures:
Categories #0:
score : 0.76893
categoryName : Thumb_Up
Landmarks:
Landmark #0:
x : 0.638852
y : 0.671197
z : -3.41E-7
Landmark #1:
x : 0.634599
y : 0.536441
z : -0.06984
... (21 landmarks for a hand)
WorldLandmarks:
Landmark #0:
x : 0.067485
y : 0.031084
z : 0.055223
Landmark #1:
x : 0.063209
y : -0.00382
z : 0.020920
... (21 world landmarks for a hand)
تُظهر الصور التالية تصورًا لناتج المهمة:
يوضّح الرمز النموذجي لأداة التعرّف على الإيماءات كيفية عرض نتائج التعرّف التي يتم عرضها من المهمة، ويمكنك الاطّلاع على مثال الرمز للحصول على التفاصيل.