MediaPipe Pose Interester görevi, bir görüntü veya videodaki insan vücudunun önemli noktalarını tespit etmenizi sağlar. Bu görevi önemli vücut konumlarını belirlemek, duruşunuzu analiz etmek ve hareketleri sınıflandırmak için kullanabilirsiniz. Bu görev, tek görüntüler veya videolarla çalışan makine öğrenimi (ML) modellerini kullanır. Görev, vücut pozisyonu yer işaretlerini resim koordinatlarında ve 3 boyutlu dünya koordinatlarında üretir.
Başlayın
Hedef platformunuzun uygulama kılavuzunu izleyerek bu görevi kullanmaya başlayın. Bu platforma özel kılavuzlar, önerilen bir model ve önerilen yapılandırma seçenekleriyle birlikte kod örneği dahil olmak üzere, bu görevin temel bir şekilde uygulanmasında size yol gösterir:
- Android - Kod örneği - Kılavuz
- Python - Kod örneği - Kılavuz
- Web - Kod örneği - Kılavuz
Görev ayrıntıları
Bu bölümde, bu görevin özellikleri, girişleri, çıkışları ve yapılandırma seçenekleri açıklanmaktadır.
Özellikler
- Resim işleme: İşleme resim döndürme, yeniden boyutlandırma, normalleştirme ve renk alanı dönüştürme işlemlerini içerir.
- Puan eşiği - Sonuçları tahmin puanlarına göre filtreleyin.
| Görev girişleri | Görev çıkışları |
|---|---|
Pose Referans Aracı, aşağıdaki veri türlerinden birinin girişini kabul eder:
|
Pose Referans Aracı aşağıdaki sonuçları verir:
|
Yapılandırma seçenekleri
Bu görev aşağıdaki yapılandırma seçeneklerine sahiptir:
| Seçenek Adı | Açıklama | Değer Aralığı | Varsayılan Değer |
|---|---|---|---|
running_mode |
Görevin çalışma modunu ayarlar. Üç mod vardır: RESİM: Tek resimli girişler için mod. VİDEO: Bir videonun kodu çözülmüş karelerine yönelik mod. LIVE_STREAM: Kamera gibi giriş verilerini içeren bir canlı yayın modu. Bu modda, sonuçları eşzamansız olarak almak üzere bir işleyici ayarlamak için resultListener çağrılmalıdır. |
{IMAGE, VIDEO, LIVE_STREAM} |
IMAGE |
num_poses |
Pose İşaretleyici tarafından tespit edilebilen maksimum poz sayısı. | Integer > 0 |
1 |
min_pose_detection_confidence |
Poz algılamanın başarılı olarak kabul edilmesi için gereken minimum güven puanı. | Float [0.0,1.0] |
0.5 |
min_pose_presence_confidence |
Poz önemli nokta algılamasında pozisyon varlığı puanının minimum güven puanı. | Float [0.0,1.0] |
0.5 |
min_tracking_confidence |
Poz izlemenin başarılı olarak kabul edilmesi için gereken minimum güven puanı. | Float [0.0,1.0] |
0.5 |
output_segmentation_masks |
Posegrounder'ın algılanan poz için segmentasyon maskesi oluşturup oluşturmadığı. | Boolean |
False |
result_callback |
Sonuç işleyiciyi, Posegrounder canlı yayın modundayken belirgin işaretleyici sonuçlarını eşzamansız olarak alacak şekilde ayarlar.
Yalnızca çalıştırma modu LIVE_STREAM olarak ayarlandığında kullanılabilir |
ResultListener |
N/A |
Modeller
Pose Referanslayıcı, pozisyonun önemli noktalarını tahmin etmek için bir dizi model kullanır. İlk model, bir görüntü çerçevesi içinde insan vücudunun varlığını algılarken ikinci model de vücutlar üzerindeki önemli noktaları tespit ediyor.
Aşağıdaki modeller, indirilebilir bir model paketinde gruplanmıştır:
- Pozis algılama modeli: Birkaç önemli pozisyonuyla bedenlerin varlığını algılar.
- Poz önemli aracı modeli: Pozun eksiksiz bir eşlemesini ekler. Model, 33 adet 3 boyutlu poz önemli noktasının tahmini değerini verir.
Bu paket, MobileNetV2'ye benzer bir evrişimsel nöral ağ kullanır ve cihaz üzerindeki gerçek zamanlı fitness uygulamaları için optimize edilmiştir. BlazePose modelinin bu varyantı, resimlerde veya videolarda bir kişinin tüm 3D beden duruşunu tahmin etmek için 3D insan şekli modelleme ardışık düzeni olan GHUM'u kullanır.
| Model paketi | Giriş şekli | Veri türü | Model Kartları | Sürümler |
|---|---|---|---|---|
| Pose işaretleyici (basit) | Poz algılayıcı: 224 x 224 x 3 Poz işaretleyici: 256 x 256 x 3 |
kayan nokta 16 | bilgi | En son |
| Pose işaretleyici (Tam) | Poz algılayıcı: 224 x 224 x 3 Poz işaretleyici: 256 x 256 x 3 |
kayan nokta 16 | bilgi | En son |
| Pose önemli nokta (Yoğun) | Poz algılayıcı: 224 x 224 x 3 Poz işaretleyici: 256 x 256 x 3 |
kayan nokta 16 | bilgi | En son |
Pozisyon işaretleyici modeli
Poz belirleyici modeli, vücudun şu bölümlerinin yaklaşık konumunu temsil eden 33 önemli nokta konumunu izliyor:
0 - nose
1 - left eye (inner)
2 - left eye
3 - left eye (outer)
4 - right eye (inner)
5 - right eye
6 - right eye (outer)
7 - left ear
8 - right ear
9 - mouth (left)
10 - mouth (right)
11 - left shoulder
12 - right shoulder
13 - left elbow
14 - right elbow
15 - left wrist
16 - right wrist
17 - left pinky
18 - right pinky
19 - left index
20 - right index
21 - left thumb
22 - right thumb
23 - left hip
24 - right hip
25 - left knee
26 - right knee
27 - left ankle
28 - right ankle
29 - left heel
30 - right heel
31 - left foot index
32 - right foot index
Model çıktısı, her önemli nokta için hem normalleştirilmiş koordinatları (Landmarks) hem de dünya koordinatlarını (WorldLandmarks) içerir.