Pozlama önemli nokta algılama rehberi

MediaPipe Poz İşaretçisi görevi, bir görüntüdeki insan vücuduna ait önemli noktaları tespit etmenizi ya da videosunu izleyin. Bu görevi vücutla ilgili önemli konumları belirlemek, duruşunuzu analiz etmek, ve hareketleri kategorilere ayırabilirsiniz. Bu görev, makine öğrenimi (ML) modellerini kullanır. tek resim veya videoyla çalışır. Görev, görüntüdeki vücut duruşunda önemli noktaları gösterir koordinatlarla ve 3 boyutlu dünya koordinatlarında gösterir.

Deneyin!

Başlayın

Aşağıdaki adımları uygulayarak bu görevi kullanmaya başlayın: yardımcı olur. Platforma özel bu kılavuzlar, Google'ın temel özelliklerini önerilen model ve kod örneği dahil olmak üzere bu görevin uygulanması önerilen yapılandırma seçenekleriyle:

Görev ayrıntıları

Bu bölümde özellikler, girişler, çıkışlar ve yapılandırma açıklanmaktadır. bu görev için kullanılabilir.

Özellikler

  • Giriş resmi işleme: İşleme; resim döndürme, yeniden boyutlandırma, normalleştirme ve renk alanı dönüştürme işlemlerini içerir.
  • Puan eşiği: Sonuçları tahmin puanlarına göre filtreleyin.
Görev girişleri Görev çıkışları
Poz İşaretçisi, şu veri türlerinden birinin girişini kabul eder:
  • Hareketsiz resimler
  • Kodu çözülmüş video kareleri
  • Canlı video feed'i
Poz İşaretçisi aşağıdaki sonuçları verir:
  • Önemli noktaları normalleştirilmiş resim koordinatlarında pozlama
  • Dünya koordinatlarında duran önemli noktalar
  • İsteğe bağlı: Poz için bir segmentasyon maskesi.

Yapılandırma seçenekleri

Bu görev aşağıdaki yapılandırma seçeneklerine sahiptir:

Seçenek Adı Açıklama Değer Aralığı Varsayılan Değer
running_mode Görev için çalışma modunu ayarlar. Üç tane var modlar:

. IMAGE: Tek resimli giriş modu.
.
. VIDEO: Bir videonun kodu çözülmüş karelerine yönelik mod.
.
. LIVE_STREAM: Giriş canlı yayını modu kameradan alınan veriler gibi. Bu modda, resultListener, sonuçları almak üzere bir dinleyici ayarlamak için çağrıldı eşzamansız olarak ayarlayabilirsiniz.
{IMAGE, VIDEO, LIVE_STREAM} IMAGE
num_poses tarafından algılanabilecek maksimum poz sayısı Poz İşaretçisi. Integer > 0 1
min_pose_detection_confidence Poz algılamanın olması için gereken minimum güven puanı kabul edilir. Float [0.0,1.0] 0.5
min_pose_presence_confidence Pozlamanın minimum güven puanı puanının yüksek olması gerekir. Float [0.0,1.0] 0.5
min_tracking_confidence Poz izleme için minimum güven puanı kabul edilir. Float [0.0,1.0] 0.5
output_segmentation_masks Poz İşaretçisi'nin algılanan öğe için bir segmentasyon maskesi verip vermediği poz verin. Boolean False
result_callback Sonuç işleyiciyi işaretleyici sonuçlarını alacak şekilde ayarlar otomatik olarak senkronize edilir. Yalnızca koşu modu LIVE_STREAM olarak ayarlandığında kullanılabilir ResultListener N/A

Modeller

Poz İşaretçisi, pozdaki önemli noktaları tahmin etmek için bir dizi model kullanır. İlk model, bir resim çerçevesinde insan vücudunun varlığını algılar ve ikinci sırada modeli, vücut üzerindeki önemli noktaları bulur.

Aşağıdaki modeller, indirilebilir bir model paketi olarak bir araya getirilmiştir:

  • Poz algılama modeli: Birkaç tuş duruşuyla vücut olup olmadığını algılar önemli noktalardır.
  • Poz işaretleyici modeli: Pozun tam bir eşlemesini ekler. Model 33 boyutlu 33 pozla ilgili tahmin sunar.

Bu paket, konvolüsyonel nöral ağ kullanıyor MobileNetV2'ye benzer ve optimize edilmiştir gerçek zamanlı fitness uygulamaları için kullanılabilir. Etiketin bu varyantı BlazePose modeli kullanımları GHUM 3D insan şekli modelleme hattı kullanarak bir gezegenin tüm 3D vücudunun duruşunu tahmin etmek tek tek resimler veya videolardır.

Model paketi Giriş şekli Veri türü Model Kartları Sürümler
Poz işaretçisi (basit) Poz dedektörü: 224 x 224 x 3
Poz işaretçisi: 256 x 256 x 3
kayan noktalı 16 bilgi En yeniler
Poz işareti (Tam) Poz dedektörü: 224 x 224 x 3
Poz işaretçisi: 256 x 256 x 3
kayan noktalı 16 bilgi En yeniler
Poz işareti (Yoğun) Poz dedektörü: 224 x 224 x 3
Poz işaretçisi: 256 x 256 x 3
kayan noktalı 16 bilgi En yeniler

Poz işaretleyici modeli

Poz işaretleyici modeli, vücutla ilgili 33 önemli nokta konumunu izler. Vücudun şu bölümlerinin yaklaşık konumu:

Model çıkışı hem normalleştirilmiş koordinatlar (Landmarks) hem de dünya içeriyor koordinatları (WorldLandmarks) girin.

0 - nose
1 - left eye (inner)
2 - left eye
3 - left eye (outer)
4 - right eye (inner)
5 - right eye
6 - right eye (outer)
7 - left ear
8 - right ear
9 - mouth (left)
10 - mouth (right)
11 - left shoulder
12 - right shoulder
13 - left elbow
14 - right elbow
15 - left wrist
16 - right wrist
17 - left pinky
18 - right pinky
19 - left index
20 - right index
21 - left thumb
22 - right thumb
23 - left hip
24 - right hip
25 - left knee
26 - right knee
27 - left ankle
28 - right ankle
29 - left heel
30 - right heel
31 - left foot index
32 - right foot index