Pozlama önemli nokta algılama rehberi

Meditasyon yapan bir kadın. Modelin duruşu, uzuvlarının ve gövdesinin konumunu gösteren bir iskeletle vurgulanır.

MediaPipe Pose Landmarker görevi, bir resim veya videodaki insan vücutlarının önemli noktalarını algılamanıza olanak tanır. Bu görevi, vücudun önemli konumlarını belirlemek, duruşu analiz etmek ve hareketleri sınıflandırmak için kullanabilirsiniz. Bu görevde, tek resim veya videoyla çalışan makine öğrenimi (ML) modelleri kullanılır. Görev, vücut duruşu yer işaretlerini resim koordinatlarında ve 3 boyutlu dünya koordinatlarında döndürür.

Deneyin.

Başlayın

Hedef platformunuzun uygulama kılavuzunu izleyerek bu görevi kullanmaya başlayın. Platforma özel bu kılavuzlar, önerilen bir model ve önerilen yapılandırma seçenekleriyle birlikte kod örneği de dahil olmak üzere bu görevin temel uygulama sürecinde size yol gösterir:

Görev ayrıntıları

Bu bölümde, bu görevin özellikleri, girişleri, çıkışları ve yapılandırma seçenekleri açıklanmaktadır.

Özellikler

  • Giriş resmi işleme: İşleme, resim döndürme, yeniden boyutlandırma, normalleştirme ve renk alanı dönüştürme işlemlerini içerir.
  • Skor eşiği: Sonuçları tahmin puanlarına göre filtreleyin.
Görev girişleri Görev çıkışları
Poz İşaretçisi, aşağıdaki veri türlerinden birini kabul eder:
  • Sabit resimler
  • Kodu çözülmüş video kareleri
  • Canlı video feed'i
Poz İşaretçisi aşağıdaki sonuçları döndürür:
  • Önemli noktaları normalleştirilmiş resim koordinatlarında gösterme
  • Dünya koordinatlarında yer işaretleri gösterme
  • İsteğe bağlı: Poz için segmentasyon maskesi.

Yapılandırma seçenekleri

Bu görev için aşağıdaki yapılandırma seçenekleri vardır:

Seçenek Adı Açıklama Değer Aralığı Varsayılan değer
running_mode Görevin çalışma modunu ayarlar. Üç mod vardır:

RESİM: Tek resim girişleri için kullanılan mod.

VIDEO: Bir videonun kod çözülmüş karelerinin modu.

LIVE_STREAM: Kameradan alınan giriş verilerinin canlı yayını için kullanılan mod. Bu modda, sonuçları asenkron olarak alacak bir dinleyici oluşturmak için resultListener çağrılmalıdır.
{IMAGE, VIDEO, LIVE_STREAM} IMAGE
num_poses Poz İşaretçisi tarafından algılanabilecek maksimum poz sayısı. Integer > 0 1
min_pose_detection_confidence Poz duruşu algılamanın başarılı olarak kabul edilmesi için gereken minimum güven puanı. Float [0.0,1.0] 0.5
min_pose_presence_confidence Poz duruşu yer işareti algılamada poz varlığı puanının minimum güven puanı. Float [0.0,1.0] 0.5
min_tracking_confidence Poz izlemenin başarılı kabul edilmesi için gereken minimum güven puanı. Float [0.0,1.0] 0.5
output_segmentation_masks Poz İşaretçisi'nin, algılanan poz için segmentasyon maskesi çıkışı yapıp yapmadığını belirtir. Boolean False
result_callback Sonuç dinleyicisini, Poz Landmarker canlı yayın modundayken yer işaretçisi sonuçlarını asenkron olarak alacak şekilde ayarlar. Yalnızca çalışma modu LIVE_STREAM olarak ayarlandığında kullanılabilir. ResultListener N/A

Modeller

Poz yer işaretleyicisi, poz yer işaretlerini tahmin etmek için bir dizi model kullanır. İlk model, resim çerçevesinde insan vücudu olup olmadığını algılar, ikinci model ise vücutlardaki önemli noktaları bulur.

Aşağıdaki modeller, indirilebilir bir model paketinde birlikte paketlenir:

  • Duruş algılama modeli: Birkaç temel duruş yer işaretiyle vücutların varlığını algılar.
  • Duruş yer işaretçisi modeli: Duruşun tam bir eşlemesini ekler. Model, 33 adet 3 boyutlu duruş yer işareti tahmini çıkarır.

Bu paket, MobileNetV2'ye benzer bir evrişimli sinir ağı kullanır ve cihaz üzerinde gerçek zamanlı fitness uygulamaları için optimize edilmiştir. BlazePose modelinin bu varyantı, resim veya videolardaki bir kişinin 3D vücut duruşunu tahmin etmek için 3D insan şekli modelleme ardışık düzeni olan GHUM'u kullanır.

Model paketi Giriş şekli Veri türü Model Kartları Sürümler
Pose landmarker (lite) Poz dedektörü: 224 x 224 x 3
Poz yer işaretleyici: 256 x 256 x 3
float 16 bilgi En son
Pose landmarker (Tam) Poz dedektörü: 224 x 224 x 3
Poz yer işaretleyici: 256 x 256 x 3
float 16 bilgi En son
Poz işaretçisi (Ağır) Poz dedektörü: 224 x 224 x 3
Poz yer işaretleyici: 256 x 256 x 3
float 16 bilgi En son

Poz yer işaretleyici modeli

Poz işaretleyici modeli, aşağıdaki vücut bölümlerinin yaklaşık konumunu temsil eden 33 vücut işaretçisi konumunu izler:

0 - nose
1 - left eye (inner)
2 - left eye
3 - left eye (outer)
4 - right eye (inner)
5 - right eye
6 - right eye (outer)
7 - left ear
8 - right ear
9 - mouth (left)
10 - mouth (right)
11 - left shoulder
12 - right shoulder
13 - left elbow
14 - right elbow
15 - left wrist
16 - right wrist
17 - left pinky
18 - right pinky
19 - left index
20 - right index
21 - left thumb
22 - right thumb
23 - left hip
24 - right hip
25 - left knee
26 - right knee
27 - left ankle
28 - right ankle
29 - left heel
30 - right heel
31 - left foot index
32 - right foot index

Model çıkışı, her bir yer işareti için hem normalleştirilmiş koordinatları (Landmarks) hem de dünya koordinatlarını (WorldLandmarks) içerir.