Panduan deteksi tempat terkenal pose untuk Android

Tugas MediaPipe Pose Landmarker memungkinkan Anda mendeteksi tempat terkenal tubuh manusia dalam gambar atau video. Anda dapat menggunakan tugas ini untuk mengidentifikasi lokasi utama tubuh, menganalisis postur, dan mengategorikan gerakan. Tugas ini menggunakan model machine learning (ML) yang bekerja dengan satu gambar atau video. Tugas ini menghasilkan bangunan terkenal pose tubuh dalam koordinat gambar dan dalam koordinat dunia 3 dimensi.

Contoh kode yang dijelaskan dalam petunjuk ini tersedia di GitHub. Untuk mengetahui informasi selengkapnya tentang kemampuan, model, dan opsi konfigurasi tugas ini, lihat Ringkasan.

Contoh kode

Kode contoh Tugas MediaPipe adalah implementasi sederhana aplikasi Pose Landmarker untuk Android. Contoh ini menggunakan kamera pada perangkat Android fisik untuk mendeteksi pose dalam streaming video nonstop. Aplikasi ini juga dapat mendeteksi pose dalam gambar dan video dari galeri perangkat.

Anda dapat menggunakan aplikasi sebagai titik awal untuk aplikasi Android Anda sendiri, atau merujuk ke aplikasi tersebut saat memodifikasi aplikasi yang sudah ada. Kode contoh Pose Landmarker dihosting di GitHub.

Mendownload kode

Petunjuk berikut menunjukkan cara membuat salinan lokal dari kode contoh menggunakan alat command line git.

Untuk mendownload kode contoh:

  1. Clone repositori git menggunakan perintah berikut:
    git clone https://github.com/google-ai-edge/mediapipe-samples
    
  2. Secara opsional, konfigurasikan instance git untuk menggunakan checkout sparse, sehingga Anda hanya memiliki file untuk aplikasi contoh Pose Landmarker:
    cd mediapipe
    git sparse-checkout init --cone
    git sparse-checkout set examples/pose_landmarker/android
    

Setelah membuat versi lokal dari kode contoh, Anda dapat mengimpor project ke Android Studio dan menjalankan aplikasi. Untuk mengetahui petunjuknya, lihat Panduan Penyiapan untuk Android.

Komponen utama

File berikut berisi kode penting untuk aplikasi contoh penanda pose ini:

  • PoseLandmarkerHelper.kt - Melakukan inisialisasi penanda pose dan menangani pemilihan model dan delegasi.
  • CameraFragment.kt - Menangani kamera perangkat dan memproses data input gambar dan video.
  • GalleryFragment.kt - Berinteraksi dengan OverlayView untuk menampilkan gambar atau video output.
  • OverlayView.kt - Mengimplementasikan tampilan untuk pose yang terdeteksi.

Penyiapan

Bagian ini menjelaskan langkah-langkah utama untuk menyiapkan lingkungan pengembangan dan membuat kode project secara khusus untuk menggunakan Pose Landmarker. Untuk informasi umum tentang menyiapkan lingkungan pengembangan Anda untuk menggunakan tugas MediaPipe, termasuk persyaratan versi platform, lihat Panduan penyiapan untuk Android.

Dependensi

Tugas Pose Landmarker menggunakan library com.google.mediapipe:tasks-vision. Tambahkan dependensi ini ke file build.gradle aplikasi Android Anda:

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Model

Tugas MediaPipe Pose Landmarker memerlukan paket model terlatih yang kompatibel dengan tugas ini. Untuk mengetahui informasi selengkapnya tentang model terlatih yang tersedia untuk Pose Landmarker, lihat bagian Model ringkasan tugas.

Pilih dan download model, serta simpan dalam direktori project Anda:

<dev-project-root>/src/main/assets

Tentukan jalur model dalam parameter ModelAssetPath. Dalam kode contoh, model ditentukan dalam file PoseLandmarkerHelper.kt:

val modelName = "pose_landmarker_lite.task"
baseOptionsBuilder.setModelAssetPath(modelName)

Membuat tugas

Tugas MediaPipe Pose Landmarker menggunakan fungsi createFromOptions() untuk menyiapkan tugas. Fungsi createFromOptions() menerima nilai untuk opsi konfigurasi. Untuk informasi selengkapnya tentang opsi konfigurasi, lihat Opsi konfigurasi.

Pose Landmarker mendukung jenis data input berikut: gambar diam, file video, dan streaming video live. Anda perlu menentukan mode berjalan yang sesuai dengan jenis data input saat membuat tugas. Pilih tab untuk jenis data input Anda untuk melihat cara membuat tugas.

Gambar

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    poseLandmarker.poseLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinPoseDetectionConfidence(minPoseDetectionConfidence)
        .setMinTrackingConfidence(minPoseTrackingConfidence)
        .setMinPosePresenceConfidence(minposePresenceConfidence)
        .setNumPoses(maxNumPoses)
        .setRunningMode(RunningMode.IMAGE)

val options = optionsBuilder.build()
poseLandmarker = poseLandmarker.createFromOptions(context, options)
    

Video

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    poseLandmarker.poseLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinPoseDetectionConfidence(minPoseDetectionConfidence)
        .setMinTrackingConfidence(minPoseTrackingConfidence)
        .setMinPosePresenceConfidence(minposePresenceConfidence)
        .setNumPoses(maxNumPoses)
        .setRunningMode(RunningMode.VIDEO)

val options = optionsBuilder.build()
poseLandmarker = poseLandmarker.createFromOptions(context, options)
    

Live stream

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    poseLandmarker.poseLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinPoseDetectionConfidence(minPoseDetectionConfidence)
        .setMinTrackingConfidence(minPoseTrackingConfidence)
        .setMinPosePresenceConfidence(minposePresenceConfidence)
        .setNumPoses(maxNumPoses)
        .setResultListener(this::returnLivestreamResult)
        .setErrorListener(this::returnLivestreamError)
        .setRunningMode(RunningMode.LIVE_STREAM)

val options = optionsBuilder.build()
poseLandmarker = poseLandmarker.createFromOptions(context, options)
    

Implementasi kode contoh Pose Landmarker memungkinkan pengguna beralih antar-mode pemrosesan. Pendekatan ini membuat kode pembuatan tugas lebih rumit dan mungkin tidak sesuai untuk kasus penggunaan Anda. Anda dapat melihat kode ini dalam fungsi setupPoseLandmarker() di file PoseLandmarkerHelper.kt.

Opsi konfigurasi

Tugas ini memiliki opsi konfigurasi berikut untuk aplikasi Android:

Nama Opsi Deskripsi Rentang Nilai Nilai Default
runningMode Menetapkan mode berjalan untuk tugas. Ada tiga mode:

IMAGE: Mode untuk input gambar tunggal.

VIDEO: Mode untuk frame video yang didekode.

LIVE_STREAM: Mode untuk livestream data input, seperti dari kamera. Dalam mode ini, resultListener harus dipanggil untuk menyiapkan pemroses yang menerima hasil secara asinkron.
{IMAGE, VIDEO, LIVE_STREAM} IMAGE
numposes Jumlah maksimum pose yang dapat dideteksi oleh Penanda Pose. Integer > 0 1
minPoseDetectionConfidence Skor keyakinan minimum untuk deteksi pose agar dianggap berhasil. Float [0.0,1.0] 0.5
minPosePresenceConfidence Skor keyakinan minimum skor kehadiran pose dalam deteksi penanda pose. Float [0.0,1.0] 0.5
minTrackingConfidence Skor keyakinan minimum untuk pelacakan pose agar dianggap berhasil. Float [0.0,1.0] 0.5
outputSegmentationMasks Apakah Pose Landmarker menghasilkan mask segmentasi untuk pose yang terdeteksi. Boolean False
resultListener Menetapkan pemroses hasil untuk menerima hasil penanda secara asinkron saat Pose Landmarker dalam mode live stream. Hanya dapat digunakan saat mode lari disetel ke LIVE_STREAM ResultListener N/A
errorListener Menetapkan pemroses error opsional. ErrorListener N/A

Menyiapkan data

Pose Landmarker berfungsi dengan gambar, file video, dan streaming video live. Tugas ini menangani prapemrosesan input data, termasuk pengubahan ukuran, rotasi, dan normalisasi nilai.

Kode berikut menunjukkan cara menyerahkan data untuk diproses. Contoh ini mencakup detail tentang cara menangani data dari gambar, file video, dan streaming video live.

Gambar

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(image).build()
    

Video

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

val argb8888Frame =
    if (frame.config == Bitmap.Config.ARGB_8888) frame
    else frame.copy(Bitmap.Config.ARGB_8888, false)

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(argb8888Frame).build()
    

Live stream

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(rotatedBitmap).build()
    

Dalam kode contoh Pose Landmarker, persiapan data ditangani di file PoseLandmarkerHelper.kt.

Menjalankan tugas

Bergantung pada jenis data yang Anda kerjakan, gunakan metode poseLandmarker.detect...() yang spesifik untuk jenis data tersebut. Gunakan detect() untuk gambar individual, detectForVideo() untuk frame dalam file video, dan detectAsync() untuk streaming video. Saat melakukan deteksi pada streaming video, pastikan Anda menjalankan deteksi pada thread terpisah untuk menghindari pemblokiran thread interpose pengguna.

Contoh kode berikut menunjukkan contoh sederhana cara menjalankan Pose Landmarker dalam berbagai mode data ini:

Gambar

val result = poseLandmarker.detect(mpImage)
    

Video

val timestampMs = i * inferenceIntervalMs

poseLandmarker.detectForVideo(mpImage, timestampMs)
    .let { detectionResult ->
        resultList.add(detectionResult)
    }
    

Live stream

val mpImage = BitmapImageBuilder(rotatedBitmap).build()
val frameTime = SystemClock.uptimeMillis()

poseLandmarker.detectAsync(mpImage, frameTime)
    

Perhatikan hal berikut:

  • Saat berjalan dalam mode video atau mode live stream, Anda harus memberikan stempel waktu frame input ke tugas Pose Landmarker.
  • Saat berjalan dalam mode gambar atau video, tugas Pose Landmarker memblokir thread saat ini hingga selesai memproses gambar atau frame input. Untuk menghindari pemblokiran interpose pengguna, jalankan pemrosesan di thread latar belakang.
  • Saat berjalan dalam mode live stream, tugas Pose Landmarker akan segera ditampilkan dan tidak memblokir thread saat ini. Metode ini akan memanggil pemroses hasil dengan hasil deteksi setiap kali selesai memproses frame input.

Dalam kode contoh Pose Landmarker, fungsi detect, detectForVideo, dan detectAsync ditentukan dalam file PoseLandmarkerHelper.kt.

Menangani dan menampilkan hasil

Pose Landmarker menampilkan objek poseLandmarkerResult untuk setiap deteksi yang dijalankan. Objek hasil berisi koordinat untuk setiap penanda pose.

Berikut ini contoh data output dari tugas ini:

PoseLandmarkerResult:
  Landmarks:
    Landmark #0:
      x            : 0.638852
      y            : 0.671197
      z            : 0.129959
      visibility   : 0.9999997615814209
      presence     : 0.9999984502792358
    Landmark #1:
      x            : 0.634599
      y            : 0.536441
      z            : -0.06984
      visibility   : 0.999909
      presence     : 0.999958
    ... (33 landmarks per pose)
  WorldLandmarks:
    Landmark #0:
      x            : 0.067485
      y            : 0.031084
      z            : 0.055223
      visibility   : 0.9999997615814209
      presence     : 0.9999984502792358
    Landmark #1:
      x            : 0.063209
      y            : -0.00382
      z            : 0.020920
      visibility   : 0.999976
      presence     : 0.999998
    ... (33 world landmarks per pose)
  SegmentationMasks:
    ... (pictured below)

Output-nya berisi koordinat yang dinormalisasi (Landmarks) dan koordinat dunia (WorldLandmarks) untuk setiap tempat terkenal.

Output berisi koordinat yang dinormalkan berikut (Landmarks):

  • x dan y: Koordinat tempat terkenal dinormalisasi antara 0,0 dan 1,0 dengan lebar (x) dan tinggi gambar (y).

  • z: Kedalaman tempat terkenal, dengan kedalaman di titik tengah pinggul sebagai asal. Semakin kecil nilainya, semakin dekat tempat terkenal ke kamera. Magnitudo z menggunakan skala yang kurang lebih sama dengan x.

  • visibility: Kemungkinan tempat terkenal terlihat dalam gambar.

Output berisi koordinat dunia berikut (WorldLandmarks):

  • x, y, dan z: Koordinat 3 dimensi dunia nyata dalam meter, dengan titik tengah pinggul sebagai asal.

  • visibility: Kemungkinan tempat terkenal terlihat dalam gambar.

Gambar berikut menunjukkan visualisasi output tugas:

Mask segmentasi opsional mewakili kemungkinan setiap piksel milik orang yang terdeteksi. Gambar berikut adalah mask segmentasi dari output tugas:

Kode contoh Pose Landmarker menunjukkan cara menampilkan hasil yang ditampilkan dari tugas, lihat class OverlayView untuk detail selengkapnya.