Panduan deteksi tempat terkenal pose untuk Android

Tugas MediaPipe Pose Landmarker memungkinkan Anda mendeteksi tanda-tanda tubuh manusia dalam gambar atau video. Anda dapat menggunakan tugas ini untuk mengidentifikasi lokasi utama, menganalisis postur tubuh, dan mengkategorikan gerakan. Tugas ini menggunakan model machine learning (ML) yang bekerja dengan gambar atau video tunggal. Tugas menghasilkan penanda body pose dalam gambar dan koordinat dunia 3 dimensi.

Contoh kode yang dijelaskan dalam petunjuk ini tersedia di GitHub. Untuk mengetahui informasi selengkapnya terkait kemampuan, model, dan opsi konfigurasi. tugas ini, lihat Ringkasan.

Contoh kode

Kode contoh Tugas MediaPipe adalah implementasi sederhana dari Pose Landmarker untuk Android. Contoh ini menggunakan kamera pada perangkat Android fisik untuk mendeteksi pose dalam streaming video berkelanjutan. Aplikasi ini juga dapat mendeteksi pose di gambar dan video dari galeri perangkat.

Anda dapat menggunakan aplikasi ini sebagai titik awal untuk aplikasi Android Anda sendiri, atau merujuk ke sana saat memodifikasi aplikasi yang ada. Kode contoh Pose Landmarker dihosting di GitHub.

Mendownload kode

Petunjuk berikut menunjukkan cara membuat salinan lokal dari contoh kode menggunakan alat command line git.

Untuk mendownload kode contoh:

1. Clone repositori git menggunakan perintah berikut:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Secara opsional, konfigurasikan instance git Anda untuk menggunakan checkout sparse, sehingga Anda memiliki hanya file untuk aplikasi contoh Pose Landmarker:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/pose_landmarker/android
   

Setelah membuat versi lokal dari kode contoh, Anda dapat mengimpor project ke Android Studio dan menjalankan aplikasi. Untuk petunjuk, lihat Panduan Penyiapan untuk Android.

Komponen utama

File berikut berisi kode penting untuk contoh penanda pose ini aplikasi:

• PoseLandmarkerHelper.kt - Melakukan inisialisasi penanda pose serta menangani model dan delegasi pilihan.
• CameraFragment.kt - Menangani kamera perangkat dan memproses data input gambar dan video.
• GalleryFragment.kt - Berinteraksi dengan OverlayView untuk menampilkan gambar atau video output.
• OverlayView.kt - Menerapkan tampilan untuk pose yang terdeteksi.

Penyiapan

Bagian ini menjelaskan langkah-langkah utama untuk menyiapkan lingkungan pengembangan dan membuat kode proyek secara khusus untuk menggunakan Pose Landmarker. Untuk informasi umum tentang menyiapkan lingkungan pengembangan untuk menggunakan tugas MediaPipe, termasuk persyaratan versi platform, lihat Panduan penyiapan untuk Android.

Dependensi

Tugas Pose Landmarker menggunakan library com.google.mediapipe:tasks-vision. Tambah dependensi ini ke file build.gradle aplikasi Android Anda:

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Model

Tugas MediaPipe Pose Landmarker memerlukan paket model terlatih yang kompatibel dengan untuk melakukan tugas ini. Untuk informasi selengkapnya tentang model terlatih yang tersedia untuk Pose Landmarker, lihat ringkasan tugas bagian Model.

Pilih dan download model, lalu simpan dalam direktori project Anda:

<dev-project-root>/src/main/assets

Tentukan jalur model dalam parameter ModelAssetPath. Di kolom kode contoh, model didefinisikan dalam PoseLandmarkerHelper.kt file:

val modelName = "pose_landmarker_lite.task"
baseOptionsBuilder.setModelAssetPath(modelName)

Membuat tugas

Tugas MediaPipe Pose Landmarker menggunakan fungsi createFromOptions() untuk menyiapkan tugas Anda. Fungsi createFromOptions() menerima nilai untuk konfigurasi lainnya. Untuk informasi selengkapnya mengenai opsi konfigurasi, lihat Konfigurasi lainnya.

Poste Landmarker mendukung jenis data input berikut: gambar diam, video {i>file<i}, dan {i>streaming<i} video langsung. Anda perlu menentukan mode lari sesuai dengan tipe data input Anda saat membuat tugas. Pilih tab untuk jenis data input Anda untuk melihat cara membuat tugas.

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    poseLandmarker.poseLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinPoseDetectionConfidence(minPoseDetectionConfidence)
        .setMinTrackingConfidence(minPoseTrackingConfidence)
        .setMinPosePresenceConfidence(minposePresenceConfidence)
        .setNumPoses(maxNumPoses)
        .setRunningMode(RunningMode.IMAGE)

val options = optionsBuilder.build()
poseLandmarker = poseLandmarker.createFromOptions(context, options)
    

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    poseLandmarker.poseLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinPoseDetectionConfidence(minPoseDetectionConfidence)
        .setMinTrackingConfidence(minPoseTrackingConfidence)
        .setMinPosePresenceConfidence(minposePresenceConfidence)
        .setNumPoses(maxNumPoses)
        .setRunningMode(RunningMode.VIDEO)

val options = optionsBuilder.build()
poseLandmarker = poseLandmarker.createFromOptions(context, options)
    

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    poseLandmarker.poseLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinPoseDetectionConfidence(minPoseDetectionConfidence)
        .setMinTrackingConfidence(minPoseTrackingConfidence)
        .setMinPosePresenceConfidence(minposePresenceConfidence)
        .setNumPoses(maxNumPoses)
        .setResultListener(this::returnLivestreamResult)
        .setErrorListener(this::returnLivestreamError)
        .setRunningMode(RunningMode.LIVE_STREAM)

val options = optionsBuilder.build()
poseLandmarker = poseLandmarker.createFromOptions(context, options)
    

Implementasi kode contoh Pose Landmarker memungkinkan pengguna beralih antar mode pemrosesan. Pendekatan ini membuat kode pembuatan tugas lebih rumit dan mungkin tidak sesuai untuk kasus penggunaan Anda. Anda dapat melihat kode ini di fungsi setupPoseLandmarker() dalam PoseLandmarkerHelper.kt .

Opsi konfigurasi

Tugas ini memiliki opsi konfigurasi berikut untuk aplikasi Android:

Menyiapkan data

Pose Landmarker dapat digunakan dengan gambar, file video, dan streaming video live. Tugas menangani pra-pemrosesan input data, termasuk mengubah ukuran, rotasi, dan nilai proses normalisasi.

Kode berikut menunjukkan cara menyerahkan data untuk diproses. Ini contoh mencakup detail tentang cara menangani data dari gambar, file video, dan streaming video.

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(image).build()
    

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

val argb8888Frame =
    if (frame.config == Bitmap.Config.ARGB_8888) frame
    else frame.copy(Bitmap.Config.ARGB_8888, false)

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(argb8888Frame).build()
    

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(rotatedBitmap).build()
    

Dalam kode contoh Pose Landmarker, persiapan data ditangani di PoseLandmarkerHelper.kt .

Menjalankan tugas

Tergantung pada jenis data yang Anda kerjakan, gunakan Metode poseLandmarker.detect...() yang spesifik untuk jenis data tersebut. Gunakan detect() untuk masing-masing gambar, detectForVideo() untuk bingkai dalam file video, dan detectAsync() untuk streaming video. Ketika Anda melakukan deteksi pada streaming video, pastikan Anda menjalankan deteksi pada thread terpisah untuk menghindari memblokir thread interpose pengguna.

Contoh kode berikut menunjukkan contoh sederhana tentang cara menjalankan Pose Landmarker dalam mode data yang berbeda-beda ini:

val result = poseLandmarker.detect(mpImage)
    

val timestampMs = i * inferenceIntervalMs

poseLandmarker.detectForVideo(mpImage, timestampMs)
    .let { detectionResult ->
        resultList.add(detectionResult)
    }
    

val mpImage = BitmapImageBuilder(rotatedBitmap).build()
val frameTime = SystemClock.uptimeMillis()

poseLandmarker.detectAsync(mpImage, frameTime)
    

Perhatikan hal berikut:

• Saat menjalankan dalam mode video atau mode live stream, Anda harus memberikan stempel waktu {i>frame<i} input ke tugas Pose Landmarker.
• Saat dijalankan dalam mode gambar atau video, blok tugas Pose Landmarker utas saat ini hingga selesai memproses gambar atau bingkai input. Kepada menghindari pemblokiran interpose pengguna, jalankan pemrosesan di latar belakang .
• Saat dijalankan dalam mode live stream, tugas Pose Landmarker akan kembali secara langsung dan tidak memblokir thread saat ini. Fungsi ini akan memanggil hasilnya dengan hasil deteksi setiap kali pemroses selesai memproses frame input.

Dalam kode contoh Pose Landmarker, detect, detectForVideo, dan Fungsi detectAsync ditentukan di PoseLandmarkerHelper.kt .

Menangani dan menampilkan hasil

Pose Landmarker menampilkan objek poseLandmarkerResult untuk setiap deteksi akan dijalankan. Objek hasil berisi koordinat untuk setiap penanda pose.

Berikut ini contoh data output dari tugas ini:

PoseLandmarkerResult:
  Landmarks:
    Landmark #0:
      x            : 0.638852
      y            : 0.671197
      z            : 0.129959
      visibility   : 0.9999997615814209
      presence     : 0.9999984502792358
    Landmark #1:
      x            : 0.634599
      y            : 0.536441
      z            : -0.06984
      visibility   : 0.999909
      presence     : 0.999958
    ... (33 landmarks per pose)
  WorldLandmarks:
    Landmark #0:
      x            : 0.067485
      y            : 0.031084
      z            : 0.055223
      visibility   : 0.9999997615814209
      presence     : 0.9999984502792358
    Landmark #1:
      x            : 0.063209
      y            : -0.00382
      z            : 0.020920
      visibility   : 0.999976
      presence     : 0.999998
    ... (33 world landmarks per pose)
  SegmentationMasks:
    ... (pictured below)

Output berisi koordinat yang dinormalkan (Landmarks) dan dunia koordinat (WorldLandmarks) untuk setiap penanda.

Output berisi koordinat yang dinormalkan berikut (Landmarks):

• x dan y: Koordinat tempat terkenal dinormalisasi antara 0,0 dan 1,0 dengan lebar gambar (x) dan tinggi (y).

• z: Kedalaman tempat terkenal, dengan kedalaman di titik tengah pinggul sebagai tempat asal. Makin kecil nilainya, makin dekat tempat terkenal tersebut ke kamera. Tujuan magnitudo z menggunakan skala yang kurang lebih sama dengan x.

• visibility: Kemungkinan tempat terkenal terlihat dalam gambar.

Output berisi koordinat dunia berikut (WorldLandmarks):

• x, y, dan z: Koordinat 3 dimensi dunia nyata dalam meter, dengan tengah pinggul sebagai asalnya.

• visibility: Kemungkinan tempat terkenal terlihat dalam gambar.

Gambar berikut menunjukkan visualisasi output tugas:

Masker segmentasi opsional mewakili kemungkinan setiap piksel yang termasuk dalam ke orang yang terdeteksi. Gambar berikut adalah mask segmentasi dari output tugas:

Kode contoh Pose Landmarker menunjukkan cara menampilkan hasil yang dikembalikan dari tugas, lihat OverlayView untuk detail selengkapnya.