Guide de détection des points de repère de la main pour iOS

La tâche MediaPipe Main Markdown vous permet de détecter les points de repère des mains dans une image. Ces instructions vous expliquent comment utiliser le repère de main avec les applications iOS. L'exemple de code décrit dans ces instructions est disponible sur GitHub.

Pour en savoir plus sur les fonctionnalités, les modèles et les options de configuration de cette tâche, consultez la présentation.

Exemple de code

L'exemple de code MediaPipe Tasks est une implémentation de base d'une application Hand Marker pour iOS. L'exemple utilise l'appareil photo d'un appareil iOS physique pour détecter les points de repère de la main dans un flux vidéo en continu. L'appli peut également détecter les points de repère de la main dans les images et les vidéos de la galerie de l'appareil.

Vous pouvez utiliser l'application comme point de départ pour votre propre application iOS, ou vous y référer lorsque vous modifiez une application existante. L'exemple de code Main Repère est hébergé sur GitHub.

Télécharger le code

Les instructions suivantes vous expliquent comment créer une copie locale de l'exemple de code à l'aide de l'outil de ligne de commande git.

Pour télécharger l'exemple de code, procédez comme suit:

1. Clonez le dépôt git à l'aide de la commande suivante:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Si vous le souhaitez, configurez votre instance Git pour utiliser le paiement creux afin de n'avoir que les fichiers de l'application exemple Hand Markerer:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/hand_landmarker/ios/
   

Après avoir créé une version locale de l'exemple de code, vous pouvez installer la bibliothèque de tâches MediaPipe, ouvrir le projet à l'aide de Xcode et exécuter l'application. Pour obtenir des instructions, consultez le guide de configuration pour iOS.

Composants clés

Les fichiers suivants contiennent le code crucial de l'exemple d'application Hand Markerer:

• HandLandmarkerService.swift : initialise le jalon de main, gère la sélection du modèle et exécute l'inférence sur les données d'entrée.
• CameraViewController.swift : implémente l'interface utilisateur pour le mode d'entrée du flux de la caméra en direct et visualise les résultats.
• MediaLibraryViewController.swift : implémente l'interface utilisateur pour le mode d'entrée de fichier image fixe et vidéo, et visualise les résultats.

Préparation

Cette section décrit les étapes clés de la configuration de votre environnement de développement et de vos projets de code afin d'utiliser Hand Repère. Pour obtenir des informations générales sur la configuration de votre environnement de développement pour l'utilisation des tâches MediaPipe, y compris les exigences de version de la plate-forme, consultez le guide de configuration pour iOS.

Dépendances

Hand Markerer utilise la bibliothèque MediaPipeTasksVision, qui doit être installée à l'aide de CocoaPods. La bibliothèque est compatible avec les applications Swift et Objective-C, et ne nécessite aucune configuration spécifique au langage utilisé.

Pour savoir comment installer CocoaPods sous macOS, consultez le guide d'installation de CocoaPods. Pour savoir comment créer un Podfile avec les pods nécessaires à votre application, consultez la section Utiliser CocoaPods.

Ajoutez le pod MediaPipeTasksVision dans le fichier Podfile à l'aide du code suivant:

target 'MyHandLandmarkerApp' do
  use_frameworks!
  pod 'MediaPipeTasksVision'
end

Si votre application inclut des cibles de tests unitaires, consultez le guide de configuration pour iOS afin d'obtenir des informations supplémentaires sur la configuration de votre Podfile.

Modèle

La tâche MediaPipe Main Marker nécessite un modèle entraîné compatible avec cette tâche. Pour en savoir plus sur les modèles entraînés disponibles pour Main Marker, consultez la section Modèles de la présentation des tâches.

Sélectionnez et téléchargez un modèle, puis ajoutez-le au répertoire de votre projet à l'aide de Xcode. Pour savoir comment ajouter des fichiers à votre projet Xcode, consultez la page Gérer les fichiers et les dossiers dans votre projet Xcode.

Utilisez la propriété BaseOptions.modelAssetPath pour spécifier le chemin d'accès au modèle dans votre app bundle. Pour obtenir un exemple de code, consultez la section suivante.

Créer la tâche

Vous pouvez créer la tâche "Marqueur de main" en appelant l'un de ses initialiseurs. L'initialiseur HandLandmarker(options:) accepte les valeurs pour les options de configuration.

Si vous n'avez pas besoin d'un repère de main initialisé avec des options de configuration personnalisées, vous pouvez utiliser l'initialiseur HandLandmarker(modelPath:) pour créer un repère de main avec les options par défaut. Pour en savoir plus sur les options de configuration, consultez la section Présentation de la configuration.

La tâche "Point de repère" accepte trois types de données d'entrée: les images fixes, les fichiers vidéo et les flux vidéo en direct. Par défaut, HandLandmarker(modelPath:) initialise une tâche pour les images fixes. Si vous souhaitez que votre tâche soit initialisée pour traiter les fichiers vidéo ou les flux vidéo en direct, utilisez HandLandmarker(options:) pour spécifier le mode d'exécution de la vidéo ou du streaming en direct. Le mode "Diffusion en direct" nécessite également l'option de configuration handLandmarkerLiveStreamDelegate supplémentaire, qui permet au repère de main de fournir ces résultats au délégué de manière asynchrone.

Choisissez l'onglet correspondant à votre mode d'exécution pour voir comment créer la tâche et exécuter l'inférence.

Swift

import MediaPipeTasksVision

let modelPath = Bundle.main.path(forResource: "hand_landmarker",
                                      ofType: "task")

let options = HandLandmarkerOptions()
options.baseOptions.modelAssetPath = modelPath
options.runningMode = .image
options.minHandDetectionConfidence = minHandDetectionConfidence
options.minHandPresenceConfidence = minHandPresenceConfidence
options.minTrackingConfidence = minHandTrackingConfidence
options.numHands = numHands

let handLandmarker = try HandLandmarker(options: options)
    

import MediaPipeTasksVision

let modelPath = Bundle.main.path(forResource: "hand_landmarker",
                                      ofType: "task")

let options = HandLandmarkerOptions()
options.baseOptions.modelAssetPath = modelPath
options.runningMode = .video
options.minHandDetectionConfidence = minHandDetectionConfidence
options.minHandPresenceConfidence = minHandPresenceConfidence
options.minTrackingConfidence = minHandTrackingConfidence
options.numHands = numHands

let handLandmarker = try HandLandmarker(options: options)
    

import MediaPipeTasksVision

// Class that conforms to the `HandLandmarkerLiveStreamDelegate` protocol and
// implements the method that the hand landmarker calls once it finishes
// performing landmarks detection in each input frame.
class HandLandmarkerResultProcessor: NSObject, HandLandmarkerLiveStreamDelegate {

  func handLandmarker(
    _ handLandmarker: HandLandmarker,
    didFinishDetection result: HandLandmarkerResult?,
    timestampInMilliseconds: Int,
    error: Error?) {

    // Process the hand landmarker result or errors here.

  }
}

let modelPath = Bundle.main.path(
  forResource: "hand_landmarker",
  ofType: "task")

let options = HandLandmarkerOptions()
options.baseOptions.modelAssetPath = modelPath
options.runningMode = .liveStream
options.minHandDetectionConfidence = minHandDetectionConfidence
options.minHandPresenceConfidence = minHandPresenceConfidence
options.minTrackingConfidence = minHandTrackingConfidence
options.numHands = numHands

// Assign an object of the class to the `handLandmarkerLiveStreamDelegate`
// property.
let processor = HandLandmarkerResultProcessor()
options.handLandmarkerLiveStreamDelegate = processor

let handLandmarker = try HandLandmarker(options: options)
    

Objective-C

@import MediaPipeTasksVision;

NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"hand_landmarker"
                                                      ofType:@"task"];

MPPHandLandmarkerOptions *options = [[MPPHandLandmarkerOptions alloc] init];
options.baseOptions.modelAssetPath = modelPath;
options.runningMode = MPPRunningModeImage;
options.minHandDetectionConfidence = minHandDetectionConfidence;
options.minHandPresenceConfidence = minHandPresenceConfidence;
options.minTrackingConfidence = minHandTrackingConfidence;
options.numHands = numHands;

MPPHandLandmarker *handLandmarker =
  [[MPPHandLandmarker alloc] initWithOptions:options error:nil];
    

@import MediaPipeTasksVision;

NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"hand_landmarker"
                                                      ofType:@"task"];

MPPHandLandmarkerOptions *options = [[MPPHandLandmarkerOptions alloc] init];
options.baseOptions.modelAssetPath = modelPath;
options.runningMode = MPPRunningModeVideo;
options.minHandDetectionConfidence = minHandDetectionConfidence;
options.minHandPresenceConfidence = minHandPresenceConfidence;
options.minTrackingConfidence = minHandTrackingConfidence;
options.numHands = numHands;

MPPHandLandmarker *handLandmarker =
  [[MPPHandLandmarker alloc] initWithOptions:options error:nil];
    

@import MediaPipeTasksVision;

// Class that conforms to the `MPPHandLandmarkerLiveStreamDelegate` protocol
// and implements the method that the hand landmarker calls once it finishes
// performing landmarks detection in each input frame.

@interface APPHandLandmarkerResultProcessor : NSObject 

@end

@implementation APPHandLandmarkerResultProcessor

-   (void)handLandmarker:(MPPHandLandmarker *)handLandmarker
    didFinishDetectionWithResult:(MPPHandLandmarkerResult *)handLandmarkerResult
         timestampInMilliseconds:(NSInteger)timestampInMilliseconds
                           error:(NSError *)error {

    // Process the hand landmarker result or errors here.

}

@end

NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"hand_landmarker"
                                                      ofType:@"task"];

MPPHandLandmarkerOptions *options = [[MPPHandLandmarkerOptions alloc] init];
options.baseOptions.modelAssetPath = modelPath;
options.runningMode = MPPRunningModeLiveStream;
options.minHandDetectionConfidence = minHandDetectionConfidence;
options.minHandPresenceConfidence = minHandPresenceConfidence;
options.minTrackingConfidence = minHandTrackingConfidence;
options.numHands = numHands;

// Assign an object of the class to the `handLandmarkerLiveStreamDelegate`
// property.
APPHandLandmarkerResultProcessor *processor =
  [APPHandLandmarkerResultProcessor new];
options.handLandmarkerLiveStreamDelegate = processor;

MPPHandLandmarker *handLandmarker =
  [[MPPHandLandmarker alloc] initWithOptions:options error:nil];
    

Options de configuration

Cette tâche comporte les options de configuration suivantes pour les applications iOS:

Lorsque le mode de course est défini sur "Diffuser en direct", le repère de main nécessite l'option de configuration handLandmarkerLiveStreamDelegate supplémentaire, qui lui permet de fournir des résultats de détection de points de repère de main de manière asynchrone. Le délégué doit implémenter la méthode handLandmarker(_:didFinishDetection:timestampInMilliseconds:error:), que le repère de main appelle après avoir traité les résultats de détection des points de repère de la main pour chaque image.

Préparation des données

Vous devez convertir l'image ou le cadre d'entrée en objet MPImage avant de le transmettre à l'outil de repère de main. MPImage accepte différents types de formats d'image iOS et peut les utiliser dans n'importe quel mode d'exécution pour l'inférence. Pour en savoir plus sur MPImage, consultez l'API MPImage.

Choisissez un format d'image iOS en fonction de votre cas d'utilisation et du mode d'exécution requis par votre application.MPImage accepte les formats d'image iOS UIImage, CVPixelBuffer et CMSampleBuffer.

UIImage

Le format UIImage convient bien aux modes d'exécution suivants:

• Images: les images d'un app bundle, d'une galerie de l'utilisateur ou d'un système de fichiers au format UIImage peuvent être converties en objet MPImage.

• Vidéos: utilisez AVAssetImageGenerator pour extraire des images vidéo au format CGImage, puis convertissez-les en images UIImage.

// Load an image on the user's device as an iOS `UIImage` object.

// Convert the `UIImage` object to a MediaPipe's Image object having the default
// orientation `UIImage.Orientation.up`.
let image = try MPImage(uiImage: image)
    

// Load an image on the user's device as an iOS `UIImage` object.

// Convert the `UIImage` object to a MediaPipe's Image object having the default
// orientation `UIImageOrientationUp`.
MPImage *image = [[MPPImage alloc] initWithUIImage:image error:nil];
    

L'exemple initialise un MPImage avec l'orientation par défaut UIImage.Orientation.Up. Vous pouvez initialiser un MPImage avec l'une des valeurs UIImage.Orientation acceptées. Le repère de main n'est pas compatible avec les orientations en miroir, telles que .upMirrored, .downMirrored, .leftMirrored et .rightMirrored.

Pour en savoir plus sur UIImage, consultez la documentation sur l'UIImage pour les développeurs Apple.

CVPixelBuffer

Le format CVPixelBuffer convient bien aux applications qui génèrent des frames et utilisent le framework iOS CoreImage pour le traitement.

Le format CVPixelBuffer convient bien aux modes d'exécution suivants:

• Images: les applications qui génèrent des images CVPixelBuffer après un traitement à l'aide du framework CoreImage d'iOS peuvent être envoyées à l'outil de repère de main en mode d'exécution de l'image.

• Vidéos: les images vidéo peuvent être converties au format CVPixelBuffer pour traitement, puis envoyées au repère de main en mode vidéo.

• Diffusion en direct: les applications qui utilisent une caméra iOS pour générer des images peuvent être converties au format CVPixelBuffer à des fins de traitement avant d'être envoyées au repère de la main en mode de diffusion en direct.

// Obtain a CVPixelBuffer.

// Convert the `CVPixelBuffer` object to a MediaPipe's Image object having the default
// orientation `UIImage.Orientation.up`.
let image = try MPImage(pixelBuffer: pixelBuffer)
    

// Obtain a CVPixelBuffer.

// Convert the `CVPixelBuffer` object to a MediaPipe's Image object having the
// default orientation `UIImageOrientationUp`.
MPImage *image = [[MPPImage alloc] initWithUIImage:image error:nil];
    

Pour en savoir plus sur CVPixelBuffer, reportez-vous à la documentation sur CVPixelBuffer pour les développeurs.

CMSampleBuffer

Le format CMSampleBuffer stocke des échantillons multimédias d'un même type. Il convient parfaitement au mode d'exécution de diffusion en direct. Les images en direct des appareils photo iOS sont diffusées de manière asynchrone au format CMSampleBuffer par AVCaptureVideoDataOutput d'iOS.

// Obtain a CMSampleBuffer.

// Convert the `CMSampleBuffer` object to a MediaPipe's Image object having the default
// orientation `UIImage.Orientation.up`.
let image = try MPImage(sampleBuffer: sampleBuffer)
    

// Obtain a `CMSampleBuffer`.

// Convert the `CMSampleBuffer` object to a MediaPipe's Image object having the
// default orientation `UIImageOrientationUp`.
MPImage *image = [[MPPImage alloc] initWithSampleBuffer:sampleBuffer error:nil];
    

Pour en savoir plus sur CMSampleBuffer, reportez-vous à la documentation sur CMSampleBuffer pour les développeurs d'Apple.

Exécuter la tâche

Pour exécuter le repère de main, utilisez la méthode detect() spécifique au mode d'exécution attribué:

• Image fixe: detect(image:)
• Vidéo : detect(videoFrame:timestampInMilliseconds:)
• Diffusion en direct : detectAsync(image:timestampInMilliseconds:)

Swift

let result = try handLandmarker.detect(image: image)
    

let result = try handLandmarker.detect(
    videoFrame: image,
    timestampInMilliseconds: timestamp)
    

try handLandmarker.detectAsync(
  image: image,
  timestampInMilliseconds: timestamp)
    

Objective-C

MPPHandLandmarkerResult *result =
  [handLandmarker detectInImage:image error:nil];
    

MPPHandLandmarkerResult *result =
  [handLandmarker detectInVideoFrame:image
             timestampInMilliseconds:timestamp
                               error:nil];
    

BOOL success =
  [handLandmarker detectAsyncInImage:image
             timestampInMilliseconds:timestamp
                               error:nil];
    

L'exemple de code du repère de main montre les implémentations de chacun de ces modes plus en détail. L'exemple de code permet à l'utilisateur de basculer entre les modes de traitement, ce qui n'est peut-être pas nécessaire pour votre cas d'utilisation.

Veuillez noter les points suivants :

• Lors de l'exécution en mode vidéo ou en mode diffusion en direct, vous devez également fournir l'horodatage du frame d'entrée à la tâche Main Repère.

• Lors de l'exécution en mode image ou vidéo, la tâche Main Marker bloque le thread actuel jusqu'à ce qu'elle ait fini de traiter l'image ou le frame d'entrée. Pour éviter de bloquer le thread actuel, exécutez le traitement dans un thread en arrière-plan à l'aide des frameworks Dispatch ou NSOperation d'iOS.

• Lors de l'exécution en mode de diffusion en direct, la tâche "Main Repère" est renvoyée immédiatement et ne bloque pas le thread actuel. Il appelle la méthode handLandmarker(_:didFinishDetection:timestampInMilliseconds:error:) avec le résultat du repère de main après le traitement de chaque frame d'entrée. Le service de repère de la main appelle cette méthode de manière asynchrone sur une file d'attente de distribution en série dédiée. Pour afficher les résultats dans l'interface utilisateur, envoyez les résultats à la file d'attente principale après les avoir traités. Si la fonction detectAsync est appelée lorsque la tâche du repère de main est occupée à traiter une autre image, ce dernier ignore la nouvelle image d'entrée.

Gérer et afficher les résultats

Lors de l'exécution de l'inférence, la tâche Main Marker renvoie un HandLandmarkerResult qui contient les points de repère de la main en coordonnées d'image, les points de repère dans les coordonnées mondiales et la main dominante(main gauche/droite) des mains détectées.

Voici un exemple des données de sortie de cette tâche:

La sortie HandLandmarkerResult contient trois composants. Chaque composant est un tableau, où chaque élément contient les résultats suivants pour une seule main détectée:

• Main dominante

  La main dominante indique si les mains détectées sont des mains gauches ou droites.

• Points de repère

  Il y a 21 points de repère pour les mains, chacun composé des coordonnées x, y et z. Les coordonnées x et y sont normalisées à [0,0, 1,0] en fonction de la largeur et de la hauteur de l'image, respectivement. La coordonnée z représente la profondeur du point de repère, la profondeur au niveau du poignet correspondant à l'origine. Plus la valeur est faible, plus le point de repère est proche de la caméra. La magnitude de z utilise à peu près la même échelle que x.

• Monuments internationaux

  Les points de repère des 21 mains sont également indiqués en coordonnées mondiales. Chaque point de repère est composé de x, y et z, représentant des coordonnées 3D réelles en mètres avec le point de départ au centre géométrique de la main.

HandLandmarkerResult:
  Handedness:
    Categories #0:
      index        : 0
      score        : 0.98396
      categoryName : Left
  Landmarks:
    Landmark #0:
      x            : 0.638852
      y            : 0.671197
      z            : -3.41E-7
    Landmark #1:
      x            : 0.634599
      y            : 0.536441
      z            : -0.06984
    ... (21 landmarks for a hand)
  WorldLandmarks:
    Landmark #0:
      x            : 0.067485
      y            : 0.031084
      z            : 0.055223
    Landmark #1:
      x            : 0.063209
      y            : -0.00382
      z            : 0.020920
    ... (21 world landmarks for a hand)

L'image suivante montre une visualisation du résultat de la tâche: