A tarefa "Detector facial" permite detectar rostos em uma imagem ou um vídeo. Você pode usar essa tarefa para localizar rostos e características faciais em um frame. Essa tarefa usa um modelo de machine learning (ML) que funciona com imagens únicas ou um stream contínuo de imagens. A tarefa mostra localizações de rostos, com estes pontos-chave faciais: olho esquerdo, olho direito, ponta do nariz, boca, tragédia do olho esquerdo e trágico do olho direito.
O exemplo de código descrito nestas instruções está disponível no GitHub. Confira esta tarefa em ação nesta demonstração na Web. Para mais informações sobre os recursos, modelos e opções de configuração dessa tarefa, consulte a Visão geral.
Exemplo de código
O código de exemplo do MediaPipe Tasks é uma implementação simples de um app Detector de rostos para iOS. O exemplo usa a câmera de um dispositivo Android físico para detectar rostos em um stream de vídeo contínuo. O app também pode detectar rostos em imagens e vídeos da galeria do dispositivo.
Você pode usar o app como ponto de partida para seu próprio app iOS ou fazer referência a ele ao modificar um app existente. O código de exemplo do Detector de rostos está hospedado no GitHub.
Fazer o download do código
As instruções a seguir mostram como criar uma cópia local do código de exemplo usando a ferramenta de linha de comando git.
Para fazer o download do código de exemplo:
Clone o repositório git usando o seguinte comando:
git clone https://github.com/google-ai-edge/mediapipe-samples
Como opção, configure sua instância do git para usar a finalização da compra esparsa para que você tenha apenas os arquivos do app de exemplo do Detector de rostos:
cd mediapipe git sparse-checkout init --cone git sparse-checkout set examples/face_detector/ios/
Depois de criar uma versão local do código de exemplo, você poderá instalar a biblioteca de tarefas do MediaPipe, abrir o projeto usando o Xcode e executar o app. Para instruções, consulte o Guia de configuração para iOS.
Principais componentes
Os arquivos a seguir contêm o código crucial para o aplicativo de exemplo do Face Detector:
- FaceDetectorService.swift: inicializa o detector, processa a seleção do modelo e executa a inferência nos dados de entrada.
- CameraViewController: implementa a interface para o modo de entrada de feed da câmera em tempo real e visualiza os resultados da detecção.
- MediaLibraryViewController.swift: implementa a IU para o modo de entrada de arquivo de imagem e vídeo e visualiza os resultados de detecção.
Configuração
Nesta seção, descrevemos as principais etapas para configurar seu ambiente de desenvolvimento e projetos de código para usar o Face Detector. Para informações gerais sobre a configuração do ambiente de desenvolvimento para usar tarefas do MediaPipe, incluindo requisitos de versão da plataforma, consulte o Guia de configuração para iOS.
Dependências
O Face Detector usa a biblioteca MediaPipeTasksVision
, que precisa ser instalada usando CocoaPods. A biblioteca é compatível com apps Swift e Objective-C
e não requer nenhuma configuração específica da linguagem.
Para instruções sobre como instalar o CocoaPods no macOS, consulte o guia de instalação
do CocoaPods.
Para instruções sobre como criar um Podfile
com os pods necessários para o aplicativo, consulte Como usar o CocoaPods.
Adicione o pod do MediaPipeTasksVision no Podfile
usando o seguinte código:
target 'MyFaceDetectorApp' do
use_frameworks!
pod 'MediaPipeTasksVision'
end
Se o app incluir destinos de teste de unidade, consulte o Guia de configuração para
iOS para mais informações sobre como configurar
o Podfile
.
Modelo
A tarefa do detector facial do MediaPipe requer um modelo treinado compatível com ela. Para mais informações sobre os modelos treinados disponíveis para o Face Detector, consulte a seção Modelos de visão geral da tarefa.
Selecione e faça o download de um modelo e adicione-o ao diretório do projeto usando o Xcode. Para instruções sobre como adicionar arquivos ao projeto do Xcode, consulte Gerenciar arquivos e pastas no projeto do Xcode.
Use a propriedade BaseOptions.modelAssetPath
para especificar o caminho para o modelo
no seu pacote de apps. Confira um exemplo de código na próxima seção.
Criar a tarefa
É possível criar a tarefa do detector facial chamando um dos inicializadores. O inicializador FaceDetector(options:)
aceita valores para as opções de configuração.
Se você não precisa de um detector facial inicializado com opções de configuração
personalizadas, é possível usar o inicializador FaceDetector(modelPath:)
para criar um
detector facial com as opções padrão. Para mais informações sobre as opções
de configuração, consulte Visão geral da configuração.
A tarefa do Face Detector oferece suporte a três tipos de dados de entrada: imagens estáticas, arquivos de vídeo
e streams de vídeo ao vivo. Por padrão, FaceDetector(modelPath:)
inicializa uma tarefa para imagens estáticas. Se você quiser que sua tarefa seja inicializada para processar arquivos
de vídeo ou streams de vídeo ao vivo, use FaceDetector(options:)
para especificar o modo
de execução de vídeo ou transmissão ao vivo. O modo de transmissão ao vivo também requer a opção de configuração
faceDetectorLiveStreamDelegate
extra, que permite que o
Detector facial envie resultados de detecção facial para o delegado de forma assíncrona.
Escolha a guia correspondente ao seu modo de execução para saber como criar a tarefa e executar a inferência.
Swift
Imagem
import MediaPipeTasksVision let modelPath = Bundle.main.path(forResource: "model", ofType: "tflite") let options = FaceDetectorOptions() options.baseOptions.modelAssetPath = modelPath options.runningMode = .image let faceDetector = try FaceDetector(options: options)
Video
import MediaPipeTasksVision let modelPath = Bundle.main.path(forResource: "model", ofType: "tflite") let options = FaceDetectorOptions() options.baseOptions.modelAssetPath = modelPath options.runningMode = .video let faceDetector = try FaceDetector(options: options)
Transmissões ao vivo
import MediaPipeTasksVision // Class that conforms to the `FaceDetectorLiveStreamDelegate` protocol and // implements the method that the face detector calls once it finishes // detecting faces in each input frame. class FaceDetectorResultProcessor: NSObject, FaceDetectorLiveStreamDelegate { func faceDetector( _ faceDetector: FaceDetector, didFinishDetection result: FaceDetectorResult?, timestampInMilliseconds: Int, error: Error?) { // Process the face detection result or errors here. } } let modelPath = Bundle.main.path( forResource: "model", ofType: "tflite") let options = FaceDetectorOptions() options.baseOptions.modelAssetPath = modelPath options.runningMode = .liveStream // Assign an object of the class to the `faceDetectorLiveStreamDelegate` // property. let processor = FaceDetectorResultProcessor() options.faceDetectorLiveStreamDelegate = processor let faceDetector = try FaceDetector(options: options)
Objective-C
Imagem
@import MediaPipeTasksVision; NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"model" ofType:@"tflite"]; MPPFaceDetectorOptions *options = [[MPPFaceDetectorOptions alloc] init]; options.baseOptions.modelAssetPath = modelPath; options.runningMode = MPPRunningModeImage; MPPFaceDetector *faceDetector = [[MPPFaceDetector alloc] initWithOptions:options error:nil];
Video
@import MediaPipeTasksVision; NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"model" ofType:@"tflite"]; MPPFaceDetectorOptions *options = [[MPPFaceDetectorOptions alloc] init]; options.baseOptions.modelAssetPath = modelPath; options.runningMode = MPPRunningModeVideo; MPPFaceDetector *faceDetector = [[MPPFaceDetector alloc] initWithOptions:options error:nil];
Transmissões ao vivo
@import MediaPipeTasksVision; // Class that conforms to the `MPPFaceDetectorLiveStreamDelegate` protocol // and implements the method that the face detector calls once it finishes // detecting faces in each input frame. @interface APPFaceDetectorResultProcessor : NSObject@end @implementation APPFaceDetectorResultProcessor - (void)faceDetector:(MPPFaceDetector *)faceDetector didFinishDetectionWithResult:(MPPFaceDetectorResult *)faceDetectorResult timestampInMilliseconds:(NSInteger)timestampInMilliseconds error:(NSError *)error { // Process the face detector result or errors here. } @end NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"model" ofType:@"tflite"]; MPPFaceDetectorOptions *options = [[MPPFaceDetectorOptions alloc] init]; options.baseOptions.modelAssetPath = modelPath; options.runningMode = MPPRunningModeLiveStream; // Assign an object of the class to the `faceDetectorLiveStreamDelegate` // property. APPFaceDetectorResultProcessor *processor = [APPFaceDetectorResultProcessor new]; options.faceDetectorLiveStreamDelegate = processor; MPPFaceDetector *faceDetector = [[MPPFaceDetector alloc] initWithOptions:options error:nil];
Observação:se você usar o modo de vídeo ou de transmissão ao vivo, o Face Detector usará o rastreamento para evitar o acionamento do modelo de detecção em cada frame, o que ajuda a reduzir a latência.
Opções de configuração
Esta tarefa tem as seguintes opções de configuração para apps iOS:
Nome da opção | Descrição | Intervalo de valor | Valor padrão |
---|---|---|---|
runningMode |
Define o modo de execução da tarefa. Há três
modos: IMAGE: o modo para entradas de imagem única. VIDEO: o modo para frames decodificados de um vídeo. LIVE_STREAM: é o modo para uma transmissão ao vivo de dados de entrada, como de uma câmera. Nesse modo, o resultListener precisa ser chamado para configurar um listener para receber resultados de forma assíncrona. |
{RunningMode.image, RunningMode.video, RunningMode.liveStream } |
RunningMode.image |
minDetectionConfidence |
A pontuação de confiança mínima para que a detecção facial seja considerada bem-sucedida. | Float [0,1] |
0.5 |
minSuppressionThreshold |
O limite mínimo de supressão não máxima para que a detecção facial seja considerada sobreposta. | Float [0,1] |
0.3 |
Configuração da transmissão ao vivo
Quando o modo de execução é definido como transmissão ao vivo, o Face Detector exige a opção de configuração faceDetectorLiveStreamDelegate
extra, o que permite que o detector facial forneça resultados de detecção de maneira assíncrona. O delegado implementa o método faceDetector(_:didFinishDetection:timestampInMilliseconds:error:)
, que o Detector de rostos chama depois de processar os resultados da detecção facial para cada frame.
Nome da opção | Descrição | Intervalo de valor | Valor padrão |
---|---|---|---|
faceDetectorLiveStreamDelegate |
Permite que o Face Detector receba resultados de detecção facial de maneira assíncrona no modo de transmissão ao vivo. A classe com a instância definida para essa propriedade precisa implementar o método faceDetector(_:didFinishDetection:timestampInMilliseconds:error:) . |
Não relevante | Não definido |
preparar dados
É necessário converter a imagem de entrada ou o frame em um objeto MPImage
antes de transmiti-lo ao detector facial. O MPImage
é compatível com diferentes tipos de formatos de imagem do iOS e pode usá-los em qualquer modo de execução para inferência. Para mais
informações sobre MPImage
, consulte a
API MPImage.
Escolha um formato de imagem do iOS com base no seu caso de uso e no modo de execução exigido pelo
aplicativo.MPImage
aceita os formatos de imagem UIImage
, CVPixelBuffer
e
CMSampleBuffer
do iOS.
UIImage
O formato UIImage
é adequado para os seguintes modos de execução:
Imagens: imagens de um pacote de apps, da galeria do usuário ou do sistema de arquivos formatadas como imagens
UIImage
podem ser convertidas em um objetoMPImage
.Vídeos: use o AVAssetImageGenerator para extrair frames de vídeo para o formato CGImage e convertê-los em imagens
UIImage
.
Swift
// Load an image on the user's device as an iOS `UIImage` object. // Convert the `UIImage` object to a MediaPipe's Image object having the default // orientation `UIImage.Orientation.up`. let image = try MPImage(uiImage: image)
Objective-C
// Load an image on the user's device as an iOS `UIImage` object. // Convert the `UIImage` object to a MediaPipe's Image object having the default // orientation `UIImageOrientationUp`. MPImage *image = [[MPPImage alloc] initWithUIImage:image error:nil];
O exemplo inicializa um MPImage
com a orientação
UIImage.Orientation.Up
padrão. É possível inicializar um MPImage
com qualquer um dos valores
UIImage.Orientation
compatíveis. O detector facial não oferece suporte a orientações espelhadas, como .upMirrored
, .downMirrored
, .leftMirrored
e .rightMirrored
.
Para mais informações sobre o UIImage
, consulte a documentação do desenvolvedor da Apple UIImage.
CVPixelBuffer
O formato CVPixelBuffer
é adequado para aplicativos que geram frames e usam o framework CoreImage do iOS para processamento.
O formato CVPixelBuffer
é adequado para os seguintes modos de execução:
Imagens: apps que geram imagens
CVPixelBuffer
após algum processamento usando o frameworkCoreImage
do iOS podem ser enviados ao Face Detector no modo de execução de imagens.Vídeos: os frames de vídeo podem ser convertidos para o formato
CVPixelBuffer
para processamento e, em seguida, enviados para o Face Detector no modo de vídeo.transmissão ao vivo: os apps que usam uma câmera do iOS para gerar frames podem ser convertidos no formato
CVPixelBuffer
para processamento antes de serem enviados ao Detector facial no modo de transmissão ao vivo.
Swift
// Obtain a CVPixelBuffer. // Convert the `CVPixelBuffer` object to a MediaPipe's Image object having the default // orientation `UIImage.Orientation.up`. let image = try MPImage(pixelBuffer: pixelBuffer)
Objective-C
// Obtain a CVPixelBuffer. // Convert the `CVPixelBuffer` object to a MediaPipe's Image object having the // default orientation `UIImageOrientationUp`. MPImage *image = [[MPPImage alloc] initWithUIImage:image error:nil];
Para mais informações sobre o CVPixelBuffer
, consulte a Documentação do desenvolvedor da Apple CVPixelBuffer (em inglês).
CMSampleBuffer
O formato CMSampleBuffer
armazena amostras de mídia de um tipo uniforme e é
adequado para o modo de execução de transmissão ao vivo. Os frames ativos de câmeras do iOS são
enviados de forma assíncrona no formato CMSampleBuffer
pelo
AVCaptureVideoDataOutput do iOS.
Swift
// Obtain a CMSampleBuffer. // Convert the `CMSampleBuffer` object to a MediaPipe's Image object having the default // orientation `UIImage.Orientation.up`. let image = try MPImage(sampleBuffer: sampleBuffer)
Objective-C
// Obtain a `CMSampleBuffer`. // Convert the `CMSampleBuffer` object to a MediaPipe's Image object having the // default orientation `UIImageOrientationUp`. MPImage *image = [[MPPImage alloc] initWithSampleBuffer:sampleBuffer error:nil];
Para mais informações sobre CMSampleBuffer
, consulte a documentação do desenvolvedor da Apple
CMSampleBuffer (em inglês).
Executar a tarefa
Para executar o detector facial, use o método detect()
específico do modo de corrida
atribuído:
- Imagem estática:
detect(image:)
- Vídeo:
detect(videoFrame:timestampInMilliseconds:)
- Transmissão ao vivo:
detectAsync(image:timestampInMilliseconds:)
O detector facial retorna os rostos detectados na imagem ou no frame de entrada.
Os exemplos de código abaixo mostram exemplos simples de como executar o Face Detector nesses diferentes modos de execução:
Swift
Imagem
let result = try faceDetector.detect(image: image)
Video
let result = try faceDetector.detect( videoFrame: image, timestampInMilliseconds: timestamp)
Transmissões ao vivo
try faceDetector.detectAsync( image: image, timestampInMilliseconds: timestamp)
Objective-C
Imagem
MPPFaceDetectorResult *result = [faceDetector detectInImage:image error:nil];
Video
MPPFaceDetectorResult *result = [faceDetector detectInVideoFrame:image timestampInMilliseconds:timestamp error:nil];
Transmissões ao vivo
BOOL success = [faceDetector detectAsyncInImage:image timestampInMilliseconds:timestamp error:nil];
O exemplo de código do Detector de rostos mostra as implementações de cada um desses modos
em mais detalhes, detect(image:)
, detect(videoFrame:timestampInMilliseconds:)
e detectAsync(image:timestampInMilliseconds:)
. O código de exemplo permite que o
usuário alterne entre os modos de processamento, o que pode não ser necessário para seu caso de
uso.
Observe o seguinte:
Ao executar no modo de vídeo ou de transmissão ao vivo, você também precisa fornecer o carimbo de data/hora do frame de entrada para a tarefa do Detector de rostos.
Quando executada no modo de imagem ou vídeo, a tarefa do Face Detector bloqueia a linha de execução atual até terminar de processar a imagem ou o frame de entrada. Para evitar o bloqueio da linha de execução atual, execute o processamento em uma linha de execução em segundo plano usando os frameworks Dispatch ou NSOperation do iOS.
Quando executada no modo de transmissão ao vivo, a tarefa do Face Detector é retornada imediatamente e não bloqueia a linha de execução atual. Ele invoca o método
faceDetector(_:didFinishDetection:timestampInMilliseconds:error:)
com o resultado da detecção facial após o processamento de cada frame de entrada. O Detector facial invoca esse método de forma assíncrona em uma fila de envio em série dedicada. Para exibir resultados na interface do usuário, envie os resultados para a fila principal depois de processá-los. Se a funçãodetectAsync
for chamada quando a tarefa do Face Detector estiver ocupada processando outro frame, o Face Detector ignorará o novo frame de entrada.
Gerenciar e mostrar resultados
Ao executar a inferência, a tarefa do Face Detector retorna um objeto FaceDetectorResult
que contém as caixas delimitadoras dos rostos detectados e uma pontuação de
confiança para cada um deles.
Veja a seguir um exemplo dos dados de saída dessa tarefa:
FaceDetectionResult:
Detections:
Detection #0:
BoundingBox:
origin_x: 126
origin_y: 100
width: 463
height: 463
Categories:
Category #0:
index: 0
score: 0.9729152917861938
NormalizedKeypoints:
NormalizedKeypoint #0:
x: 0.18298381567001343
y: 0.2961040139198303
NormalizedKeypoint #1:
x: 0.3302789330482483
y: 0.29289937019348145
... (6 keypoints for each face)
Detection #1:
BoundingBox:
origin_x: 616
origin_y: 193
width: 430
height: 430
Categories:
Category #0:
index: 0
score: 0.9251380562782288
NormalizedKeypoints:
NormalizedKeypoint #0:
x: 0.6151331663131714
y: 0.3713381886482239
NormalizedKeypoint #1:
x: 0.7460576295852661
y: 0.38825345039367676
... (6 keypoints for each face)
A imagem abaixo mostra uma visualização da saída da tarefa:
Para a imagem sem caixas delimitadoras, consulte a imagem original.
O código de exemplo do Detector de rostos demonstra como exibir os resultados. Veja o exemplo de código para mais detalhes.