A tarefa MediaPipe Face Scoreer permite detectar pontos de referência do rosto e expressões faciais no imagens e vídeos. Você pode usar essa tarefa para identificar expressões faciais humanas, aplique efeitos e filtros faciais e crie avatares virtuais. Esta tarefa usa de machine learning (ML) que funcionam com imagens únicas ou uma fluxo de imagens. A tarefa gera pontos de referência tridimensionais de rostos, forma de mistura pontuações (coeficientes que representam expressões faciais) para inferir dados faciais detalhados as superfícies em tempo real, e as matrizes de transformação transformações necessárias para a renderização de efeitos.
O exemplo de código descrito nestas instruções está disponível em GitHub. Para mais informações sobre recursos, modelos e opções de configuração, desta tarefa, consulte a Visão geral.
Exemplo de código
O código de exemplo do MediaPipe Tasks é uma implementação simples de um Face Pointser. para Android. O exemplo usa a câmera de um dispositivo Android físico para detectar rostos em um stream de vídeo contínuo. O app também pode detectar rostos imagens e vídeos da galeria do dispositivo.
Você pode usar o app como ponto de partida para seu próprio app Android ou consultá-lo ao modificar um aplicativo existente. O código de exemplo do Face Markdown está hospedado em GitHub.
Fazer o download do código
As instruções a seguir mostram como criar uma cópia local do exemplo. usando a ferramenta de linha de comando git.
Para fazer o download do código de exemplo:
- Clone o repositório git usando o seguinte comando:
git clone https://github.com/google-ai-edge/mediapipe-samples
- Opcionalmente, configure sua instância git para usar a finalização esparsa. Assim, você terá
somente os arquivos do app de exemplo do Face Markdown:
cd mediapipe git sparse-checkout init --cone git sparse-checkout set examples/face_landmarker/android
Depois de criar uma versão local do código de exemplo, você pode importar o projeto no Android Studio e executar o app. Para obter instruções, consulte o Guia de configuração do Android.
Principais componentes
Os arquivos a seguir contêm o código essencial para este exemplo de ponto de referência de rostos aplicativo:
- FaceLandmarkerHelper.kt: inicializa o referência de rosto do rosto e gerencia o modelo e o delegado
- CameraFragment.kt: gerencia a câmera do dispositivo e processa os dados de entrada de imagem e vídeo.
- GalleryFragment.kt: interage com
OverlayView
para exibir a imagem ou o vídeo de saída. - OverlayView.kt: implementa a exibição com uma malha de rostos para os rostos detectados.
Configuração
Esta seção descreve as principais etapas para configurar seu ambiente de desenvolvimento e projetos de código especificamente para usar o Face Pointser. Para informações gerais a configuração do seu ambiente de desenvolvimento para usar tarefas do MediaPipe, incluindo requisitos de versão da plataforma, consulte o Guia de configuração do Android.
Dependências
A tarefa "Face Markdown" usa a biblioteca com.google.mediapipe:tasks-vision
. Adicionar
esta dependência para o arquivo build.gradle
do seu app Android:
dependencies {
implementation 'com.google.mediapipe:tasks-vision:latest.release'
}
Modelo
A tarefa MediaPipe Face Scoreer requer um pacote de modelos treinados que seja compatível com para essa tarefa. Para mais informações sobre os modelos treinados disponíveis para o Face Markdown, consulte a seção Modelos na visão geral da tarefa.
Selecione e faça o download do modelo e armazene-o no diretório do projeto:
<dev-project-root>/src/main/assets
Especifique o caminho do modelo no parâmetro ModelAssetPath
. Na
código de exemplo, o modelo é definido na
FaceLandmarkerHelper.kt
arquivo:
baseOptionsBuilder.setModelAssetPath(MP_FACE_LANDMARKER_TASK)
Criar a tarefa
A tarefa MediaPipe Face Markdowner usa a função createFromOptions()
para configurar o
tarefa. A função createFromOptions()
aceita valores para a configuração.
. Para mais informações sobre as opções de configuração, consulte Configuração
.
O Face Markdown é compatível com os seguintes tipos de dados de entrada: imagens estáticas, vídeos arquivos e streams de vídeo ao vivo. É preciso especificar o modo de corrida correspondente ao seu tipo de dados de entrada ao criar a tarefa. Escolha a guia para o tipo de dados de entrada para saber como criar a tarefa e executar a inferência.
Imagem
val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(MP_FACE_LANDMARKER_TASK) val baseOptions = baseOptionBuilder.build() val optionsBuilder = FaceLandmarker.FaceLandmarkerOptions.builder() .setBaseOptions(baseOptionsBuilder.build()) .setMinFaceDetectionConfidence(minFaceDetectionConfidence) .setMinTrackingConfidence(minFaceTrackingConfidence) .setMinFacePresenceConfidence(minFacePresenceConfidence) .setNumFaces(maxNumFaces) .setRunningMode(RunningMode.IMAGE) val options = optionsBuilder.build() FaceLandmarker = FaceLandmarker.createFromOptions(context, options)
Vídeo
val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(MP_FACE_LANDMARKER_TASK) val baseOptions = baseOptionBuilder.build() val optionsBuilder = FaceLandmarker.FaceLandmarkerOptions.builder() .setBaseOptions(baseOptionsBuilder.build()) .setMinFaceDetectionConfidence(minFaceDetectionConfidence) .setMinTrackingConfidence(minFaceTrackingConfidence) .setMinFacePresenceConfidence(minFacePresenceConfidence) .setNumFaces(maxNumFaces) .setRunningMode(RunningMode.VIDEO) val options = optionsBuilder.build() FaceLandmarker = FaceLandmarker.createFromOptions(context, options)
Transmissão ao vivo
val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(MP_FACE_LANDMARKER_TASK) val baseOptions = baseOptionBuilder.build() val optionsBuilder = FaceLandmarker.FaceLandmarkerOptions.builder() .setBaseOptions(baseOptionsBuilder.build()) .setMinFaceDetectionConfidence(minFaceDetectionConfidence) .setMinTrackingConfidence(minFaceTrackingConfidence) .setMinFacePresenceConfidence(minFacePresenceConfidence) .setNumFaces(maxNumFaces) .setResultListener(this::returnLivestreamResult) .setErrorListener(this::returnLivestreamError) .setRunningMode(RunningMode.LIVE_STREAM) val options = optionsBuilder.build() FaceLandmarker = FaceLandmarker.createFromOptions(context, options)
A implementação de código de exemplo do Face marcoer permite que o usuário alterne entre
os modos de processamento. A abordagem torna o código de criação da tarefa mais complicado
podem não ser adequados para seu caso de uso. Confira esse código
função setupFaceLandmarker()
na
FaceLandmarkerHelper.kt
.
Opções de configuração
Esta tarefa tem as seguintes opções de configuração para apps Android:
Nome da opção | Descrição | Intervalo de valor | Valor padrão |
---|---|---|---|
runningMode |
Define o modo de execução da tarefa. Existem três
modos: IMAGEM: o modo para entradas de imagem única. VÍDEO: o modo para frames decodificados de um vídeo. LIVE_STREAM: o modo de transmissão ao vivo da entrada dados de uma câmera, por exemplo. Neste modo, resultListener deve ser chamado para configurar um listener e receber resultados de forma assíncrona. |
{IMAGE, VIDEO, LIVE_STREAM } |
IMAGE |
numFaces |
O número máximo de rostos que podem ser detectados pelo
o FaceLandmarker . A suavização só é aplicada quando
num_faces é definido como 1.
|
Integer > 0 |
1 |
minFaceDetectionConfidence |
A pontuação de confiança mínima para que a detecção facial seja considerada bem-sucedida. | Float [0.0,1.0] |
0.5 |
minFacePresenceConfidence |
A pontuação de confiança mínima da presença facial na detecção de pontos de referência do rosto. | Float [0.0,1.0] |
0.5 |
minTrackingConfidence |
A pontuação de confiança mínima para o rastreamento facial para ser considerado bem-sucedido. | Float [0.0,1.0] |
0.5 |
outputFaceBlendshapes |
Define se o marco de rostos gera combinações de rostos. As formas de mesclagem de rostos são usadas para renderizar o modelo de rosto em 3D. | Boolean |
False |
outputFacialTransformationMatrixes |
Define se FaceLandmarker gera o efeito facial matriz de transformação. O FaceLandmarker usa o para transformar os pontos de referência faciais de um modelo de rosto canônico para o rosto detectado, para que os usuários possam aplicar efeitos aos pontos de referência detectados. | Boolean |
False |
resultListener |
Define o listener de resultados para receber os resultados do detector de ponto de referência.
de forma assíncrona quando FaceLandmarker estiver no modo de transmissão ao vivo.
Só pode ser usado quando o modo de corrida está definido como LIVE_STREAM |
ResultListener |
N/A |
errorListener |
Define um listener de erro opcional. | ErrorListener |
N/A |
Preparar dados
O Face Markdown funciona com imagens, arquivos de vídeo e streams de vídeo ao vivo. A tarefa lida com o pré-processamento de entrada de dados, incluindo redimensionamento, rotação e valor. normalização.
O código a seguir demonstra como transferir dados para processamento. Esses os exemplos incluem detalhes sobre como lidar com dados de imagens, arquivos de vídeo e streams de vídeo.
Imagem
import com.google.mediapipe.framework.image.BitmapImageBuilder import com.google.mediapipe.framework.image.MPImage // Convert the input Bitmap object to an MPImage object to run inference val mpImage = BitmapImageBuilder(image).build()
Vídeo
import com.google.mediapipe.framework.image.BitmapImageBuilder import com.google.mediapipe.framework.image.MPImage val argb8888Frame = if (frame.config == Bitmap.Config.ARGB_8888) frame else frame.copy(Bitmap.Config.ARGB_8888, false) // Convert the input Bitmap object to an MPImage object to run inference val mpImage = BitmapImageBuilder(argb8888Frame).build()
Transmissão ao vivo
import com.google.mediapipe.framework.image.BitmapImageBuilder import com.google.mediapipe.framework.image.MPImage // Convert the input Bitmap object to an MPImage object to run inference val mpImage = BitmapImageBuilder(rotatedBitmap).build()
No exemplo de código do Face Markdown, a preparação de dados é processada no elemento
FaceLandmarkerHelper.kt
.
Executar a tarefa
Dependendo do tipo de dados com os quais você está trabalhando, use o
Método FaceLandmarker.detect...()
específico para esse tipo de dados. Usar
detect()
para imagens individuais, detectForVideo()
para frames em arquivos de vídeo
e detectAsync()
para streams de vídeo. Quando você realiza detecções
stream de vídeo, execute as detecções em uma linha de execução separada para evitar
bloquear a linha de execução da interface do usuário.
Os exemplos de código a seguir mostram exemplos simples de como executar o Face marcoer. nesses diferentes modos de dados:
Imagem
val result = FaceLandmarker.detect(mpImage)
Vídeo
val timestampMs = i * inferenceIntervalMs FaceLandmarker.detectForVideo(mpImage, timestampMs) .let { detectionResult -> resultList.add(detectionResult) }
Transmissão ao vivo
val mpImage = BitmapImageBuilder(rotatedBitmap).build() val frameTime = SystemClock.uptimeMillis() FaceLandmarker.detectAsync(mpImage, frameTime)
Observe o seguinte:
- Ao executar no modo de vídeo ou de transmissão ao vivo, você deve fornecer os carimbo de data/hora do frame de entrada para a tarefa "Face Markdown".
- Ao ser executado na imagem ou no modo de vídeo, a tarefa "Face Markdown" é bloqueada na linha de execução atual até terminar de processar a imagem ou o frame de entrada. Para evite o bloqueio da interface do usuário, execute o processamento em segundo plano fio
- Quando executada no modo de transmissão ao vivo, a tarefa "Face Markdown" retorna imediatamente e não bloqueia a linha de execução atual. Ele vai invocar o resultado com o resultado da detecção sempre que ele termina de processar um frame de entrada.
No código de exemplo do Face Markdown, detect
, detectForVideo
e
As funções detectAsync
são definidas
FaceLandmarkerHelper.kt
.
Gerenciar e exibir resultados
O Face marcoer retorna um objeto FaceLandmarkerResult
para cada detecção.
correr. O objeto do resultado contém uma malha de rosto para cada rosto detectado, com
coordenadas para cada ponto de referência do rosto. Opcionalmente, o objeto de resultado também pode
contêm formas mistas, que indicam expressões faciais, e
matrizes de transformação para aplicar efeitos faciais aos pontos de referência detectados.
Confira abaixo um exemplo dos dados de saída desta tarefa:
FaceLandmarkerResult:
face_landmarks:
NormalizedLandmark #0:
x: 0.5971359014511108
y: 0.485361784696579
z: -0.038440968841314316
NormalizedLandmark #1:
x: 0.3302789330482483
y: 0.29289937019348145
z: -0.09489090740680695
... (478 landmarks for each face)
face_blendshapes:
browDownLeft: 0.8296722769737244
browDownRight: 0.8096957206726074
browInnerUp: 0.00035583582939580083
browOuterUpLeft: 0.00035752105759456754
... (52 blendshapes for each face)
facial_transformation_matrixes:
[9.99158978e-01, -1.23036895e-02, 3.91213447e-02, -3.70770246e-01]
[1.66496094e-02, 9.93480563e-01, -1.12779640e-01, 2.27719707e+01]
...
A imagem abaixo mostra uma visualização da saída da tarefa:
O código de exemplo do Face marcoer demonstra como exibir os resultados retornados.
da tarefa, consulte a
OverlayView
para mais detalhes.