MediaPipe Face Landmarker 작업은 이미지와 동영상에서 얼굴 랜드마크와 얼굴 표정을 감지할 수 있도록 지원합니다. 이 작업을 사용하여 사람의 얼굴 표정을 식별하고, 얼굴 필터와 효과를 적용하고, 가상 아바타를 만들 수 있습니다. 이 작업에서는 단일 이미지 또는 연속된 이미지 스트림을 처리할 수 있는 머신러닝 (ML) 모델을 사용합니다. 이 작업은 효과 렌더링에 필요한 변환을 실행하기 위해 3차원 얼굴 랜드마크, 블렌드셰이프 점수 (얼굴 표정을 나타내는 계수)를 출력하여 실시간으로 자세한 얼굴 표면을 추론하고 변환 행렬을 출력합니다.
시작하기
타겟 플랫폼의 구현 가이드 중 하나를 따라 이 작업을 사용하세요. 이러한 플랫폼별 가이드에서는 권장 모델과 권장 구성 옵션이 포함된 코드 예시 등 이 작업의 기본 구현을 안내합니다.
태스크 세부정보
이 섹션에서는 이 태스크의 기능, 입력, 출력, 구성 옵션을 설명합니다.
기능
- 입력 이미지 처리 - 처리에는 이미지 회전, 크기 조절, 정규화, 색상 공간 변환이 포함됩니다.
- 점수 기준 - 예측 점수를 기준으로 결과를 필터링합니다.
| 태스크 입력 | 태스크 출력 |
|---|---|
얼굴 랜드마커는 다음 데이터 유형 중 하나의 입력을 허용합니다.
|
얼굴 랜드마커는 다음 결과를 출력합니다.
|
구성 옵션
이 작업에는 다음과 같은 구성 옵션이 있습니다.
| 옵션 이름 | 설명 | 값 범위 | 기본값 |
|---|---|---|---|
running_mode |
작업의 실행 모드를 설정합니다. 모드는 세 가지가 있습니다. IMAGE: 단일 이미지 입력을 위한 모드입니다. VIDEO: 디코딩된 동영상 프레임의 모드입니다. LIVE_STREAM: 카메라와 같은 입력 데이터의 라이브 스트림 모드입니다. 이 모드에서는 resultListener를 호출하여 결과를 비동기적으로 수신하는 리스너를 설정해야 합니다. |
{IMAGE, VIDEO, LIVE_STREAM} |
IMAGE |
num_faces |
FaceLandmarker에서 감지할 수 있는 최대 얼굴 수입니다. 스무딩은 num_faces가 1로 설정된 경우에만 적용됩니다.
|
Integer > 0 |
1 |
min_face_detection_confidence |
얼굴 감지가 성공으로 간주되기 위한 최소 신뢰도 점수입니다. | Float [0.0,1.0] |
0.5 |
min_face_presence_confidence |
얼굴 특징 감지에서 얼굴 존재 점수의 최소 신뢰도 점수입니다. | Float [0.0,1.0] |
0.5 |
min_tracking_confidence |
얼굴 추적이 성공으로 간주되기 위한 최소 신뢰도 점수입니다. | Float [0.0,1.0] |
0.5 |
output_face_blendshapes |
얼굴 특징 감지기가 얼굴 블렌드셰이프를 출력하는지 여부입니다. 얼굴 블렌드셰이프는 3D 얼굴 모델을 렌더링하는 데 사용됩니다. | Boolean |
False |
output_facial_transformation_matrixes |
FaceLandmarker가 얼굴 변환 행렬을 출력하는지 여부입니다. FaceLandmarker는 행렬을 사용하여 표준 얼굴 모델의 얼굴 특징을 감지된 얼굴로 변환하므로 사용자가 감지된 특징에 효과를 적용할 수 있습니다. | Boolean |
False |
result_callback |
FaceLandmarker가 라이브 스트림 모드일 때 랜드마커 결과를 비동기적으로 수신하도록 결과 리스너를 설정합니다.
실행 모드가 LIVE_STREAM로 설정된 경우에만 사용할 수 있습니다. |
ResultListener |
N/A |
모델
얼굴 특징 감지기는 일련의 모델을 사용하여 얼굴 특징을 예측합니다. 첫 번째 모델은 얼굴을 감지하고, 두 번째 모델은 감지된 얼굴에서 랜드마크를 찾고, 세 번째 모델은 이러한 랜드마크를 사용하여 얼굴 특징과 표정을 식별합니다.
다음 모델은 다운로드 가능한 모델 번들로 함께 패키징됩니다.
- 얼굴 인식 모델: 몇 가지 주요 얼굴 특징으로 얼굴의 존재를 감지합니다.
- 얼굴 메쉬 모델: 얼굴의 전체 매핑을 추가합니다. 모델은 478개의 3차원 얼굴 랜드마크 추정치를 출력합니다.
- 블렌드 셰이프 예측 모델: 얼굴 메시 모델의 출력을 수신하고 얼굴의 다양한 표정을 나타내는 계수인 52개의 블렌드 셰이프 점수를 예측합니다.
얼굴 감지 모델은 모바일 GPU 추론에 최적화된 경량의 정확한 얼굴 감지기인 BlazeFace 단거리 모델입니다. 자세한 내용은 얼굴 감지기 작업을 참고하세요.
아래 이미지는 모델 번들 출력의 얼굴 특징점의 전체 매핑을 보여줍니다.
얼굴 특징점의 자세한 보기는 전체 크기 이미지를 참고하세요.
| 모델 번들 | 입력 셰이프 | 데이터 유형 | 모델 카드 | 버전 |
|---|---|---|---|---|
| FaceLandmarker | FaceDetector: 192 x 192 FaceMesh-V2: 256 x 256 Blendshape: 1 x 146 x 2 |
float 16 |
FaceDetector FaceMesh-V2 Blendshape |
최신 |