MediaPipe 얼굴 랜드마크 도구를 사용하면 이미지 및 동영상에서 얼굴 특징과 얼굴 표정을 감지할 수 있습니다. 이 작업을 사용하여 인간의 표정을 식별하고, 얼굴 필터와 효과를 적용하며, 가상 아바타를 만들 수 있습니다. 이 작업에서는 단일 이미지 또는 연속 이미지 스트림으로 작동할 수 있는 머신러닝 (ML) 모델을 사용합니다. 이 작업은 세부적인 얼굴 표면을 실시간으로 추론하는 3차원 얼굴 랜드마크, 혼합형 점수 (표정을 나타내는 계수), 변환 행렬을 출력하여 효과 렌더링에 필요한 변환을 실행합니다.
시작하기
대상 플랫폼별 구현 가이드에 따라 이 작업을 사용하세요. 다음의 플랫폼별 가이드에서는 권장 모델, 권장 구성 옵션이 있는 코드 예를 포함하여 이 작업의 기본 구현을 설명합니다.
태스크 세부정보
이 섹션에서는 이 태스크의 기능, 입력, 출력 및 구성 옵션을 설명합니다.
기능
- 입력 이미지 처리 - 처리에는 이미지 회전, 크기 조절, 정규화, 색 공간 변환이 포함됩니다.
- 점수 임곗값 - 예측 점수를 기준으로 결과를 필터링합니다.
| 작업 입력 | 작업 출력 |
|---|---|
얼굴 랜드마크 도구는 다음 데이터 유형 중 하나를 입력할 수 있습니다.
|
얼굴 랜드마크 도구는 다음 결과를 출력합니다.
|
구성 옵션
이 태스크에는 다음과 같은 구성 옵션이 있습니다.
| 옵션 이름 | 설명 | 값 범위 | 기본값 |
|---|---|---|---|
running_mode |
작업의 실행 모드를 설정합니다. 모드는 세 가지가 있습니다. IMAGE: 단일 이미지 입력 모드입니다. VIDEO: 동영상의 디코딩된 프레임에 대한 모드입니다. LIVE_STREAM: 카메라에서 전송하는 것과 같은 입력 데이터의 실시간 스트림 모드입니다. 이 모드에서는 resultListener를 호출하여 비동기식으로 결과를 수신하도록 리스너를 설정해야 합니다. |
{IMAGE, VIDEO, LIVE_STREAM} |
IMAGE |
num_faces |
FaceLandmarker에서 감지할 수 있는 최대 얼굴 수입니다. 평활화는 num_faces가 1로 설정된 경우에만 적용됩니다.
|
Integer > 0 |
1 |
min_face_detection_confidence |
얼굴 인식이 성공한 것으로 간주되기 위한 최소 신뢰도 점수입니다. | Float [0.0,1.0] |
0.5 |
min_face_presence_confidence |
얼굴 특징 감지에서 얼굴 인기척 점수의 최소 신뢰도 점수입니다. | Float [0.0,1.0] |
0.5 |
min_tracking_confidence |
얼굴 추적이 성공한 것으로 간주되기 위한 최소 신뢰도 점수입니다. | Float [0.0,1.0] |
0.5 |
output_face_blendshapes |
얼굴 랜드마크에서 얼굴 혼합 형태를 출력할지 여부입니다. 얼굴 혼합 형태는 3D 얼굴 모델을 렌더링하는 데 사용됩니다. | Boolean |
False |
output_facial_transformation_matrixes |
FaceLander에서 얼굴 변환 행렬을 출력하는지 여부를 나타냅니다. Facelander는 행렬을 사용하여 얼굴 랜드마크를 표준 얼굴 모델에서 감지된 얼굴로 변환하므로 사용자는 인식된 랜드마크에 효과를 적용할 수 있습니다. | Boolean |
False |
result_callback |
FaceLander가 라이브 스트림 모드일 때 랜드마크 결과를 비동기식으로 수신하도록 결과 리스너를 설정합니다.
달리기 모드가 LIVE_STREAM으로 설정된 경우에만 사용할 수 있습니다. |
ResultListener |
N/A |
모델
얼굴 랜드마크 도구는 일련의 모델을 사용하여 얼굴 랜드마크를 예측합니다. 첫 번째 모델은 얼굴을 감지하고, 두 번째 모델은 인식된 얼굴에서 랜드마크를 찾습니다. 세 번째 모델은 이러한 랜드마크를 사용하여 얼굴 특징과 표현을 식별합니다.
다음 모델은 다운로드 가능한 모델 번들로 패키징됩니다.
- 얼굴 인식 모델: 몇 가지 주요 얼굴 특징이 있는 얼굴이 있는지 감지합니다.
- 얼굴 메시 모델: 얼굴의 전체 매핑을 추가합니다. 이 모델은 478개의 3차원 얼굴 랜드마크 추정치를 출력합니다.
- Blendshape 예측 모델: 얼굴 메시 모델에서 여러 얼굴 표현을 나타내는 계수인 52개의 혼합 형태 점수를 예측합니다.
얼굴 감지 모델은 BlazeFace 단거리 모델로, 모바일 GPU 추론에 최적화된 가볍고 정확한 얼굴 감지기입니다. 자세한 내용은 얼굴 감지기 작업을 참고하세요.
아래 이미지는 모델 번들 출력에서 얼굴 특징의 전체 매핑을 보여줍니다.
얼굴 랜드마크를 더 자세히 보려면 원본 크기 이미지를 참고하세요.
| 모델 번들 | 입력 형태 | 데이터 유형 | 모델 카드 | 버전 |
|---|---|---|---|---|
| FaceLandmarker | FaceDetector: 192 x 192 FaceMesh-V2: 256 x 256 Blendshape: 1 x 146 x 2 |
부동 소수점 16 |
FaceDetector FaceMesh-V2 Blendshape |
최신 |