MediaPipe 손 랜드마크 작업자 작업을 사용하면 이미지에서 손의 랜드마크를 감지할 수 있습니다. 이 작업을 사용하여 손의 주요 지점을 찾고 그 지점에 시각적 효과를 렌더링할 수 있습니다. 이 작업은 머신러닝(ML) 모델을 정적 데이터 또는 연속 스트림으로 사용하여 이미지 데이터를 대상으로 작동하고, 이미지 좌표에 손 랜드마크를 출력하고, 인식된 여러 손의 랜드마크를 세계 좌표에, 잘 쓰는 손(왼쪽/오른손)을 출력합니다.
시작하기
이 작업의 사용을 시작하려면 대상 플랫폼별 구현 가이드 중 하나를 따르세요. 다음의 플랫폼별 가이드에서는 권장 모델, 권장 구성 옵션이 있는 코드 예를 포함하여 이 작업의 기본 구현을 설명합니다.
태스크 세부정보
이 섹션에서는 이 태스크의 기능, 입력, 출력 및 구성 옵션을 설명합니다.
기능
- 입력 이미지 처리 - 처리에는 이미지 회전, 크기 조절, 정규화, 색 공간 변환이 포함됩니다.
- 점수 임곗값 - 예측 점수를 기준으로 결과를 필터링합니다.
| 작업 입력 | 작업 출력 |
|---|---|
손 랜드마크 도구는 다음 데이터 유형 중 하나를 입력할 수 있습니다.
|
손 랜드마크 도구는 다음 결과를 출력합니다.
|
구성 옵션
이 태스크에는 다음과 같은 구성 옵션이 있습니다.
| 옵션 이름 | 설명 | 값 범위 | 기본값 |
|---|---|---|---|
running_mode |
작업의 실행 모드를 설정합니다. 모드는 세 가지가 있습니다. IMAGE: 단일 이미지 입력 모드입니다. VIDEO: 동영상의 디코딩된 프레임에 대한 모드입니다. LIVE_STREAM: 카메라에서 전송하는 것과 같은 입력 데이터의 실시간 스트림 모드입니다. 이 모드에서는 resultListener를 호출하여 비동기식으로 결과를 수신하도록 리스너를 설정해야 합니다. |
{IMAGE, VIDEO, LIVE_STREAM} |
IMAGE |
num_hands |
손 랜드마크 감지기에서 감지한 최대 손 수입니다. | Any integer > 0 |
1 |
min_hand_detection_confidence |
손바닥 감지 모델에서 성공적인 것으로 간주하기 위한 손 감지의 최소 신뢰도 점수입니다. | 0.0 - 1.0 |
0.5 |
min_hand_presence_confidence |
손 랜드마크 감지 모델에서 손 존재 점수의 최소 신뢰도 점수입니다. 동영상 모드와 실시간 스트림 모드에서 손 랜드마크 모델의 손 존재 신뢰도 점수가 이 임계값보다 낮으면 손 랜드마크 도구는 손바닥 감지 모델을 트리거합니다. 그러지 않으면 가벼운 손 추적 알고리즘이 후속 랜드마크 감지를 위해 손의 위치를 결정합니다. | 0.0 - 1.0 |
0.5 |
min_tracking_confidence |
손바닥 추적을 성공으로 간주하기 위한 최소 신뢰도 점수입니다. 이는 현재 프레임과 마지막 프레임의 침 사이의 경계 상자 IoU 임곗값입니다. 손 랜드마크er의 동영상 모드 및 스트림 모드에서는 추적에 실패하면 손 랜드마크 도구가 손 감지를 트리거합니다. 그러지 않으면 손 감지를 건너뜁니다. | 0.0 - 1.0 |
0.5 |
result_callback |
손 랜드마크 기계가 라이브 스트림 모드일 때 감지 결과를 비동기식으로 수신하도록 결과 리스너를 설정합니다.
실행 모드가 LIVE_STREAM로 설정된 경우에만 적용됩니다. |
해당 사항 없음 | 해당 사항 없음 |
모델
손 랜드마크러는 두 가지 패키징된 모델인 손바닥 인식 모델과 손 랜드마크 감지 모델이 포함된 모델 번들을 사용합니다. 이 작업을 실행하려면 이러한 두 모델이 모두 포함된 모델 번들이 필요합니다.
| 모델 이름 | 입력 형태 | 양자화 유형 | 모델 카드 | 버전 |
|---|---|---|---|---|
| HandLandscapeer (전체) | 192 x 192, 224 x 224 | 부동 소수점 16 | 정보 | 최신 |
손 랜드마크 모델 번들은 감지된 손 영역 내에서 21개의 손바닥 좌표의 키포인트 현지화를 감지합니다. 이 모델은 약 30, 000개의 실제 이미지 및 다양한 배경에 적용된 여러 렌더링 합성 손 모델로 학습되었습니다.
손 랜드마크 모델 번들에는 손바닥 감지 모델과 손 랜드마크 감지 모델이 포함되어 있습니다. 손바닥 감지 모델은 입력 이미지 내에서 손을 찾고 손 랜드마크 감지 모델은 손바닥 감지 모델에서 정의한 잘린 손 이미지에서 특정 손 표시를 식별합니다.
손바닥 감지 모델을 실행하는 데는 시간이 오래 걸리므로, 동영상 또는 실시간 스트림 실행 모드에서는 손 랜드마크러가 한 프레임에서 손 모양 특징 모델로 정의된 경계 상자를 사용하여 후속 프레임에서 손의 영역을 현지화합니다. 손 랜드마크기는 손 랜드마크 모델이 더 이상 손의 존재를 식별하지 않거나 프레임 내에서 손을 추적하지 못하는 경우에만 손바닥 감지 모델을 다시 트리거합니다. 이렇게 하면 손 랜드마크 생성기가 손바닥 감지 모델을 조정하는 횟수가 줄어듭니다.
작업 벤치마크
다음은 위의 선행 학습된 모델을 기반으로 전체 파이프라인에 대한 작업 벤치마크입니다. 지연 시간 결과는 CPU / GPU를 사용하는 Pixel 6의 평균 지연 시간입니다.
| 모델 이름 | CPU 지연 시간 | GPU 지연 시간 |
|---|---|---|
| Handlander (전체) | 17.12밀리초 | 12.27밀리초 |