MediaPipe 이미지 분류기 작업을 사용하면 이미지를 분류할 수 있습니다. 이 작업을 사용하여 학습 시 정의된 카테고리 집합에서 이미지가 나타내는 것이 무엇인지 식별할 수 있습니다. 이 작업은 머신러닝 (ML) 모델을 정적 데이터 또는 연속 스트림으로 사용하여 이미지 데이터를 대상으로 작동하며, 확률 점수 내림차순에 따라 순위가 매겨진 잠재적 카테고리 목록을 출력합니다.
시작하기
이 작업의 사용을 시작하려면 대상 플랫폼별 구현 가이드 중 하나를 따르세요. 이러한 플랫폼별 가이드에서는 권장 모델을 사용하여 이 작업의 기본 구현을 안내하고 권장 구성 옵션이 포함된 코드 예를 제공합니다.
태스크 세부정보
이 섹션에서는 이 태스크의 기능, 입력, 출력 및 구성 옵션을 설명합니다.
기능
- 입력 이미지 처리 - 처리에는 이미지 회전, 크기 조절, 정규화, 색 공간 변환이 포함됩니다.
- 관심 지역 - 전체 이미지 대신 이미지 영역을 기준으로 분류를 수행합니다.
- 라벨 지도 언어 - 표시 이름에 사용되는 언어를 설정합니다.
- 점수 임곗값 - 예측 점수를 기준으로 결과를 필터링합니다.
- 최상위 K 분류 - 분류 결과의 수를 제한합니다.
- 라벨 허용 목록 및 차단 목록 - 분류된 카테고리를 지정합니다.
| 작업 입력 | 작업 출력 |
|---|---|
입력은 다음 데이터 유형 중 하나일 수 있습니다.
|
이미지 분류기는 다음을 포함하는 카테고리 목록을 출력합니다.
|
구성 옵션
이 태스크에는 다음과 같은 구성 옵션이 있습니다.
| 옵션 이름 | 설명 | 값 범위 | 기본값 |
|---|---|---|---|
running_mode |
작업의 실행 모드를 설정합니다. 모드는 세 가지가 있습니다. IMAGE: 단일 이미지 입력 모드입니다. VIDEO: 동영상의 디코딩된 프레임에 대한 모드입니다. LIVE_STREAM: 카메라에서 전송하는 것과 같은 입력 데이터의 실시간 스트림 모드입니다. 이 모드에서는 resultListener를 호출하여 비동기식으로 결과를 수신하도록 리스너를 설정해야 합니다. |
{IMAGE, VIDEO, LIVE_STREAM} |
IMAGE |
display_names_locale |
가능한 경우 태스크 모델의 메타데이터에 제공되는 표시 이름에 사용할 라벨 언어를 설정합니다. 기본값은 영어의 경우 en입니다. TensorFlow Lite Metadata Writer API를 사용하여 커스텀 모델의 메타데이터에 현지화된 라벨을 추가할 수 있습니다. |
언어 코드 | 한국어 |
max_results |
반환할 최고 점수를 받은 분류 결과의 최대 개수를 선택합니다(선택사항). 0보다 작은 경우 사용 가능한 모든 결과가 반환됩니다. | 모든 양수 | -1 |
score_threshold |
모델 메타데이터에서 제공된 값 (있는 경우)을 재정의하는 예측 점수 임곗값을 설정합니다. 이 값보다 낮은 결과는 거부됩니다. | 모든 플로팅 | 설정되지 않음 |
category_allowlist |
허용된 카테고리 이름의 선택적 목록을 설정합니다. 비어 있지 않으면 카테고리 이름이 이 세트에 없는 분류 결과는 필터링됩니다. 중복되거나 알 수 없는 카테고리 이름은 무시됩니다.
이 옵션은 category_denylist와 상호 배타적이며 둘 다 사용하면 오류가 발생합니다. |
모든 문자열 | 설정되지 않음 |
category_denylist |
허용되지 않는 카테고리 이름의 선택적 목록을 설정합니다. 비어 있지 않으면 카테고리 이름이 이 세트에 있는 분류 결과가 필터링됩니다. 중복되거나 알 수 없는 카테고리 이름은 무시됩니다. 이 옵션은 category_allowlist와 함께 사용할 수 없으며 두 옵션을 모두 사용하면 오류가 발생합니다. |
모든 문자열 | 설정되지 않음 |
result_callback |
이미지 분류기가 라이브 스트림 모드일 때 분류 결과를 비동기식으로 수신하도록 결과 리스너를 설정합니다. 달리기 모드가 LIVE_STREAM으로 설정된 경우에만 사용할 수 있습니다. |
해당 사항 없음 | 설정되지 않음 |
모델
이미지 분류기를 사용하려면 이미지 분류 모델을 다운로드하여 프로젝트 디렉터리에 저장해야 합니다. 이 작업으로 개발을 시작할 때는 대상 플랫폼에 권장되는 기본 모델로 시작하세요. 사용 가능한 다른 모델은 일반적으로 성능, 정확성, 해상도, 리소스 요구사항을 절충하며, 경우에 따라 추가 기능을 포함합니다.
EfficientNet-Lite0 모델 (권장)
EfficientNet-Lite0 모델은 EfficientNet 아키텍처를 사용하며 ImageNet을 사용하여 나무, 동물, 음식, 차량, 사람 등의 1,000개 클래스를 인식하도록 학습되었습니다. 지원되는 라벨의 전체 목록을 참조하세요. EfficientNet-Lite0은 int8 및 float 32 모델로 사용할 수 있습니다. 이 모델은 지연 시간과 정확성 간의 균형을 맞추기 때문에 권장됩니다. 많은 사용 사례에서 정확하고 가볍습니다.
| 모델 이름 | 입력 형태 | 양자화 유형 | 버전 |
|---|---|---|---|
| EfficientNet-Lite0 (int8) | 224 x 224 | int8 | 최신 |
| EfficientNet-Lite0 (float 32) | 224 x 224 | 없음 (float32) | 최신 |
EfficientNet-Lite2 모델
EfficientNet-Lite2 모델은 EfficientNet 아키텍처를 사용하며 ImageNet을 사용하여 나무, 동물, 음식, 차량, 사람 등의 1,000개 클래스를 인식하도록 학습되었습니다. 지원되는 라벨의 전체 목록을 참조하세요. EfficientNet-Lite2는 int8 및 float 32 모델로 사용할 수 있습니다. 이 모델은 일반적으로 EfficientNet-Lite0보다 정확하지만 속도가 느리고 메모리 집약적입니다. 이 모델은 정확성이 속도나 크기보다 우선순위가 높은 사용 사례에 적합합니다.
| 모델 이름 | 입력 형태 | 양자화 유형 | 버전 |
|---|---|---|---|
| EfficientNet-Lite2 (int8) | 224 x 224 | int8 | 최신 |
| EfficientNet-Lite2 (float 32) | 224 x 224 | 없음 (float32) | 최신 |
작업 벤치마크
다음은 위의 선행 학습된 모델을 기반으로 전체 파이프라인에 대한 작업 벤치마크입니다. 지연 시간 결과는 CPU / GPU를 사용하는 Pixel 6의 평균 지연 시간입니다.
| 모델 이름 | CPU 지연 시간 | GPU 지연 시간 |
|---|---|---|
| EfficientNet-Lite0 (float 32) | 23.52밀리초 | 18.90밀리초 |
| EfficientNet-Lite0 (int8) | 10.08밀리초 | - |
| EfficientNet-Lite2 (float 32) | 44.17밀리초 | 22.20밀리초 |
| EfficientNet-Lite2 (int8) | 19.43밀리초 | - |
커스텀 모델
제공된 모델의 기능을 개선하거나 변경하려는 경우 이 태스크와 함께 맞춤설정된 ML 모델을 사용할 수 있습니다. Model Maker를 사용하여 기존 모델을 수정하거나 TensorFlow와 같은 도구를 사용하여 모델을 빌드할 수 있습니다. MediaPipe와 함께 사용되는 커스텀 모델은 TensorFlow Lite 형식이어야 하며 모델의 작동 매개변수를 설명하는 특정 메타데이터를 포함해야 합니다. 직접 모델을 빌드하기 전에 이 태스크에 제공된 모델을 수정할 때 Model Maker를 사용하는 것이 좋습니다.
자체 데이터 세트를 사용하여 커스텀 이미지 분류 기준을 만들려면 이미지 분류 기준 맞춤설정 튜토리얼을 시작하세요.