에지 기기는 메모리나 연산 능력이 제한적인 경우가 많습니다. 모델을 이러한 제약 조건 내에서 실행할 수 있도록 다양한 최적화를 모델에 적용할 수 있습니다. 또한 일부 최적화에서는 추론 가속화에 특수 하드웨어를 사용할 수 있습니다.
TensorFlow Lite와 TensorFlow 모델 최적화 도구는 추론 최적화의 복잡성을 최소화하는 도구를 제공합니다.
애플리케이션 개발 프로세스 중에 모델 최적화를 고려하는 것이 좋습니다. 이 문서에서는 에지 하드웨어에 배포하기 위해 TensorFlow 모델을 최적화하기 위한 몇 가지 권장사항을 설명합니다.
모델을 최적화해야 하는 이유
모델 최적화가 애플리케이션 개발에 도움이 되는 몇 가지 주요 방법이 있습니다.
크기 축소
일부 최적화 형식은 모델의 크기를 줄이는 데 사용할 수 있습니다. 모델 크기가 작을 경우 다음과 같은 이점이 있습니다.
- 저장소 크기 축소: 모델이 작을수록 사용자 기기에서 저장공간을 적게 차지합니다. 예를 들어 더 작은 모델을 사용하는 Android 앱은 사용자의 휴대기기에서 저장공간을 적게 차지합니다.
- 다운로드 크기 축소: 모델이 작을수록 사용자 기기에 다운로드하는 데 필요한 시간과 대역폭이 적습니다.
- 메모리 사용량 감소: 작은 모델은 실행 시 RAM을 덜 사용하므로 애플리케이션의 다른 부분에서 사용할 메모리를 확보하여 성능과 안정성을 개선할 수 있습니다.
양자화는 이러한 모든 경우에 모델의 크기를 줄일 수 있지만 정확성이 다소 떨어질 수 있습니다. 가지치기와 클러스터링은 모델을 더 쉽게 압축할 수 있게 하여 다운로드할 모델의 크기를 줄일 수 있습니다.
지연 시간 단축
지연 시간은 지정된 모델을 사용하여 단일 추론을 실행하는 데 걸리는 시간입니다. 일부 최적화 형태는 모델을 사용하여 추론을 실행하는 데 필요한 계산량을 줄여서 지연 시간을 단축시킬 수 있습니다. 지연 시간은 전력 소비에도 영향을 미칠 수 있습니다.
현재는 양자화를 사용하여 추론 중에 발생하는 계산을 간소화하여 지연 시간을 줄일 수 있지만 정확성이 다소 떨어질 수 있습니다.
가속기 호환성
Edge TPU와 같은 일부 하드웨어 가속기는 올바르게 최적화된 모델을 사용하여 추론을 매우 빠르게 실행할 수 있습니다.
일반적으로 이러한 유형의 기기에서는 모델을 특정 방식으로 양자화해야 합니다. 요구사항에 관한 자세한 내용은 각 하드웨어 가속기의 문서를 참고하세요.
절충사항
최적화로 인해 모델 정확성이 변경될 수 있으며, 이는 애플리케이션 개발 프로세스 중에 고려해야 합니다.
정확성 변화는 최적화되는 개별 모델에 따라 다르며 미리 예측하기 어렵습니다. 일반적으로 크기 또는 지연 시간에 최적화된 모델은 약간의 정확도가 떨어집니다. 애플리케이션에 따라 사용자 환경에 영향을 미칠 수도 있고 영향을 미치지 않을 수도 있습니다. 드문 경우지만 최적화 프로세스의 결과로 특정 모델이 어느 정도의 정확성을 얻을 수도 있습니다.
최적화 유형
TensorFlow Lite는 현재 양자화, 프루닝, 클러스터링을 통한 최적화를 지원합니다.
이는 TensorFlow Lite와 호환되는 모델 최적화 기법에 관한 리소스를 제공하는 TensorFlow 모델 최적화 도구의 일부입니다.
양자화
양자화는 모델의 매개변수(기본적으로 32비트 부동 소수점 숫자)를 나타내는 데 사용되는 숫자의 정밀도를 줄이는 방식으로 작동합니다. 따라서 모델 크기가 더 작아지고 계산이 빨라집니다.
TensorFlow Lite에서는 다음과 같은 유형의 양자화를 사용할 수 있습니다.
| 기법 | 데이터 요구사항 | 크기 축소 | 정확성 | 지원되는 하드웨어 |
|---|---|---|---|---|
| 학습 후 float16 양자화 | 데이터 없음 | 최대 50% | 유의미한 정확도 손실 | CPU, GPU |
| 학습 후 동적 범위 양자화 | 데이터 없음 | 최대 75% | 최소 정확도 손실 | CPU, GPU (Android) |
| 학습 후 정수 양자화 | 라벨이 지정되지 않은 대표 표본 | 최대 75% | 작은 정확도 손실 | CPU, GPU (Android), EdgeTPU |
| 양자화 인식 학습 | 라벨이 지정된 학습 데이터 | 최대 75% | 최소 정확도 손실 | CPU, GPU (Android), EdgeTPU |
다음 결정 트리를 사용하면 단순히 예상 모델 크기와 정확성을 기반으로 모델에 사용할 양자화 체계를 선택할 수 있습니다.
다음은 몇 가지 모델에서 학습 후 양자화 및 양자화 인식 학습의 지연 시간 및 정확성 결과입니다. 모든 지연 시간 수치는 단일 빅 코어 CPU를 사용하는 Pixel 2 기기에서 측정됩니다. 툴킷이 개선됨에 따라 다음 수치도 높아집니다.
| 모델 | 최상위 정확성 (원본) | 최상위 정확성 (학습 후 양자화) | 최상위 정확성 (양자화 인식 학습) | 지연 시간 (원본) (밀리초) | 지연 시간 (학습 후 양자화) (밀리초) | 지연 시간 (양자화 인식 학습) (밀리초) | 크기 (원본) (MB) | 크기 (최적화) (MB) |
|---|---|---|---|---|---|---|---|---|
| Mobilenet-v1-1-224 | 0.709달러 | 0.657달러 | 0.70 | 124 | 112 | 64 | 16.9 | 4.3 |
| Mobilenet-v2-1-224 | 0.719유로 | 0.637달러 | 0.709달러 | 89 | 98 | 54 | 14 | 3.6 |
| Inception_v3 | 0.78 | 0.772 | 0.775리라 | 1130 | 845 | 543회 | 95.7리라 | 2,390만 |
| Resnet_v2_101 | 0.770 | 0.768달러 | 해당 사항 없음 | 3973 | 2868 | 해당 사항 없음 | 178.3 | 44.9리라 |
int16 활성화 및 int8 가중치를 사용한 전체 정수 양자화
int16 활성화를 사용한 양자화는 int16에서 활성화를, int8에서 가중치를 사용하는 완전 정수 양자화 스키마입니다. 이 모드는 모델 크기를 유사하게 유지하면서 int8에서 활성화와 가중치를 모두 사용하는 전체 정수 양자화 체계에 비해 양자화 모델의 정확성을 개선할 수 있습니다. 활성화가 양자화에 민감할 때 권장됩니다.
참고: 현재 이 양자화 체계와 관련하여 최적화되지 않은 참조 커널 구현만 TFLite에서 사용할 수 있으므로 기본적으로 int8 커널에 비해 성능이 느립니다. 이 모드의 모든 이점은 현재 특수 하드웨어 또는 커스텀 소프트웨어를 통해 액세스할 수 있습니다.
다음은 이 모드를 활용하는 일부 모델의 정확도 결과입니다.
| 모델 | 정확성 측정항목 유형 | 정확성 (float32 활성화) | 정확성 (int8 활성화) | 정확성 (int16 활성화) |
|---|---|---|---|---|
| Wav2letter | WER | 6.7% | 7.7% | 7.2% |
| DeepSpeech 0.5.1 (언롤) | CER : Content Engagement Rank | 6.13% | 43.67% | 6.52% |
| YoloV3 | mAP(IOU=0.5) | 0.577달러 | 0.563리라 | 0.574달러 |
| MobileNetV1 | 최상위 정확성 | 0.7062 | 0.694달러 | 0.6936 |
| MobileNetV2 | 최상위 정확성 | 0.718 | 0.7126 | 0.7137개 |
| MobileBert | F1(일치검색) | 88.81(81.23) | 2.08(0) | 88.73(81.15) |
가지치기
프루닝은 모델 내에서 예측에 미미한 영향을 미치는 매개변수를 삭제하는 방식으로 작동합니다. 프루닝된 모델은 디스크에서 크기가 같고 런타임 지연 시간이 동일하지만 더 효과적으로 압축할 수 있습니다. 따라서 프루닝은 모델 다운로드 크기를 줄이는 데 유용한 기법입니다.
향후 TensorFlow Lite는 프루닝된 모델의 지연 시간을 줄여줄 것입니다.
클러스터링
클러스터링은 모델에 있는 각 레이어의 가중치를 사전 정의된 수의 클러스터로 그룹화한 다음 각 개별 클러스터에 속하는 가중치의 중심 값을 공유하는 방식으로 작동합니다. 이렇게 하면 모델에서 고유한 가중치 값의 수가 줄어들어 복잡성이 감소합니다.
따라서 클러스터링된 모델을 보다 효과적으로 압축할 수 있으므로 프루닝과 유사한 배포 이점을 얻을 수 있습니다.
개발 워크플로
먼저 호스팅된 모델의 모델이 애플리케이션에서 작동하는지 확인합니다. 그렇지 않다면 사용자는 학습 후 양자화 도구로 시작하는 것이 좋습니다. 이는 광범위하게 적용될 수 있으며 학습 데이터가 필요하지 않기 때문입니다.
정확성 및 지연 시간 목표가 충족되지 않거나 하드웨어 가속기 지원이 중요한 경우에는 양자화 인식 학습이 더 나은 옵션입니다. TensorFlow 모델 최적화 도구에서 추가 최적화 기법을 참조하세요.