LiteRT Next를 통한 NPU 가속

LiteRT Next는 공급업체별 컴파일러, 런타임 또는 라이브러리 종속 항목을 개별적으로 탐색하지 않고도 신경망 처리 장치 (NPU)를 사용할 수 있는 통합 인터페이스를 제공합니다. NPU 가속을 위해 LiteRT Next를 사용하면 많은 공급업체별 또는 기기별 복잡성을 피하고, 실시간 및 대형 모델 추론의 성능을 높이며, 제로 카피 하드웨어 버퍼 사용을 통해 메모리 복사를 최소화할 수 있습니다.

이미 LiteRT NPU 사전 체험판 프로그램에 등록되어 있는 경우 승인된 계정으로 로그인하여 NPU 문서를 확인하세요. 등록하지 않은 경우 사전 체험 프로그램에 가입하세요.

가입하기

시작하기

시작하려면 NPU 개요 가이드를 참고하세요.

NPU 지원이 포함된 LiteRT Next의 구현 예는 다음 데모 애플리케이션을 참고하세요.

NPU 공급업체

LiteRT Next는 다음 공급업체의 NPU 가속을 지원합니다.