LiteRT 개요

LiteRT(이전 명칭: TensorFlow Lite)는 Google의 고성능 런타임입니다. 온디바이스 AI입니다 다양한 애플리케이션과 관련하여 즉시 실행 가능한 LiteRT 모델을 TensorFlow, PyTorch, JAX 모델을 변환 및 실행하여 AI Edge 변환 및 최적화 도구를 사용하여 TFLite 형식을 지원합니다.

주요 특징

  • 온디바이스 머신러닝에 최적화: LiteRT는 다섯 가지 주요 ODML 제약 조건: 지연 시간 (서버로의 왕복 없음), 개인 정보 보호 (개인 정보가 기기에서 유출되지 않음), 연결성 (인터넷 연결은 크기 (모델 및 바이너리 크기 축소), 전력 소모량 (효율적 추론과 네트워크 연결 부족)에 도움이 됩니다.

  • 멀티 플랫폼 지원: Android 및 iOS 기기, 내장됨 Linux 마이크로컨트롤러.

  • 다중 프레임워크 모델 옵션: AI Edge는 모델을 변환하는 도구를 제공합니다. 를 TensorFlow, PyTorch, JAX 모델에서 FlatBuffers 형식으로 변환합니다. (.tflite) 함수를 사용하여 Google Cloud에서 다양한 최신 모델을 LiteRT입니다. 또한 모델 최적화 도구를 사용하여 양자화 및 메타데이터입니다.

  • 다양한 언어 지원: Java/Kotlin, Swift, Objective-C, C++ 및 Python을 지원합니다.

  • 고성능: 하드웨어 가속 GPU 및 iOS Core ML과 같은 특수 위임을 통해 작동합니다.

개발 워크플로

LiteRT 개발 워크플로에는 ML/AI 문제를 식별하고, 문제를 해결하는 모델을 선택하고 모델을 기기에 구현하는 것입니다. 다음 단계에서는 워크플로를 설명하고 더 자세한 정보로 연결되는 링크를 제공합니다. 참조하세요.

1. ML 문제에 가장 적합한 솔루션 식별

LiteRT는 사용자에게 높은 수준의 유연성과 맞춤설정 가능성을 제공합니다. 머신러닝 문제를 해결할 때 머신러닝 모델을 특정 모델이나 특수한 구현이 필요한 사용자에게 적합합니다. 사용자 수 플러그 앤 플레이 솔루션을 찾는 경우라면 MediaPipe가 더 나을 수 있습니다. Tasks는 객체 인식, 객체 감지, 분석 등 일반적인 머신러닝 작업을 위해 LLM 추론이 포함됩니다

다음 AI Edge 프레임워크 중 하나를 선택하세요.

  • LiteRT: 유연하고 맞춤설정이 가능한 런타임으로 광범위한 애플리케이션을 실행할 수 있습니다. 살펴봤습니다 사용 사례에 맞는 모델을 선택하고 LiteRT 형식으로 만들고 (필요한 경우) 기기에서 실행합니다. 원하는 경우 LiteRT를 사용하려면 계속 읽어보세요.
  • MediaPipe 태스크: 기본 모델을 사용하는 플러그 앤 플레이 솔루션으로 맞춤설정할 수 있습니다. AI/ML 문제를 해결하는 작업 선택 여러 플랫폼에 구현할 수 있습니다 MediaPipe 태스크를 사용하려는 경우 자세한 내용은 MediaPipe Tasks 문서를 참조하세요.

2. 모델 선택

LiteRT 모델은 FlatBuffers: .tflite 합니다.

다음과 같은 방법으로 LiteRT 모델을 사용할 수 있습니다.

  • 기존 LiteRT 모델 사용: 가장 간단한 접근 방식은 LiteRT 모델이 이미 .tflite 형식입니다. 이러한 모델은 추가 전환 단계가 필요합니다. LiteRT 모델은 Kaggle 모델.

  • 모델을 LiteRT 모델로 변환: TensorFlow Converter, PyToch Converter 또는 JAX 변환기를 사용하여 모델을 FlatBuffers 형식으로 변환합니다. (.tflite)를 다운로드하고 LiteRT에서 실행합니다. 시작하려면 다음 사이트의 모델을 검토합니다.

LiteRT 모델은 선택사항으로 지원되는 메타데이터를 포함할 수 있습니다. 사람이 읽을 수 있는 모델 설명 및 자동 기기 내 추론 중에 사전 및 사후 처리 파이프라인을 생성합니다. 자세한 내용은 메타데이터 추가를 참고하세요.

3. 모델을 앱에 통합

LiteRT 모델을 구현하여 추론을 완전히 실행할 수 있습니다. 온디바이스(웹, 임베디드, 모바일 디바이스) API가 포함된 LiteRT Python, Java, Kotlin Android의 경우, Swift의 경우 iOS 및 마이크로 기기용 C++입니다.

다음 가이드를 사용하여 원하는 기기에 LiteRT 모델을 구현하세요. 플랫폼:

  • Android에서 실행: 다음을 사용하여 Android 기기에서 모델을 실행합니다. Java/Kotlin API
  • iOS에서 실행: Swift를 사용하여 iOS 기기에서 모델을 실행합니다. API에 액세스할 수 있습니다
  • 마이크로에서 실행: 삽입된 기기에서 모델을 실행합니다. C++ API를 사용합니다.

Android 및 iOS 기기에서 하드웨어를 사용하여 성능을 개선할 수 있습니다. 가속합니다. 두 플랫폼 모두 GPU를 사용할 수 있으며 위임, iOS에서는 Core ML 사용 가능 위임. 새 하드웨어 가속기에 대한 지원을 추가하려면 자체 대리자를 정의할 수 있습니다.

모델 유형에 따라 다음과 같은 방법으로 추론을 실행할 수 있습니다.

  • 메타데이터가 없는 모델: LiteRT 사용 인터프리터 API. 여러 플랫폼 및 언어에서 지원됨 Java, Swift, C++, Objective-C 및 Python 등입니다.

  • 메타데이터가 있는 모델: 커스텀 추론 파이프라인을 빌드할 수 있습니다. LiteRT 지원 라이브러리.

LiteRT에서 이전

LiteRT 라이브러리를 사용하는 애플리케이션은 계속 작동하지만 새로 진행 중인 모든 개발 및 업데이트는 LiteRT 패키지에만 포함됩니다. LiteRT API는 TF Lite API와 동일한 메서드 이름을 포함하므로 코드를 LiteRT로 변환할 필요가 없습니다.

자세한 내용은 이전 가이드를 참고하세요.

다음 단계

신규 사용자는 LiteRT 빠른 시작을 시작해야 합니다. 자세한 내용은 다음 섹션을 참고하세요.

모델 변환

플랫폼 가이드