LiteRT Next 개요

LiteRT Next는 특히 기기 내 ML 및 AI 애플리케이션의 하드웨어 가속 및 성능 측면에서 LiteRT를 개선한 새로운 API 세트입니다. 이 API는 알파 버전이며 Kotlin과 C++에서 사용할 수 있습니다.

LiteRT Next Compiled Model API는 TensorFlow Lite 인터프리터 API를 기반으로 하며 기기 내 머신러닝을 위한 모델 로드 및 실행 프로세스를 간소화합니다. 새로운 API는 하드웨어 가속을 사용하는 새로운 간소화된 방법을 제공하므로 모델 FlatBuffers, I/O 버퍼 상호 운용성, 대리자를 처리할 필요가 없습니다. LiteRT Next API는 LiteRT API와 호환되지 않습니다. LiteRT Next의 기능을 사용하려면 시작하기 가이드를 참고하세요.

LiteRT Next 구현의 예는 다음 데모 애플리케이션을 참고하세요.

빠른 시작

LiteRT Next API로 추론을 실행하려면 다음과 같은 주요 단계를 따라야 합니다.

  1. 호환되는 모델을 로드합니다.
  2. 입력 및 출력 텐서 버퍼를 할당합니다.
  3. 컴파일된 모델을 호출합니다.
  4. 추론을 출력 버퍼로 읽습니다.

다음 코드 스니펫은 Kotlin 및 C++에서 전체 프로세스의 기본 구현을 보여줍니다.

C++

// Load model and initialize runtime
LITERT_ASSIGN_OR_RETURN(auto model, Model::CreateFromFile("mymodel.tflite"));
LITERT_ASSIGN_OR_RETURN(auto env, Environment::Create({}));
LITERT_ASSIGN_OR_RETURN(auto compiled_model,
    CompiledModel::Create(env, model, kLiteRtHwAcceleratorCpu));

// Preallocate input/output buffers
LITERT_ASSIGN_OR_RETURN(auto input_buffers, compiled_model.CreateInputBuffers());
LITERT_ASSIGN_OR_RETURN(auto output_buffers, compiled_model.CreateOutputBuffers());

// Fill the first input
float input_values[] = { /* your data */ };
input_buffers[0].Write<float>(absl::MakeConstSpan(input_values, /*size*/));

// Invoke
compiled_model.Run(input_buffers, output_buffers);

// Read the output
std::vector<float> data(output_data_size);
output_buffers[0].Read<float>(absl::MakeSpan(data));

Kotlin

// Load model and initialize runtime
val  model =
    CompiledModel.create(
        context.assets,
        "mymodel.tflite",
        CompiledModel.Options(Accelerator.CPU)
    )

// Preallocate input/output buffers
val inputBuffers = model.createInputBuffers()
val outputBuffers = model.createOutputBuffers()

// Fill the first input
inputBuffers[0].writeFloat(FloatArray(data_size) { data_value /* your data */ })

// Invoke
model.run(inputBuffers, outputBuffers)

// Read the output
val outputFloatArray = outputBuffers[0].readFloat()

자세한 내용은 Kotlin 시작하기 및 C++ 시작하기 가이드를 참고하세요.

주요 특징

LiteRT Next에는 다음과 같은 주요 이점과 기능이 포함되어 있습니다.

  • 새로운 LiteRT API: 자동화된 가속기 선택, 진정한 비동기 실행, 효율적인 I/O 버퍼 처리를 통해 개발을 간소화합니다.
  • 최고의 GPU 성능: 기기 내 ML에 최신 GPU 가속을 사용합니다. 새로운 버퍼 상호 운용성을 통해 제로 복사를 사용 설정하고 다양한 GPU 버퍼 유형에서 지연 시간을 최소화할 수 있습니다.
  • 우수한 생성형 AI 추론: 생성형 AI 모델에 최적의 성능으로 가장 간단하게 통합할 수 있습니다.
  • 통합 NPU 가속: 일관된 개발자 환경을 통해 주요 칩셋 제공업체의 NPU에 원활하게 액세스할 수 있습니다. LiteRT NPU 가속은 사전 체험 프로그램을 통해 사용할 수 있습니다.

주요 개선사항

LiteRT Next (컴파일된 모델 API)에는 LiteRT (TFLite 인터프리터 API)의 다음과 같은 주요 개선사항이 포함되어 있습니다. LiteRT Next로 애플리케이션을 설정하는 방법에 관한 포괄적인 가이드는 시작하기 가이드를 참고하세요.

  • 가속기 사용: LiteRT를 사용하여 GPU에서 모델을 실행하려면 명시적 대리자 생성, 함수 호출, 그래프 수정이 필요합니다. LiteRT를 사용하면 다음과 같이 가속기를 지정하기만 하면 됩니다.
  • 네이티브 하드웨어 버퍼 상호 운용성: LiteRT는 버퍼 옵션을 제공하지 않으며 모든 데이터를 CPU 메모리를 통해 강제합니다. LiteRT Next를 사용하면 Android 하드웨어 버퍼 (AHWB), OpenCL 버퍼, OpenGL 버퍼 또는 기타 특수 버퍼를 전달할 수 있습니다.
  • 비동기 실행: LiteRT Next에는 동기화 울타리를 기반으로 하는 진정한 비동기 메커니즘을 제공하는 새롭게 설계된 비동기 API가 제공됩니다. 이를 통해 다양한 태스크에 CPU, GPU, CPU, NPU와 같은 다양한 하드웨어를 사용하여 전반적인 실행 시간을 단축할 수 있습니다.
  • 모델 로드: LiteRT Next는 모델을 로드할 때 별도의 빌더 단계가 필요하지 않습니다.