As seguintes APIs de tempo de execução do LiteRT estão disponíveis para desenvolvimento no Android:
- API
CompiledModel: o padrão moderno para inferência de alta performance, otimizando a aceleração de hardware em CPU/GPU/NPU. Saiba mais sobre por que escolher a API CompiledModel. - API
Interpreter: a API de inferência básica, mantida para compatibilidade com versões anteriores.
Começar a usar a API CompiledModel
Para modelos de ML clássicos, consulte os seguintes apps de demonstração.
- App Kotlin de segmentação de imagens: inferência de CPU/GPU/NPU.
- App C++ de segmentação de imagens: inferência de CPU/GPU/NPU com execução assíncrona.
Para modelos de IA generativa, consulte os seguintes apps de demonstração:
- App C++ de similaridade semântica EmbeddingGemma: inferência de CPU/GPU/NPU.
Versões e APIs do Android compatíveis
| Versão do LiteRT | Status | API com suporte | Nível mínimo do SDK | Versão mínima do NDK (se usada) | Data do lançamento |
|---|---|---|---|---|---|
v2.1.0 ⭐ |
✅ Mais recente | CompiledModel Interpreter(somente CPU) |
23 (Android 6 Marshmallow) |
r26a |
Ainda não lançado |
v2.0.3 ⭐ |
⚠️ Obsoleto | CompiledModel |
26 (Android 8 Oreo) |
r26a |
2025-11-08 |
v1.4.1 ⭐ |
✅ Mais recente | Interpreter |
21 (Android 5 Lollipop) |
r26a |
2025-11-07 |
v1.4.0 ⭐ |
⚠️ obsoleto | Interpreter |
26 (Android 8 Oreo) |
r26a |
2025-06-25 |
v1.3.0 ⭐ |
⚠️ obsoleto | Interpreter |
21 (Android 5 Lollipop) |
r26a |
2025-05-19 |
v1.2.0 ⭐ |
⚠️ obsoleto | Interpreter |
21 (Android 5 Lollipop) |
r26a |
2025-03-13 |
Importante:mantenha suas dependências atualizadas para garantir a compatibilidade com os recursos e as atualizações de segurança mais recentes.
Guia de início rápido com a API CompiledModel
A execução da inferência com a API Compiled Model envolve as seguintes etapas principais:
- Carregue um modelo compatível.
- Alocar os buffers de tensor de entrada e saída.
- Invoque o modelo compilado.
- Leia as inferências em um buffer de saída.
Os snippets de código a seguir mostram uma implementação básica de todo o processo em Kotlin e C++.
Kotlin
// Load model and initialize runtime
val compiledModel = CompiledModel.create(
"/path/to/mymodel.tflite",
CompiledModel.Options(Accelerator.CPU))
// Preallocate input/output buffers
val inputBuffers = compiledModel.createInputBuffers()
val outputBuffers = compiledModel.createOutputBuffers()
// Fill the input buffer
inputBuffers.get(0).writeFloat(input0)
inputBuffers.get(1).writeFloat(input1)
// Invoke
compiledModel.run(inputBuffers, outputBuffers)
// Read the output
val output = outputBuffers.get(0).readFloat()
C++
// Load model and initialize runtime
LITERT_ASSIGN_OR_RETURN(auto env, GetEnvironment());
LITERT_ASSIGN_OR_RETURN(auto options, GetOptions());
LITERT_ASSIGN_OR_RETURN(
auto compiled_model,
CompiledModel::Create(env, "/path/to/mymodel.tflite", options));
// Preallocate input/output buffers
LITERT_ASSIGN_OR_RETURN(auto input_buffers,compiled_model.CreateInputBuffers(signature_index));
LITERT_ASSIGN_OR_RETURN(auto output_buffers,compiled_model.CreateOutputBuffers(signature_index));
// Fill the input buffer
LITERT_ABORT_IF_ERROR(input_buffers[0].Write(input0));
LITERT_ABORT_IF_ERROR(input_buffers[1].Write(input1));
// Invoke
LITERT_ABORT_IF_ERROR(compiled_model.Run(signature_index, input_buffers, output_buffers));
// Read the output
LITERT_ABORT_IF_ERROR(output_buffers[0].Read(output0));