O ecossistema Android abrange uma ampla variedade de dispositivos com diversas unidades de processamento neural (NPUs). O uso dessas NPUs especializadas pode acelerar significativamente a inferência do modelo LiteRT (TFLite) e reduzir o consumo de energia em comparação com a execução da CPU ou da GPU, melhorando a experiência do usuário nos seus aplicativos.
Os fornecedores de chips que fabricam NPUs oferecem delegados do LiteRT para permitir que seu app use o hardware específico deles no dispositivo de cada usuário.
Delegado direto do mecanismo de IA da Qualcomm®
O delegado direto do Qualcomm® AI Engine permite que os usuários executem modelos LiteRT usando o ambiente de execução direto do AI Engine. O delegado é compatível com a API Neural Network da Qualcomm.
O delegado direto do Qualcomm® AI Engine está disponível no Maven Central. Para mais informações, consulte a documentação da rede neural da Qualcomm.
Em breve
Nos próximos meses, vamos oferecer suporte a delegados dos seguintes fornecedores:
- Google Pixel
- Samsung System LSI
- Intel
Fique por dentro das atualizações e mais instruções sobre como usar esses delegados para aproveitar o poder das NPUs nos seus modelos LiteRT (TFLite).