O ecossistema do Android abrange uma ampla gama de dispositivos com diversas unidades de processamento neural (NPUs, na sigla em inglês). O uso dessas NPUs especializadas pode acelerar significativamente a inferência do modelo LiteRT (TFLite) e reduzir o consumo de energia em comparação com a execução da CPU ou GPU, melhorando a experiência do usuário nos aplicativos.
Os fornecedores de chips que fabricam NPUs fornecem delegados do LiteRT para permitir que o app use o hardware específico deles no dispositivo de cada usuário.
Delegate direto do mecanismo de IA Qualcomm®
O delegante direto do AI Engine da Qualcomm® permite que os usuários executem modelos do LiteRT usando o ambiente de execução direto do AI Engine. O delegado é apoiado pela API Neural Network da Qualcomm.
O delegante direto do Qualcomm® AI Engine está disponível no Maven Central. Para mais informações, consulte a documentação da rede neural da Qualcomm.
Em breve
Vamos oferecer suporte aos delegados dos seguintes fornecedores nos próximos meses:
- Google Pixel
- MediaTek
- Samsung System LSI
Fique por dentro das atualizações e de outras instruções sobre como usar esses delegados para aproveitar o poder das NPUs nos seus modelos do TFLite.