Экосистема Android охватывает широкий спектр устройств с различными нейронными процессорами (NPU). Использование этих специализированных NPU может значительно ускорить вывод моделей LiteRT (TFLite) и снизить энергопотребление по сравнению с выполнением задач на центральном процессоре или графическом процессоре, улучшая пользовательский опыт в ваших приложениях.
Поставщики микросхем, которые производят NPU, предоставляют делегаты LiteRT, позволяющие вашему приложению использовать их конкретное оборудование на устройстве каждого пользователя.
Qualcomm® AI Engine Direct Delegate
Qualcomm® AI Engine Direct Delegate позволяет пользователям запускать модели LiteRT с использованием среды выполнения AI Engine Direct . Делегат поддерживается API нейронных сетей Qualcomm.
Qualcomm® AI Engine Direct Delegate доступен на Maven Central . Подробнее см. в документации по нейронной сети Qualcomm .
Вскоре
Мы с нетерпением ждем возможности поддержать делегатов от следующих поставщиков в ближайшие месяцы:
- Google Пиксель
- Samsung System LSI
- Интел
Следите за обновлениями и дальнейшими инструкциями по использованию этих делегатов для использования возможностей NPU в ваших моделях LiteRT (TFLite).