TensorFlow Lite для микроконтроллеров

TensorFlow Lite для микроконтроллеров предназначен для запуска моделей машинного обучения на микроконтроллерах и других устройствах с объемом памяти всего несколько килобайт. Среда выполнения ядра умещается всего в 16 КБ на Arm Cortex M3 и может запускать многие базовые модели. Он не требует поддержки операционной системы, каких-либо стандартных библиотек C или C++ или динамического выделения памяти.

Почему микроконтроллеры важны

Микроконтроллеры обычно представляют собой небольшие маломощные вычислительные устройства, встроенные в аппаратное обеспечение, требующее базовых вычислений. Принеся машинное обучение к крошечным микроконтроллерам, мы можем повысить интеллект миллиардов устройств, которые мы используем в нашей жизни, включая бытовую технику и устройства Интернета вещей, не полагаясь на дорогостоящее оборудование или надежное подключение к Интернету, которое часто зависит от пропускной способности и пропускной способности. ограничения по мощности и приводят к высокой задержке. Это также может помочь сохранить конфиденциальность, поскольку никакие данные не покидают устройство. Представьте себе интеллектуальные приборы, которые могут адаптироваться к вашей повседневной жизни, интеллектуальные промышленные датчики, которые понимают разницу между проблемами и нормальной работой, и волшебные игрушки, которые могут помочь детям учиться весело и увлекательно.

Поддерживаемые платформы

TensorFlow Lite для микроконтроллеров написан на C++ 17 и требует 32-битной платформы. Он был тщательно протестирован со многими процессорами на базе архитектуры серии Arm Cortex-M и был портирован на другие архитектуры, включая ESP32 . Фреймворк доступен в виде библиотеки Arduino. Он также может создавать проекты для сред разработки, таких как Mbed. Он имеет открытый исходный код и может быть включен в любой проект C++ 17.

Поддерживаются следующие платы разработки:

Изучите примеры

Каждый пример приложения находится на GitHub и имеет файл README.md , в котором объясняется, как его можно развернуть на поддерживаемых платформах. В некоторых примерах также есть комплексные руководства с использованием конкретной платформы, как показано ниже:

Hello World — демонстрирует абсолютные основы использования TensorFlow Lite для микроконтроллеров.
- Учебное пособие с использованием любого поддерживаемого устройства
Микроречь — записывает звук с помощью микрофона для распознавания слов «да» и «нет».
- Учебное пособие по использованию SparkFun Edge
Обнаружение человека — захватывает данные камеры с помощью датчика изображения для обнаружения присутствия или отсутствия человека.

Рабочий процесс

Для развертывания и запуска модели TensorFlow на микроконтроллере необходимы следующие шаги:

Обучите модель :
- Создайте небольшую модель TensorFlow , которая подойдет вашему целевому устройству и будет содержать поддерживаемые операции .
- Преобразуйте в модель TensorFlow Lite с помощью конвертера TensorFlow Lite .
- Преобразуйте в массив байтов C с помощью стандартных инструментов и сохраните его в постоянной программной памяти устройства.
Запустите вывод на устройстве с помощью библиотеки C++ и обработайте результаты.

Ограничения

TensorFlow Lite для микроконтроллеров разработан с учетом конкретных ограничений разработки микроконтроллеров. Если вы работаете над более мощными устройствами (например, со встроенным устройством Linux, таким как Raspberry Pi), стандартную платформу TensorFlow Lite может быть проще интегрировать.

Следует учитывать следующие ограничения:

Поддержка ограниченного подмножества операций TensorFlow.
Поддержка ограниченного набора устройств
Низкоуровневый API C++, требующий ручного управления памятью.
Обучение на устройстве не поддерживается.

Следующие шаги

Начните работу с микроконтроллерами, опробуйте пример приложения и узнайте, как использовать API.
Изучите библиотеку C++, чтобы узнать, как использовать ее в своем проекте.
Создавайте и преобразуйте модели , чтобы узнать больше об обучении и преобразовании моделей для развертывания на микроконтроллерах.