Чтобы помочь пользователям понять структуру графиков калькулятора и общее поведение конвейеров вывода машинного обучения, мы создали визуализатор MediaPipe , доступный в Интернете.
Представление графика позволяет пользователям видеть график подключенного калькулятора, выраженный через конфигурацию графика, которая вставляется в редактор графиков или загружается. Пользователь может визуализировать и устранять неполадки созданного им графика.
Работа в редакторе
Начиная:
График можно изменить, добавив и отредактировав код в представлении редактора.
Нажатие кнопки «Новый» в правом верхнем углу очистит весь существующий код в окне редактора.
Нажатие кнопки «Загрузить» предложит пользователю выбрать локальный файл PBTXT, который перезапишет текущий код в редакторе.
Альтернативно код можно вставить прямо в окно редактора.
В окне «Обратная связь» будут появляться ошибки и информационные сообщения.
Понимание графика
Граф визуализатора показывает связи между узлами калькулятора.
Потоки выходят из нижней части калькулятора, производящего поток, и входят в верхнюю часть любого калькулятора, принимающего поток. (Обратите внимание на использование ключей «input_stream» и «output_stream»).
Боковые пакеты работают так же, за исключением того, что они выходят из узла справа и входят в узел слева. (Обратите внимание на использование ключей «input_side_packet» и «output_side_packet»).
Существуют специальные узлы, которые представляют входные и выходные данные графа и могут предоставлять как побочные пакеты, так и потоки.
Визуализация подграфов
Визуализатор MediaPipe может отображать несколько графиков на отдельных вкладках. Если график имеет поле type на верхнем уровне определения текстового прототипа графика и это значение type графика используется в качестве имени калькулятора в другом графике, визуализатор считает его подграфом и окрашивает его соответствующим образом там, где он используется. Нажав на подграф, вы перейдете на соответствующую вкладку, содержащую определение подграфа.
Например, в MediaPipe Hands задействованы два графа: основной граф ( исходный файл pbtxt ) и связанный с ним подграф ( исходный файл pbtxt ). Чтобы их визуализировать:
В визуализаторе MediaPipe нажмите кнопку загрузки графика и выберите 2 файла pbtxt для визуализации (основной график и связанный с ним подграф).
Будет еще 2 вкладки. Основная вкладка графика
hand_detection_mobile.pbtxt.
Нажатие на узел
HandDetection, выделенный фиолетовым цветом, перенаправляет представление наhand_detection_gpu.pbtxt.