Визуализатор

Чтобы помочь пользователям понять структуру графиков калькулятора и общее поведение конвейеров вывода машинного обучения, мы создали визуализатор MediaPipe , доступный в Интернете.

• Представление графика позволяет пользователям видеть график подключенного калькулятора, выраженный через конфигурацию графика, которая вставляется в редактор графиков или загружается. Пользователь может визуализировать и устранять неполадки созданного им графика.

  

Работа в редакторе

Начиная:

График можно изменить, добавив и отредактировав код в представлении редактора.

• Нажатие кнопки «Новый» в правом верхнем углу очистит весь существующий код в окне редактора.

  

• Нажатие кнопки «Загрузить» предложит пользователю выбрать локальный файл PBTXT, который перезапишет текущий код в редакторе.

• Альтернативно код можно вставить прямо в окно редактора.

• В окне «Обратная связь» будут появляться ошибки и информационные сообщения.

  

Понимание графика

Граф визуализатора показывает связи между узлами калькулятора.

• Потоки выходят из нижней части калькулятора, производящего поток, и входят в верхнюю часть любого калькулятора, принимающего поток. (Обратите внимание на использование ключей «input_stream» и «output_stream»).

  

  

• Боковые пакеты работают так же, за исключением того, что они выходят из узла справа и входят в узел слева. (Обратите внимание на использование ключей «input_side_packet» и «output_side_packet»).

  

  

• Существуют специальные узлы, которые представляют входные и выходные данные графа и могут предоставлять как побочные пакеты, так и потоки.

  

  

Визуализация подграфов

Визуализатор MediaPipe может отображать несколько графиков на отдельных вкладках. Если график имеет поле type на верхнем уровне определения текстового прототипа графика и это значение type графика используется в качестве имени калькулятора в другом графике, визуализатор считает его подграфом и окрашивает его соответствующим образом там, где он используется. Нажав на подграф, вы перейдете на соответствующую вкладку, содержащую определение подграфа.

Например, в MediaPipe Hands задействованы два графа: основной граф ( исходный файл pbtxt ) и связанный с ним подграф ( исходный файл pbtxt ). Чтобы их визуализировать:

• В визуализаторе MediaPipe нажмите кнопку загрузки графика и выберите 2 файла pbtxt для визуализации (основной график и связанный с ним подграф).

  

  

• Будет еще 2 вкладки. Основная вкладка графика hand_detection_mobile.pbtxt .

  

• Нажатие на узел HandDetection , выделенный фиолетовым цветом, перенаправляет представление на hand_detection_gpu.pbtxt .