可视化工具

为了帮助用户了解计算器图表的结构和机器学习推断流水线的整体行为,我们构建了可在线获取的 MediaPipe Visualizer

  • 借助图表视图,用户可以查看已连接的计算器图表,该图表通过粘贴到图表编辑器或上传的图表配置来表示。用户可以对自己创建的图表进行可视化处理和问题排查。

    启动屏幕

在编辑器中使用

开始使用:

您可以通过在编辑器视图中添加和修改代码来修改图表。

编辑器界面

  • 点击右上角的“新建”按钮即可清除编辑器窗口中的所有现有代码。

    新建按钮

  • 按“上传”按钮会提示用户选择本地 PBTXT 文件,该文件将覆盖编辑器中的当前代码。

  • 或者,您也可以将代码直接粘贴到编辑器窗口中。

  • “反馈”窗口中会显示错误和参考性消息。

    错误消息

理解图表

可视化工具图表显示了计算器节点之间的连接。

  • 数据流从生成数据流的计算器底部退出,然后进入接收数据流的任何计算器的顶部。(请注意“input_stream”和“output_stream”键的用法)。

    直播界面

    Stream_code

  • 辅助数据包的工作原理相同,只不过它们从右侧退出节点,然后进入左侧。(请注意密钥“input_side_packet”和“output_side_packet”的使用)。

    Sidepacket 界面

    Sidepacket_code

  • 有一些特殊节点表示图的输入和输出,并且可以提供边包或流。

    特殊节点

    特殊节点

可视化子图

MediaPipe 可视化工具可以在单独的标签页中显示多个图表。如果某个图表的文本 proto 定义的顶层有 type 字段,并且图表 type 的值在另一个图表中用作计算器名称,则可视化工具将其视为子图表,并在使用时适当着色。点击子图会导航到包含子图定义的相应标签页。

例如,MediaPipe Hands 涉及两个图:主图(source pbtxt 文件)及其关联的子图(source pbtxt 文件)。如需直观呈现这些图表,请执行以下操作:

  • 在 MediaPipe 可视化工具中,点击“上传图表”按钮,然后选择要可视化的 2 个 pbtxt 文件(主图及其关联的子图)。

    “上传图表”按钮

    选择 2 个文件

  • 系统会显示另外 2 个标签页。主图表标签页是 hand_detection_mobile.pbtxt

    hand_detection_mobile_gpu.pbtxt

  • 点击紫色的 HandDetection 节点会将视图重定向到 hand_detection_gpu.pbtxt 标签页。

    手部检测子图