ビジュアライザ

ユーザーが計算ツールのグラフの構造を理解し、ML 推論パイプラインの全体的な動作を理解できるように、Google はオンラインで利用可能な MediaPipe Visualizer を構築しました。

  • グラフビューでは、グラフエディタに貼り付けまたはアップロードしたグラフ構成によって表現される、接続された電卓グラフを表示できます。ユーザーは、作成したグラフを可視化し、トラブルシューティングを行うことができます。

    起動画面

エディタ内での作業

Getting Started:

グラフを変更するには、エディタビューでコードを追加、編集します。

エディタの UI

  • 右上の [新規] ボタンをクリックすると、エディタ ウィンドウ内の既存のコードがすべて消去されます。

    新規ボタン

  • [Upload] ボタンをクリックすると、ローカルの PBTXT ファイルを選択するように求められます。これにより、エディタ内の現在のコードが上書きされます。

  • または、コードをエディタ ウィンドウに直接貼り付けることもできます。

  • エラー メッセージと情報メッセージは、[フィードバック] ウィンドウに表示されます。

    エラー メッセージ

グラフを理解する

ビジュアライザのグラフには、計算ノード間の接続が表示されます。

  • ストリームは計算ツールの下部からストリームを生成し、ストリームを受け取る計算ツールの上部に挿入されます。(キー「input_stream」と「output_stream」が使用されています)。

    ストリーム UI

    Stream_code

  • サイドパケットも同じように機能しますが、右側のノードを出て左側から入る点が異なります。(キー「input_side_packet」と「output_side_packet」の使用に注目してください)。

    サイドパケット UI

    Sidepacket_code

  • グラフへの入出力を表す特別なノードがあり、サイドのパケットまたはストリームを供給できます。

    特別なノード

    特別なノード

サブグラフの可視化

MediaPipe ビジュアライザは、複数のグラフを別々のタブに表示できます。グラフのテキスト プロトコル定義の最上位に type フィールドがあり、グラフ type の値が別のグラフで電卓名として使用されている場合、そのグラフはビジュアライザでサブグラフとみなされ、使用される場所に合わせて色分けされます。サブグラフをクリックすると、サブグラフの定義を保持する、対応するタブに移動します。

たとえば、MediaPipe Hands にはメイングラフ(ソース pbtxt ファイル)とそれに関連するサブグラフ(ソース pbtxt ファイル)の 2 つのグラフがあります。これらを視覚化するには:

  • MediaPipe ビジュアライザで、グラフのアップロード ボタンをクリックし、可視化する 2 つの pbtxt ファイル(メイングラフとそれに関連するサブグラフ)を選択します。

    グラフのアップロード ボタン

    2 つのファイルを選択

  • さらに 2 つのタブが表示されます。メインのグラフタブは hand_detection_mobile.pbtxt です。

    hand_detection_mobile_gpu.pbtxt

  • 紫色の HandDetection ノードをクリックすると、ビューが [hand_detection_gpu.pbtxt] タブにリダイレクトされます。

    手の検出サブグラフ