ユーザーが計算ツールのグラフの構造を理解し、ML 推論パイプラインの全体的な動作を理解できるように、Google はオンラインで利用可能な MediaPipe Visualizer を構築しました。
グラフビューでは、グラフエディタに貼り付けまたはアップロードしたグラフ構成によって表現される、接続された電卓グラフを表示できます。ユーザーは、作成したグラフを可視化し、トラブルシューティングを行うことができます。
エディタ内での作業
Getting Started:
グラフを変更するには、エディタビューでコードを追加、編集します。
右上の [新規] ボタンをクリックすると、エディタ ウィンドウ内の既存のコードがすべて消去されます。
[Upload] ボタンをクリックすると、ローカルの PBTXT ファイルを選択するように求められます。これにより、エディタ内の現在のコードが上書きされます。
または、コードをエディタ ウィンドウに直接貼り付けることもできます。
エラー メッセージと情報メッセージは、[フィードバック] ウィンドウに表示されます。
グラフを理解する
ビジュアライザのグラフには、計算ノード間の接続が表示されます。
ストリームは計算ツールの下部からストリームを生成し、ストリームを受け取る計算ツールの上部に挿入されます。(キー「input_stream」と「output_stream」が使用されています)。
サイドパケットも同じように機能しますが、右側のノードを出て左側から入る点が異なります。(キー「input_side_packet」と「output_side_packet」の使用に注目してください)。
グラフへの入出力を表す特別なノードがあり、サイドのパケットまたはストリームを供給できます。
サブグラフの可視化
MediaPipe ビジュアライザは、複数のグラフを別々のタブに表示できます。グラフのテキスト プロトコル定義の最上位に type
フィールドがあり、グラフ type
の値が別のグラフで電卓名として使用されている場合、そのグラフはビジュアライザでサブグラフとみなされ、使用される場所に合わせて色分けされます。サブグラフをクリックすると、サブグラフの定義を保持する、対応するタブに移動します。
たとえば、MediaPipe Hands にはメイングラフ(ソース pbtxt ファイル)とそれに関連するサブグラフ(ソース pbtxt ファイル)の 2 つのグラフがあります。これらを視覚化するには:
MediaPipe ビジュアライザで、グラフのアップロード ボタンをクリックし、可視化する 2 つの pbtxt ファイル(メイングラフとそれに関連するサブグラフ)を選択します。
さらに 2 つのタブが表示されます。メインのグラフタブは
hand_detection_mobile.pbtxt
です。紫色の
HandDetection
ノードをクリックすると、ビューが [hand_detection_gpu.pbtxt
] タブにリダイレクトされます。