視覺化工具

為協助使用者瞭解計算機圖形的結構,以及瞭解機器學習推論管道的整體行為,我們建構了可在線上使用的 MediaPipe Visualizer

  • 圖形檢視畫面可讓使用者查看連結計算機圖,方法是將圖形設定貼入圖表編輯器或上傳的圖表設定。使用者可以將自己建立的圖表視覺化,並排解相關問題。

    啟動畫面

在編輯器中處理

開始使用:

您可以在編輯器檢視畫面中新增及編輯程式碼,修改圖表。

編輯器使用者介面

  • 按一下右上方的「新增」按鈕,即可清除編輯器視窗中所有現有的程式碼。

    新增按鈕

  • 按下「上傳」按鈕會提示使用者選取本機 PBTXT 檔案,該檔案將覆寫編輯器中現有的程式碼。

  • 或者,您也可以將程式碼直接貼到編輯器視窗中。

  • 「意見回饋」視窗中會顯示錯誤和相關資訊訊息。

    錯誤簡訊

瞭解圖表

視覺化工具圖表顯示計算機節點之間的關聯。

  • 產生串流的計算機後,串流會從產生串流的底部結束,進入接收串流的計算機頂端。(請注意,使用了「input_stream」和「output_stream」)。

    串流 UI

    Stream_code

  • 側邊封包的運作方式相同,只不過會離開右側的節點,然後在左側進入。(請注意,使用了「input_side_packet」和「output_side_packet」鍵。

    Sidepacket UI

    Sidepacket_code

  • 有些特殊節點代表圖形的輸入和輸出內容,可提供側邊封包或串流。

    特殊節點

    特殊節點

以視覺化方式呈現子圖表

MediaPipe 視覺化工具可在個別分頁中顯示多個圖表。如果圖表的文字 Proto 定義頂層有 type 欄位,且該圖表 type 的值在其他圖表中當做計算機名稱使用,則視覺化工具會將該圖表視為子圖表,並在使用位置時加上適當的顏色。按一下子圖表即可前往含有子圖表定義的對應分頁。

例如,MediaPipe Coms 涉及兩個圖表:主要圖表 (來源 pbtxt 檔案) 和相關的子圖 (來源 pbtxt 檔案)。如何以視覺化的方式呈現資料:

  • 在 MediaPipe 視覺化工具中,按一下上傳圖表按鈕,然後選取要視覺化的 2 個 pbtxt 檔案 (主圖表和相關子圖表)。

    上傳圖表按鈕

    選擇 2 個檔案

  • 另有 2 個分頁。主圖表分頁為 hand_detection_mobile.pbtxt

    hand_detection_mobile_gpu.pbtxt

  • 按一下紫色的 HandDetection 節點,將檢視畫面重新導向至 hand_detection_gpu.pbtxt 分頁。

    手部偵測子圖表