Visualisierer

Wir haben den online verfügbaren MediaPipe Visualizer erstellt, damit Nutzer die Struktur ihrer Rechnerdiagramme und das Gesamtverhalten ihrer Inferenzpipelines für maschinelles Lernen verstehen können.

• In einer Grafikansicht können Nutzer ein verbundenes Taschenrechnerdiagramm sehen, wie es durch eine Grafikkonfiguration dargestellt wird, die in den Grafikeditor eingefügt oder hochgeladen wird. Der Nutzer kann ein von ihm erstelltes Diagramm visualisieren und Fehler beheben.

  

Arbeiten im Editor

Erste Schritte:

Sie können die Grafik ändern, indem Sie in der Editoransicht Code hinzufügen und bearbeiten.

• Wenn Sie oben rechts auf die Schaltfläche „Neu“ klicken, wird der im Editorfenster vorhandene Code gelöscht.

  

• Durch Klicken auf die Schaltfläche „Hochladen“ wird der Nutzer aufgefordert, eine lokale PBTXT-Datei auszuwählen. Dadurch wird der aktuelle Code im Editor überschrieben.

• Alternativ kann der Code direkt in das Editorfenster eingefügt werden.

• Fehler und Informationsmeldungen werden im Feedbackfenster angezeigt.

  

Erläuterungen zur Grafik

Das Visualizer-Diagramm zeigt die Verbindungen zwischen Rechnerknoten.

• Streams werden am unteren Ende des Rechners verlassen, der den Stream erzeugt, und gehen oben in jeden Rechner, der den Stream empfängt. Beachten Sie die Verwendung des Schlüssels "input_stream" und "output_stream".

  

  

• Sidepacks funktionieren genauso, mit der Ausnahme, dass sie einen Knoten auf der rechten Seite verlassen und links hineingehen. Beachten Sie die Verwendung des Schlüssels „input_side_packet“ und „output_side_packet“.

  

  

• Es gibt spezielle Knoten, die Ein- und Ausgaben für die Grafik darstellen und Seitenpakete oder Streams bereitstellen können.

  

  

Teilgrafiken visualisieren

Mit der MediaPipe-Visualisierung können Sie mehrere Diagramme auf separaten Tabs anzeigen. Wenn eine Grafik das Feld type in der obersten Ebene der Textproto-Definition des Diagramms hat und dieser Wert des Diagramms type in einem anderen Diagramm als Taschenrechnername verwendet wird, wird sie vom Visualizer als Teilgrafik betrachtet und entsprechend eingefärbt, wo sie verwendet wird. Wenn Sie auf eine Teilgrafik klicken, wird die entsprechende Registerkarte mit der Definition der Teilgrafik geöffnet.

MediaPipe Hands enthält beispielsweise zwei Diagramme: die Hauptgrafik (Pbtxt-Quelldatei) und die zugehörige Teilgrafik (Quell-PBtxt-Datei). So visualisieren Sie diese:

• Klicken Sie in der MediaPipe-Visualisierung auf die Schaltfläche zum Hochladen der Grafik und wählen Sie die beiden PBtxt-Dateien aus, die visualisiert werden sollen (Hauptgrafik und die zugehörige Untergrafik).

  

  

• Es gibt zwei weitere Tabs. Der Haupttab für die Grafik ist hand_detection_mobile.pbtxt.

  

• Wenn Sie auf den lilafarbenen Knoten HandDetection klicken, wird die Ansicht zum Tab hand_detection_gpu.pbtxt weitergeleitet.