Visualiseur

Pour aider les utilisateurs à comprendre la structure des graphiques de leurs calculateurs et comprendre le comportement global de leurs pipelines d'inférence de machine learning, nous avons créé le visualiseur MediaPipe disponible en ligne.

• L'affichage graphique permet aux utilisateurs d'afficher le graphique d'une calculatrice connectée, comme s'il est exprimé via une configuration de graphique collée dans l'éditeur de graphique ou importée. L'utilisateur peut visualiser un graphique qu'il a créé et résoudre les problèmes qu'il a créés.

  

Travailler dans l'éditeur

Pour commencer :

Vous pouvez modifier le graphique en ajoutant et en modifiant du code dans la vue Éditeur.

• Appuyez sur le bouton "Nouveau" en haut à droite pour effacer tout code existant dans la fenêtre de l'éditeur.

  

• En appuyant sur le bouton "Importer", l'utilisateur est invité à sélectionner un fichier PBTXT local, qui écrasera le code actuel dans l'éditeur.

• Le code peut également être collé directement dans la fenêtre de l'éditeur.

• Les erreurs et les messages d'information s'affichent dans la fenêtre "Commentaires".

  

Comprendre le graphique

Le graphique du visualiseur montre les connexions entre les nœuds de la calculatrice.

• Les flux quittent le bas du simulateur de flux et entrent en haut de tout calculateur recevant le flux. Notez l'utilisation des clés "input_stream" et "output_stream".

  

  

• Les paquets latéraux fonctionnent de la même manière, sauf qu'ils quittent un nœud à droite et entrent sur la gauche. (Notez l'utilisation des clés "input_side_packet" et "output_side_packet").

  

  

• Des nœuds spéciaux représentent les entrées et les sorties du graphe, et peuvent fournir des paquets secondaires ou des flux.

  

  

Visualiser des sous-graphiques

Le visualiseur MediaPipe peut afficher plusieurs graphiques dans des onglets distincts. Si un graphique comporte un champ type au niveau supérieur de la définition proto de texte du graphique, et que cette valeur du graphique type est utilisée comme nom de calculateur dans un autre graphique, il est considéré comme un sous-graphique par le visualiseur et coloré à l'endroit où il est utilisé. En cliquant sur un sous-graphique, vous accédez à l'onglet correspondant qui contient sa définition.

Par exemple, deux graphiques sont impliqués dans les mains MediaPipe: le graphique principal (fichier pbtxt source) et le sous-graphique associé (fichier pbtxt source). Pour les visualiser:

• Dans le visualiseur MediaPipe, cliquez sur le bouton d'importation du graphique et sélectionnez les deux fichiers pbtxt à visualiser (graphique principal et sous-graphique associé).

  

  

• Deux onglets supplémentaires s'affichent. L'onglet principal du graphique est hand_detection_mobile.pbtxt.

  

• Cliquez sur le nœud HandDetection en violet pour rediriger la vue vers l'onglet hand_detection_gpu.pbtxt.