Visualizer

Para ajudar os usuários a entender a estrutura dos gráficos de calculadora e o comportamento geral dos pipelines de inferência de machine learning, criamos o MediaPipe Visualizer, disponível on-line.

• Uma visualização de gráfico permite que os usuários vejam um gráfico de calculadora conectada como expresso por uma configuração de gráfico colada no editor de gráficos ou enviada por upload. O usuário pode conferir e resolver problemas em um gráfico criado.

  

Como trabalhar no Editor

Primeiros passos:

Para modificar o gráfico, adicione e edite o código na visualização do editor.

• Pressione o botão "New" no canto superior direito para limpar qualquer código existente na janela Editor.

  

• Ao pressionar o botão "Upload", o usuário será solicitado a selecionar um arquivo PBTXT local, que substituirá o código atual no editor.

• Como alternativa, o código pode ser colado diretamente na janela do editor.

• Erros e mensagens informativas vão aparecer na janela "Feedback".

  

Entender o gráfico

O gráfico do visualizador mostra as conexões entre os nós da calculadora.

• Os streams saem da parte de baixo da calculadora que produz o stream e entram na parte superior de qualquer calculadora que recebe o stream. Observe o uso das chaves "input_stream" e "output_stream".

  

  

• Os pacotes secundários funcionam da mesma forma, exceto pelo fato de sairem de um nó à direita e entrarem à esquerda. Observe o uso das chaves "input_side_packet" e "output_side_packet".

  

  

• Há nós especiais que representam entradas e saídas para o grafo e podem fornecer pacotes ou fluxos laterais.

  

  

Visualização de subgráficos

O visualizador do MediaPipe pode mostrar vários gráficos em guias separadas. Se um gráfico tiver um campo type no nível superior da definição do protótipo de texto do gráfico e esse valor de type do gráfico for usado como um nome de calculadora em outro gráfico, ele será considerado um subgráfico pelo visualizador e colorido adequadamente no local em que é usado. Clique em um subgráfico para navegar até a guia correspondente que contém a definição dele.

Por exemplo, há dois gráficos envolvidos no MediaPipe Hands: o gráfico principal (arquivo pbtxt de origem) e o subgráfico associado (arquivo pbtxt de origem). Para visualizá-las, faça o seguinte:

• No visualizador do MediaPipe, clique no botão do gráfico de upload e selecione os dois arquivos pbtxt que serão visualizados (gráfico principal e o subgráfico associado).

  

  

• Haverá duas outras guias. A guia do gráfico principal é hand_detection_mobile.pbtxt.

  

• Clicar no nó HandDetection em roxo redireciona a visualização para a guia hand_detection_gpu.pbtxt.