Wizualizacja

Aby pomóc użytkownikom w zrozumieniu struktury wykresów kalkulatora i zrozumieniu ogólnego zachowania potoków wnioskowania z systemów uczących się, stworzyliśmy narzędzie MediaPipe Visualizer dostępne online.

• W widoku wykresu użytkownicy mogą zobaczyć połączony wykres kalkulatora z użyciem konfiguracji wykresu wklejonej do edytora wykresów lub przesłanej do niego pliku. Użytkownik może wizualizować utworzony wykres i rozwiązywać związane z nim problemy.

  

Praca w edytorze

Pierwsze kroki:

Wykres można modyfikować, dodając i edytując kod w widoku edytora.

• Naciśnięcie przycisku „Nowy” w prawym górnym rogu spowoduje usunięcie kodu w oknie Edytora.

  

• Po kliknięciu przycisku „Prześlij” użytkownik zobaczy prośbę o wybranie lokalnego pliku PBTXT, co spowoduje zastąpienie bieżącego kodu w edytorze.

• Kod można też wkleić bezpośrednio w oknie edytora.

• Błędy i komunikaty informacyjne pojawią się w oknie Prześlij opinię.

  

Interpretowanie wykresu

Wykres z wizualizacją pokazuje połączenia między węzłami kalkulatora.

• Strumienie wychodzą z dołu kalkulatora, generując strumień i wchodzą na górę dowolnego kalkulatora odbierającego strumień. (Zwróć uwagę na użycie klucza „input_stream” i „output_stream”).

  

  

• Pakiety boczne działają tak samo z tą różnicą, że zamykają węzeł po prawej stronie i wchodzą po lewej stronie. (Zwróć uwagę na użycie klucza „input_side_packet” i „output_side_packet”).

  

  

• Istnieją specjalne węzły, które reprezentują dane wejściowe i wyjściowe wykresu oraz mogą dostarczać zarówno dodatkowe pakiety, jak i strumienie.

  

  

Wizualizowanie napisów

Wizualizacja MediaPipe może wyświetlać wiele wykresów na osobnych kartach. Jeśli wykres ma pole type na najwyższym poziomie definicji proto wykresu, a wartość type jest używana jako nazwa kalkulatora na innym wykresie, wizualizacja jest uznawana za podwyżkę i odpowiednio pokolorowaną w miejscu, w którym jest używana. Kliknięcie podtytułu spowoduje przejście do odpowiedniej karty z jego definicją.

Na przykład w MediaPipe Hands są 2 wykresy: wykres główny (plik źródłowy w pliku pbtxt) i powiązany z nim podgraf (plik źródłowy pbtxt). Aby je zwizualizować:

• W wizualizacji MediaPipe kliknij przycisk Prześlij wykres i wybierz 2 pliki pbtxt do zwizualizowania (główny wykres i powiązany z nim podgraf).

  

  

• Zobaczysz 2 dodatkowe karty. Karta głównego wykresu to hand_detection_mobile.pbtxt.

  

• Kliknięcie fioletowego węzła HandDetection przekierowuje widok na kartę hand_detection_gpu.pbtxt.