Rozwiązanie AI Edge w Google Cloud do testowania i porównywania na dużą skalę uczenia maszynowego na urządzeniach.
Optymalizacja skuteczności modelu ML na różnych urządzeniach mobilnych może być trudna. Testowanie ręczne jest powolne, kosztowne i często niedostępne dla większości deweloperów, co prowadzi do niepewności co do skuteczności modelu w rzeczywistych warunkach. Portal Google AI Edge rozwiązuje ten problem, umożliwiając testowanie porównawcze modeli LiteRT na wielu urządzeniach mobilnych, co pomaga deweloperom znaleźć najlepsze konfiguracje do wdrażania na dużą skalę modeli ML.
Optymalizacja wdrażania ML na urządzeniach mobilnych
Uprość i przyspiesz cykle testowania na różnych urządzeniach: w ciągu kilku minut możesz łatwo ocenić skuteczność modelu na setkach reprezentatywnych urządzeń mobilnych.
Proaktywne zapewnianie jakości modelu i wczesne wykrywanie problemów: przed wdrożeniem możesz wskazać różnice w wydajności lub regresje związane z konkretnym sprzętem (np. w przypadku określonych chipsetów lub urządzeń z ograniczoną pamięcią).
Niższe koszty testowania urządzeń i dostęp do najnowszego sprzętu: testuj na różnorodnej i stale rosnącej flocie urządzeń fizycznych (obecnie ponad 100 modeli urządzeń różnych producentów OEM z Androidem) bezpłatnie i złożoności związanych z utrzymywaniem własnego laboratorium.
Podejmuj trafne decyzje oparte na danych i korzystaj z analityki biznesowej: portal Google AI Edge udostępnia bogate dane o skuteczności i porównania, zapewniając kluczową analitykę biznesową potrzebną do pewnego optymalizowania modeli i weryfikowania gotowości do wdrożenia.
Przykładowy test porównawczy:
Jak Portal Google AI Edge pomaga testować modele LiteRT
Wybieranie urządzeń: wybierz urządzenia docelowe z naszej obszernej puli, korzystając z określonych filtrów sprzętowych, takich jak obsługa NPU, poziom urządzenia, marka, chipset i pamięć RAM. Możesz też użyć naszych wyselekcjonowanych skrótów, aby uzyskać natychmiastowy dostęp do popularnych list urządzeń.
Tworzenie konfiguracji: wybierz akceleratory CPU, GPU lub NPU do zadań testów porównawczych.
Zaawansowane dostosowywanie: dostosuj ustawienia sprzętowe wybranego akceleratora lub użyj wartości domyślnych.
Obsługa NPU: możliwości akceleracji sprzętowej obejmują teraz NPU, w tym ponad 30 urządzeń Qualcomm.
- Kompilacja AOT (Ahead-Of-Time): zalecana w przypadku wydajności na poziomie produkcyjnym, zapewnia znacznie szybszą inicjalizację i mniejsze wykorzystanie pamięci. Ten tryb wymaga dostarczenia skompilowanych modeli dla każdego unikalnego układu SoC w wybranych urządzeniach.
- Kompilacja JIT (Just-In-Time): obsługuje jeden model kompilacji na wybranych urządzeniach.
Prześlij modele: prześlij plik modelu za pomocą interfejsu lub wskaż go w zasobniku Google Cloud Storage.
Utwórz nowe zadanie testu porównawczego na ponad 100 urządzeniach. (Uwaga: GIF jest przyspieszony i skrócony)
Następnie prześlij zadanie i poczekaj na jego wykonanie. Gdy wszystko będzie gotowe, zapoznaj się z wynikami w interaktywnym panelu:
Porównywanie konfiguracji: możesz szybko sprawdzić, jak różnią się dane o wydajności (np. średnie opóźnienie, maksymalne wykorzystanie pamięci) w przypadku używania różnych akceleratorów na wszystkich testowanych urządzeniach.
Analizowanie wpływu urządzenia: sprawdź, jak konkretna konfiguracja modelu działa w zakresie wybranych urządzeń. Używaj histogramów i wykresów punktowych, aby szybko identyfikować różnice w wydajności związane z charakterystyką urządzenia.
Szczegółowe dane: dostęp do szczegółowej tabeli z możliwością sortowania, która zawiera konkretne dane (czas inicjowania, opóźnienie wnioskowania, wykorzystanie pamięci) dla każdego urządzenia wraz z jego specyfikacją sprzętową. Sprawdź wykorzystanie sprzętu w tabeli Przydział akceleratora, która pokazuje, jak operacje modelu są rozdzielane między jądra (dostępne dla procesora i GPU, obsługa NPU będzie dostępna wkrótce).
Wyświetl wyniki testu porównawczego w interaktywnym panelu. (Uwaga: GIF jest przyspieszony i skrócony)
Dołącz do prywatnej wersji testowej portalu Google AI Edge
Usługa Google AI Edge Portal jest dostępna w prywatnej wersji testowej dla klientów Google Cloud, którzy zostali dodani do listy dozwolonych. W okresie prywatnej wersji przedpremierowej dostęp jest bezpłatny, z zastrzeżeniem warunków wersji przedpremierowej.
Ta wersja podglądowa jest przeznaczona dla programistów i zespołów tworzących aplikacje ML na urządzenia mobilne z LiteRT, którzy potrzebują wiarygodnych danych porównawczych na różnych urządzeniach z Androidem i chcą przekazywać opinie, aby pomóc w kształtowaniu przyszłości produktu. Aby poprosić o dostęp, wypełnij formularz rejestracyjny. Dostęp jest przyznawany przez dodanie do listy dozwolonych.