Interfejs LiteRT CompiledModel API to nowoczesny standard wnioskowania na urządzeniu za pomocą ML, który oferuje uproszczone przyspieszenie sprzętowe znacznie przewyższające wydajnością interfejs Interpreter API. Ten interfejs upraszcza wdrażanie modeli .tflite na wielu platformach brzegowych, zapewniając ujednolicone środowisko programistyczne i zaawansowane funkcje zaprojektowane z myślą o maksymalnej wydajności sprzętu.
Dlaczego warto wybrać interfejs API CompiledModel?
Interfejs Interpreter API pozostaje dostępny w celu zapewnienia zgodności wstecznej, ale w przypadku interfejsu CompiledModel API priorytetem są nowe funkcje związane z wydajnością i akceleratorami. Jest to zalecana opcja z tych powodów:
Najlepsza w swojej klasie akceleracja GPU: wykorzystuje ML Drift, najnowocześniejszą bibliotekę akceleracji GPU, aby zapewnić niezawodne wnioskowanie na GPU na urządzeniach mobilnych, w internecie, na komputerach i urządzeniach IoT. Zobacz akcelerację GPU za pomocą LiteRT.
Ujednolicony dostęp do NPU: zapewnia spójne środowisko programistyczne, które umożliwia dostęp do NPU różnych dostawców, takich jak Google Tensor, Qualcomm i MediaTek, oraz eliminuje złożoność kompilatorów i środowisk wykonawczych specyficznych dla danego dostawcy. Zobacz przyspieszenie NPU za pomocą LiteRT.
Automatyczny wybór sprzętu: automatycznie wybiera optymalny backend spośród procesora, GPU i NPU na podstawie dostępnego sprzętu i wewnętrznej logiki priorytetów, eliminując konieczność ręcznej konfiguracji delegata.
Wykonanie asynchroniczne: wykorzystuje mechanizmy na poziomie systemu operacyjnego (takie jak bariery synchronizacji), aby umożliwić akceleratorom sprzętowym bezpośrednie wyzwalanie się po zakończeniu poprzednich zadań bez udziału procesora. Może to skrócić czas oczekiwania nawet 2-krotnie i zapewnić płynniejsze, bardziej interaktywne działanie AI.
Wydajne zarządzanie buforem wejścia/wyjścia: wykorzystuje interfejs
TensorBufferAPI do zarządzania przepływem danych o wysokiej wydajności między akceleratorami. Obejmuje to współdziałanie buforów bez kopiowania wAHardwareBuffer, OpenCL i OpenGL, co eliminuje kosztowne kopiowanie danych między etapami wstępnego przetwarzania, wnioskowania i postprocessingu.
Obsługiwane platformy
Interfejs LiteRT CompiledModel API obsługuje wnioskowanie o wysokiej wydajności na urządzeniach z Androidem, iOS, w internecie, na urządzeniach IoT i komputerach. Zapoznaj się z przewodnikiem dotyczącym konkretnej platformy.