LiteRT w Usługach Google Play można też uzyskać za pomocą interfejsów Java API, których można używać w kodzie Java lub Kotlin jako uzupełnienie natywnego interfejsu API. W szczególności w usługach Google Play usługa LiteRT jest dostępna przez interfejs LiteRT Interpreter API.
Korzystanie z interfejsów Interpreter API
Interfejs API LiteRT Interpreter udostępniany przez środowisko wykonawcze TensorFlow zapewnia interfejs ogólnego przeznaczenia do tworzenia i uruchamiania modeli systemów uczących się. Aby wykonać wnioskowanie za pomocą interfejsu Interpreter API korzystając z TensorFlow Lite w czasie wykonywania usług Google Play, wykonaj te czynności:
1. Dodaj zależności projektu
Aby uzyskać dostęp do interfejsu API usług Play w przypadku LiteRT, dodaj do kodu projektu aplikacji te zależności:
dependencies {
...
// LiteRT dependencies for Google Play services
implementation 'com.google.android.gms:play-services-tflite-java:16.1.0'
// Optional: include LiteRT Support Library
implementation 'com.google.android.gms:play-services-tflite-support:16.1.0'
...
}
2. Dodaj inicjalizację LiteRT.
Zanim użyjesz interfejsów API LiteRT, zainicjuj komponent LiteRT interfejsu API usług Google Play:
Kotlin
val initializeTask: Task<Void> by lazy { TfLite.initialize(this) }
Java
Task<Void> initializeTask = TfLite.initialize(context);
3. Tworzenie tłumacza i ustawianie opcji środowiska wykonawczego
Utwórz interpretera za pomocą funkcji InterpreterApi.create()
i skonfiguruj go do używania środowiska wykonawczego Usług Google Play, wywołując funkcję InterpreterApi.Options.setRuntime()
, jak pokazano w tym przykładowym kodzie:
Kotlin
import org.tensorflow.lite.InterpreterApi import org.tensorflow.lite.InterpreterApi.Options.TfLiteRuntime ... private lateinit var interpreter: InterpreterApi ... initializeTask.addOnSuccessListener { val interpreterOption = InterpreterApi.Options().setRuntime(TfLiteRuntime.FROM_SYSTEM_ONLY) interpreter = InterpreterApi.create( modelBuffer, interpreterOption )} .addOnFailureListener { e -> Log.e("Interpreter", "Cannot initialize interpreter", e) }
Java
import org.tensorflow.lite.InterpreterApi import org.tensorflow.lite.InterpreterApi.Options.TfLiteRuntime ... private InterpreterApi interpreter; ... initializeTask.addOnSuccessListener(a -> { interpreter = InterpreterApi.create(modelBuffer, new InterpreterApi.Options().setRuntime(TfLiteRuntime.FROM_SYSTEM_ONLY)); }) .addOnFailureListener(e -> { Log.e("Interpreter", String.format("Cannot initialize interpreter: %s", e.getMessage())); });
Użyj implementacji powyżej, ponieważ zapobiega ona blokowaniu wątku interfejsu użytkownika Androida. Jeśli musisz dokładniej zarządzać wykonywaniem wątku, możesz dodać wywołanie Tasks.await()
do funkcji tworzenia interpretera:
Kotlin
import androidx.lifecycle.lifecycleScope ... lifecycleScope.launchWhenStarted { // uses coroutine initializeTask.await() }
Java
@BackgroundThread InterpreterApi initializeInterpreter() { Tasks.await(initializeTask); return InterpreterApi.create(...); }
4. Wykonywanie wniosków
Za pomocą utworzonego obiektu interpreter
wywołaj metodę run()
, aby wygenerować wnioskowanie.
Kotlin
interpreter.run(inputBuffer, outputBuffer)
Java
interpreter.run(inputBuffer, outputBuffer);
Akceleracja sprzętowa
LiteRT pozwala zwiększyć wydajność modelu dzięki specjalnym procesorom sprzętowym, takim jak procesory graficzne (GPU). Możesz korzystać z tych wyspecjalizowanych procesorów za pomocą sterowników sprzętowych zwanych podmiotami delegowanymi.
Przekaźnik GPU jest udostępniany przez usługi Google Play i ładowany dynamicznie, podobnie jak wersje interfejsu Interpreter API w Usługach Google Play.
Sprawdzanie zgodności urządzeń
Nie wszystkie urządzenia obsługują akcelerację sprzętową GPU za pomocą TFLite. Aby ograniczyć błędy i potencjalne awarie, użyj metody TfLiteGpu.isGpuDelegateAvailable
do sprawdzenia, czy urządzenie jest zgodne z delegatem GPU.
Użyj tej metody, aby sprawdzić, czy urządzenie jest zgodne z GPU, i użyć procesora jako rozwiązania zastępczego, gdy GPU nie jest obsługiwany.
useGpuTask = TfLiteGpu.isGpuDelegateAvailable(context)
Gdy masz zmienną, taką jak useGpuTask
, możesz jej użyć, aby określić, czy urządzenia korzystają z usługi GPU delegate.
Kotlin
val interpreterTask = useGpuTask.continueWith { task -> val interpreterOptions = InterpreterApi.Options() .setRuntime(TfLiteRuntime.FROM_SYSTEM_ONLY) if (task.result) { interpreterOptions.addDelegateFactory(GpuDelegateFactory()) } InterpreterApi.create(FileUtil.loadMappedFile(context, MODEL_PATH), interpreterOptions) }
Java
Task<InterpreterApi.Options> interpreterOptionsTask = useGpuTask.continueWith({ task -> InterpreterApi.Options options = new InterpreterApi.Options().setRuntime(TfLiteRuntime.FROM_SYSTEM_ONLY); if (task.getResult()) { options.addDelegateFactory(new GpuDelegateFactory()); } return options; });
GPU z interfejsami Interpreter API
Aby użyć delegowania do GPU w ramach interfejsów Interpreter API:
Zaktualizuj zależności projektu, aby używać delegowania GPU z Usług Google Play:
implementation 'com.google.android.gms:play-services-tflite-gpu:16.2.0'
Włącz opcję przekazywania dostępu do GPU podczas inicjowania pliku TFlite:
Kotlin
TfLite.initialize(context, TfLiteInitializationOptions.builder() .setEnableGpuDelegateSupport(true) .build())
Java
TfLite.initialize(context, TfLiteInitializationOptions.builder() .setEnableGpuDelegateSupport(true) .build());
Włączanie funkcji GPU w opcjach interpretera: ustaw fabrykę delegata na
addDelegateFactory() within
InterpreterApi.Options():Kotlin
val interpreterOption = InterpreterApi.Options() .setRuntime(TfLiteRuntime.FROM_SYSTEM_ONLY) .addDelegateFactory(GpuDelegateFactory())
Java
Options interpreterOption = InterpreterApi.Options() .setRuntime(TfLiteRuntime.FROM_SYSTEM_ONLY) .addDelegateFactory(new GpuDelegateFactory());
Migracja z samodzielnej platformy LiteRT
Jeśli planujesz przenieść aplikację z samodzielnego LiteRT do interfejsu API usług w Google Play, zapoznaj się z tymi dodatkowymi wskazówkami dotyczącymi aktualizowania kodu projektu aplikacji:
- Przejrzyj sekcję Ograniczenia na tej stronie, aby sprawdzić, czy Twój przypadek użycia jest obsługiwany.
- Przed zaktualizowaniem kodu zalecamy sprawdzenie wydajności i dokładności modeli, zwłaszcza jeśli używasz wersji LiteRT (TF Lite) starszej niż 2.1, aby mieć punkt odniesienia do porównania z nową implementacją.
- Jeśli cały kod został przeniesiony do interfejsu API Usług Google Play w celu użycia LiteRT, musisz usunąć istniejące zależności biblioteki czasu wykonywania LiteRT (elementy z
org.tensorflow:tensorflow-lite:*
) z pliku build.gradle, aby zmniejszyć rozmiar aplikacji. - Zidentyfikuj w kodzie wszystkie wystąpienia tworzenia obiektu
new Interpreter
i zmodyfikuj je tak, aby używały wywołaniaInterpreterApi.create()
. Nowa funkcjaTfLite.initialize
jest asynchroniczna, co oznacza, że w większości przypadków nie jest to prosta wymiana: musisz zarejestrować listenera na czas zakończenia wywołania. Zapoznaj się z fragmentem kodu z Kroku 3. - Dodaj
import org.tensorflow.lite.InterpreterApi;
iimport org.tensorflow.lite.InterpreterApi.Options.TfLiteRuntime;
do dowolnych plików źródłowych za pomocą klasorg.tensorflow.lite.Interpreter
luborg.tensorflow.lite.InterpreterApi
. - Jeśli któreś z wynikających z tego wywołań funkcji
InterpreterApi.create()
ma tylko 1 argument, dodaj do listy argumentów elementnew InterpreterApi.Options()
. - Dołącz
.setRuntime(TfLiteRuntime.FROM_SYSTEM_ONLY)
do ostatniego argumentu dowolnego wywołaniaInterpreterApi.create()
. - Zastąp wszystkie inne wystąpienia klasy
org.tensorflow.lite.Interpreter
wartościąorg.tensorflow.lite.InterpreterApi
.
Jeśli chcesz korzystać jednocześnie z samodzielnej wersji LiteRT i interfejsu Play Services API, musisz używać LiteRT (TF Lite) w wersji 2.9 lub nowszej. Wersja 2.8 i starsze wersje LiteRT (TF Lite) nie są zgodne z wersją interfejsu API Usług Google Play.