LiteRT w interfejsie API usług Google Play w języku Java (i Kotlin)

LiteRT w Usługach Google Play można też uzyskać za pomocą interfejsów Java API, których można używać w kodzie Java lub Kotlin jako uzupełnienie natywnego interfejsu API. W szczególności w usługach Google Play usługa LiteRT jest dostępna przez interfejs LiteRT Interpreter API.

Korzystanie z interfejsów Interpreter API

Interfejs API LiteRT Interpreter udostępniany przez środowisko wykonawcze TensorFlow zapewnia interfejs ogólnego przeznaczenia do tworzenia i uruchamiania modeli systemów uczących się. Aby wykonać wnioskowanie za pomocą interfejsu Interpreter API korzystając z TensorFlow Lite w czasie wykonywania usług Google Play, wykonaj te czynności:

1. Dodaj zależności projektu

Aby uzyskać dostęp do interfejsu API usług Play w przypadku LiteRT, dodaj do kodu projektu aplikacji te zależności:

dependencies {
...
    // LiteRT dependencies for Google Play services
    implementation 'com.google.android.gms:play-services-tflite-java:16.1.0'
    // Optional: include LiteRT Support Library
    implementation 'com.google.android.gms:play-services-tflite-support:16.1.0'
...
}

2. Dodaj inicjalizację LiteRT.

Zanim użyjesz interfejsów API LiteRT, zainicjuj komponent LiteRT interfejsu API usług Google Play:

val initializeTask: Task<Void> by lazy { TfLite.initialize(this) }

Task<Void> initializeTask = TfLite.initialize(context);

3. Tworzenie tłumacza i ustawianie opcji środowiska wykonawczego

Utwórz interpretera za pomocą funkcji InterpreterApi.create() i skonfiguruj go do używania środowiska wykonawczego Usług Google Play, wywołując funkcję InterpreterApi.Options.setRuntime(), jak pokazano w tym przykładowym kodzie:

import org.tensorflow.lite.InterpreterApi
import org.tensorflow.lite.InterpreterApi.Options.TfLiteRuntime
...
private lateinit var interpreter: InterpreterApi
...
initializeTask.addOnSuccessListener {
  val interpreterOption =
    InterpreterApi.Options().setRuntime(TfLiteRuntime.FROM_SYSTEM_ONLY)
  interpreter = InterpreterApi.create(
    modelBuffer,
    interpreterOption
  )}
  .addOnFailureListener { e ->
    Log.e("Interpreter", "Cannot initialize interpreter", e)
  }

import org.tensorflow.lite.InterpreterApi
import org.tensorflow.lite.InterpreterApi.Options.TfLiteRuntime
...
private InterpreterApi interpreter;
...
initializeTask.addOnSuccessListener(a -> {
    interpreter = InterpreterApi.create(modelBuffer,
      new InterpreterApi.Options().setRuntime(TfLiteRuntime.FROM_SYSTEM_ONLY));
  })
  .addOnFailureListener(e -> {
    Log.e("Interpreter", String.format("Cannot initialize interpreter: %s",
          e.getMessage()));
  });

Użyj implementacji powyżej, ponieważ zapobiega ona blokowaniu wątku interfejsu użytkownika Androida. Jeśli musisz dokładniej zarządzać wykonywaniem wątku, możesz dodać wywołanie Tasks.await() do funkcji tworzenia interpretera:

import androidx.lifecycle.lifecycleScope
...
lifecycleScope.launchWhenStarted { // uses coroutine
  initializeTask.await()
}

@BackgroundThread
InterpreterApi initializeInterpreter() {
    Tasks.await(initializeTask);
    return InterpreterApi.create(...);
}

4. Wykonywanie wniosków

Za pomocą utworzonego obiektu interpreter wywołaj metodę run(), aby wygenerować wnioskowanie.

interpreter.run(inputBuffer, outputBuffer)

interpreter.run(inputBuffer, outputBuffer);

Akceleracja sprzętowa

LiteRT pozwala zwiększyć wydajność modelu dzięki specjalnym procesorom sprzętowym, takim jak procesory graficzne (GPU). Możesz korzystać z tych wyspecjalizowanych procesorów za pomocą sterowników sprzętowych zwanych podmiotami delegowanymi.

Przekaźnik GPU jest udostępniany przez usługi Google Play i ładowany dynamicznie, podobnie jak wersje interfejsu Interpreter API w Usługach Google Play.

Sprawdzanie zgodności urządzeń

Nie wszystkie urządzenia obsługują akcelerację sprzętową GPU za pomocą TFLite. Aby ograniczyć błędy i potencjalne awarie, użyj metody TfLiteGpu.isGpuDelegateAvailable do sprawdzenia, czy urządzenie jest zgodne z delegatem GPU.

Użyj tej metody, aby sprawdzić, czy urządzenie jest zgodne z GPU, i użyć procesora jako rozwiązania zastępczego, gdy GPU nie jest obsługiwany.

useGpuTask = TfLiteGpu.isGpuDelegateAvailable(context)

Gdy masz zmienną, taką jak useGpuTask, możesz jej użyć, aby określić, czy urządzenia korzystają z usługi GPU delegate.

val interpreterTask = useGpuTask.continueWith { task ->
  val interpreterOptions = InterpreterApi.Options()
      .setRuntime(TfLiteRuntime.FROM_SYSTEM_ONLY)
  if (task.result) {
      interpreterOptions.addDelegateFactory(GpuDelegateFactory())
  }
  InterpreterApi.create(FileUtil.loadMappedFile(context, MODEL_PATH), interpreterOptions)
}
    

Task<InterpreterApi.Options> interpreterOptionsTask = useGpuTask.continueWith({ task ->
  InterpreterApi.Options options =
      new InterpreterApi.Options().setRuntime(TfLiteRuntime.FROM_SYSTEM_ONLY);
  if (task.getResult()) {
     options.addDelegateFactory(new GpuDelegateFactory());
  }
  return options;
});
    

GPU z interfejsami Interpreter API

Aby użyć delegowania do GPU w ramach interfejsów Interpreter API:

1. Zaktualizuj zależności projektu, aby używać delegowania GPU z Usług Google Play:

   implementation 'com.google.android.gms:play-services-tflite-gpu:16.2.0'
   

2. Włącz opcję przekazywania dostępu do GPU podczas inicjowania pliku TFlite:

   Kotlin

   TfLite.initialize(context,
     TfLiteInitializationOptions.builder()
       .setEnableGpuDelegateSupport(true)
       .build())

   Java

   TfLite.initialize(context,
     TfLiteInitializationOptions.builder()
       .setEnableGpuDelegateSupport(true)
       .build());

3. Włączanie funkcji GPU w opcjach interpretera: ustaw fabrykę delegata na addDelegateFactory() withinInterpreterApi.Options():

   Kotlin

   val interpreterOption = InterpreterApi.Options()
     .setRuntime(TfLiteRuntime.FROM_SYSTEM_ONLY)
     .addDelegateFactory(GpuDelegateFactory())

   Java

   Options interpreterOption = InterpreterApi.Options()
     .setRuntime(TfLiteRuntime.FROM_SYSTEM_ONLY)
     .addDelegateFactory(new GpuDelegateFactory());

Migracja z samodzielnej platformy LiteRT

Jeśli planujesz przenieść aplikację z samodzielnego LiteRT do interfejsu API usług w Google Play, zapoznaj się z tymi dodatkowymi wskazówkami dotyczącymi aktualizowania kodu projektu aplikacji:

1. Przejrzyj sekcję Ograniczenia na tej stronie, aby sprawdzić, czy Twój przypadek użycia jest obsługiwany.
2. Przed zaktualizowaniem kodu zalecamy sprawdzenie wydajności i dokładności modeli, zwłaszcza jeśli używasz wersji LiteRT (TF Lite) starszej niż 2.1, aby mieć punkt odniesienia do porównania z nową implementacją.
3. Jeśli cały kod został przeniesiony do interfejsu API Usług Google Play w celu użycia LiteRT, musisz usunąć istniejące zależności biblioteki czasu wykonywania LiteRT (elementy z org.tensorflow:tensorflow-lite:*) z pliku build.gradle, aby zmniejszyć rozmiar aplikacji.
4. Zidentyfikuj w kodzie wszystkie wystąpienia tworzenia obiektu new Interpreter i zmodyfikuj je tak, aby używały wywołania InterpreterApi.create(). Nowa funkcja TfLite.initialize jest asynchroniczna, co oznacza, że w większości przypadków nie jest to prosta wymiana: musisz zarejestrować listenera na czas zakończenia wywołania. Zapoznaj się z fragmentem kodu z Kroku 3.
5. Dodaj import org.tensorflow.lite.InterpreterApi; i import org.tensorflow.lite.InterpreterApi.Options.TfLiteRuntime; do dowolnych plików źródłowych za pomocą klas org.tensorflow.lite.Interpreter lub org.tensorflow.lite.InterpreterApi.
6. Jeśli któreś z wynikających z tego wywołań funkcji InterpreterApi.create() ma tylko 1 argument, dodaj do listy argumentów element new InterpreterApi.Options().
7. Dołącz .setRuntime(TfLiteRuntime.FROM_SYSTEM_ONLY) do ostatniego argumentu dowolnego wywołania InterpreterApi.create().
8. Zastąp wszystkie inne wystąpienia klasy org.tensorflow.lite.Interpreter wartością org.tensorflow.lite.InterpreterApi.

Jeśli chcesz korzystać jednocześnie z samodzielnej wersji LiteRT i interfejsu Play Services API, musisz używać LiteRT (TF Lite) w wersji 2.9 lub nowszej. Wersja 2.8 i starsze wersje LiteRT (TF Lite) nie są zgodne z wersją interfejsu API Usług Google Play.