Delegasi GPU untuk TensorFlow Lite

Penggunaan unit pemrosesan grafis (GPU) untuk menjalankan model machine learning (ML) dapat meningkatkan performa model dan pengalaman pengguna aplikasi berkemampuan ML secara signifikan. TensorFlow Lite memungkinkan penggunaan GPU dan prosesor khusus lainnya melalui driver hardware yang disebut delegasi. Mengaktifkan penggunaan GPU dengan aplikasi ML TensorFlow Lite dapat memberikan manfaat berikut:

  • Kecepatan - GPU dibuat untuk throughput tinggi dari beban kerja paralel yang sangat besar. Desain ini membuatnya sangat cocok untuk deep neural net, yang terdiri dari banyak operator, yang masing-masing mengerjakan tensor input yang dapat diproses secara paralel, yang biasanya menghasilkan latensi lebih rendah. Dalam skenario terbaik, menjalankan model di GPU dapat berjalan cukup cepat untuk mengaktifkan aplikasi real-time yang sebelumnya tidak memungkinkan.
  • Efisiensi daya - GPU melakukan komputasi ML dengan cara yang sangat efisien dan optimal, yang biasanya mengonsumsi lebih sedikit daya dan menghasilkan lebih sedikit panas daripada tugas yang sama yang berjalan pada CPU.

Dokumen ini memberikan ringkasan tentang dukungan GPU di TensorFlow Lite, dan beberapa penggunaan lanjutan untuk prosesor GPU. Untuk informasi lebih spesifik tentang menerapkan dukungan GPU pada platform tertentu, lihat panduan berikut:

Dukungan operasi ML GPU

Ada beberapa batasan terkait operasi ML TensorFlow, atau operasi, yang dapat dipercepat dengan delegasi GPU TensorFlow Lite. Delegasi mendukung operasi berikut dalam presisi float 16-bit dan 32-bit:

  • ADD
  • AVERAGE_POOL_2D
  • CONCATENATION
  • CONV_2D
  • DEPTHWISE_CONV_2D v1-2
  • EXP
  • FULLY_CONNECTED
  • LOGICAL_AND
  • LOGISTIC
  • LSTM v2 (Basic LSTM only)
  • MAX_POOL_2D
  • MAXIMUM
  • MINIMUM
  • MUL
  • PAD
  • PRELU
  • RELU
  • RELU6
  • RESHAPE
  • RESIZE_BILINEAR v1-3
  • SOFTMAX
  • STRIDED_SLICE
  • SUB
  • TRANSPOSE_CONV

Secara default, semua operasi hanya didukung pada versi 1. Mengaktifkan dukungan kuantisasi akan mengaktifkan versi yang sesuai, misalnya, ADD v2.

Pemecahan masalah dukungan GPU

Jika beberapa operasi tidak didukung oleh delegasi GPU, framework hanya akan menjalankan sebagian grafik di GPU dan bagian sisanya di CPU. Karena biaya sinkronisasi CPU/GPU yang tinggi, mode eksekusi terpisah seperti ini sering kali menghasilkan performa yang lebih lambat daripada jika seluruh jaringan dijalankan hanya pada CPU. Dalam hal ini, aplikasi akan menghasilkan peringatan, seperti:

WARNING: op code #42 cannot be handled by this delegate.

Tidak ada callback untuk kegagalan jenis ini, karena ini bukan kegagalan run-time yang sebenarnya. Saat menguji eksekusi model dengan delegasi GPU, Anda akan menerima peringatan ini. Jumlah peringatan yang tinggi ini dapat menunjukkan bahwa model Anda tidak cocok untuk digunakan dalam akselerasi GPU, dan mungkin memerlukan pemfaktoran ulang model.

Contoh model

Contoh model berikut dibuat untuk memanfaatkan akselerasi GPU dengan TensorFlow Lite serta disediakan untuk referensi dan pengujian:

Mengoptimalkan GPU

Teknik berikut dapat membantu Anda mendapatkan performa yang lebih baik saat menjalankan model di hardware GPU menggunakan delegasi GPU TensorFlow Lite:

  • Operasi bentuk ulang - Beberapa operasi yang cepat pada CPU mungkin memerlukan biaya tinggi untuk GPU di perangkat seluler. Operasi bentuk ulang sangat mahal untuk dijalankan, termasuk BATCH_TO_SPACE, SPACE_TO_BATCH, SPACE_TO_DEPTH, dan sebagainya. Anda harus memeriksa dengan cermat penggunaan operasi pembentukan ulang, dan menganggap operasi tersebut mungkin telah diterapkan hanya untuk menjelajahi data atau untuk iterasi awal model Anda. Menghapusnya dapat meningkatkan performa secara signifikan.

  • Saluran data gambar - Di GPU, data tensor dibagi menjadi 4 saluran, sehingga komputasi pada tensor dengan bentuk [B,H,W,5] berperforma hampir sama pada tensor bentuk [B,H,W,8], tetapi jauh lebih buruk daripada [B,H,W,4]. Jika hardware kamera yang Anda gunakan mendukung frame gambar dalam RGBA, memasukkan input 4-saluran tersebut jauh lebih cepat, karena menghindari salinan memori dari RGB 3-saluran ke RGBX 4-saluran.

  • Model yang dioptimalkan untuk seluler - Untuk mendapatkan performa terbaik, sebaiknya pertimbangkan untuk melatih ulang pengklasifikasi dengan arsitektur jaringan yang dioptimalkan untuk seluler. Pengoptimalan untuk inferensi di perangkat dapat mengurangi latensi dan konsumsi daya secara signifikan dengan memanfaatkan fitur hardware seluler.

Dukungan GPU lanjutan

Anda dapat menggunakan teknik lanjutan yang canggih dengan pemrosesan GPU untuk memungkinkan performa yang lebih baik lagi untuk model Anda, termasuk kuantisasi dan serialisasi. Bagian berikut menjelaskan teknik ini secara lebih mendetail.

Menggunakan model terkuantisasi

Bagian ini menjelaskan cara delegasi GPU mempercepat model terkuantisasi 8-bit, termasuk yang berikut:

Untuk mengoptimalkan performa, gunakan model yang memiliki input floating point dan tensor output.

Bagaimana cara kerjanya?

Karena backend GPU hanya mendukung eksekusi floating point, kami menjalankan model terkuantisasi dengan memberinya 'tampilan floating point' dari model asli. Secara umum, proses ini mencakup langkah-langkah berikut:

  • Tensor konstanta (seperti bobot/bias) didekuantisasi satu kali ke dalam memori GPU. Operasi ini terjadi saat delegasi diaktifkan untuk TensorFlow Lite.

  • Input dan output ke program GPU, jika dikuantisasi 8-bit, dide-kuantisasi dan dikuantisasi (berturut-turut) untuk setiap inferensi. Operasi ini dilakukan pada CPU menggunakan kernel yang dioptimalkan TensorFlow Lite.

  • Simulator kuantisasi dimasukkan di antara operasi untuk meniru perilaku terkuantisasi. Pendekatan ini diperlukan untuk model yang operasinya mengharapkan aktivasi mengikuti batas yang dipelajari selama kuantisasi.

Untuk mengetahui informasi tentang cara mengaktifkan fitur ini dengan delegasi GPU, lihat hal berikut:

Mengurangi waktu inisialisasi dengan serialisasi

Fitur delegasi GPU memungkinkan Anda memuat dari kode kernel yang telah dikompilasi sebelumnya, serta data model yang diserialisasi dan disimpan pada disk dari operasi sebelumnya. Pendekatan ini menghindari kompilasi ulang dan dapat mengurangi waktu startup hingga 90%. Peningkatan ini dicapai dengan menukar kapasitas disk untuk menghemat waktu. Anda dapat mengaktifkan fitur ini dengan beberapa opsi konfigurasi, seperti yang ditunjukkan pada contoh kode berikut:

C++

    TfLiteGpuDelegateOptionsV2 options = TfLiteGpuDelegateOptionsV2Default();
    options.experimental_flags |= TFLITE_GPU_EXPERIMENTAL_FLAGS_ENABLE_SERIALIZATION;
    options.serialization_dir = kTmpDir;
    options.model_token = kModelToken;

    auto* delegate = TfLiteGpuDelegateV2Create(options);
    if (interpreter->ModifyGraphWithDelegate(delegate) != kTfLiteOk) return false;

Java

    GpuDelegate delegate = new GpuDelegate(
      new GpuDelegate.Options().setSerializationParams(
        /* serializationDir= */ serializationDir,
        /* modelToken= */ modelToken));

    Interpreter.Options options = (new Interpreter.Options()).addDelegate(delegate);

Saat menggunakan fitur serialisasi, pastikan kode Anda mematuhi aturan penerapan ini:

  • Simpan data serialisasi dalam direktori yang tidak dapat diakses oleh aplikasi lain. Pada perangkat Android, gunakan getCodeCacheDir() yang mengarah ke lokasi yang bersifat pribadi bagi aplikasi saat ini.
  • Token model harus unik bagi perangkat untuk model tertentu. Anda dapat menghitung token model dengan membuat sidik jari dari data model menggunakan library seperti farmhash::Fingerprint64.