Model machine learning (ML) yang Anda gunakan dengan LiteRT awalnya dibangun dan dilatih menggunakan library dan alat inti TensorFlow. Setelah membuat model dengan TensorFlow Core, Anda dapat mengonversinya ke format model ML yang lebih kecil dan efisien yang disebut model LiteRT. Bagian ini memberikan panduan untuk mengonversi model TensorFlow Anda ke format model LiteRT.
Alur kerja konversi
Mengonversi model TensorFlow ke format LiteRT dapat dilakukan melalui beberapa jalur, bergantung pada konten model ML Anda. Sebagai langkah pertama dalam proses tersebut, Anda harus mengevaluasi model untuk menentukan apakah model tersebut dapat dikonversi secara langsung. Evaluasi ini menentukan apakah konten model didukung oleh lingkungan runtime LiteRT standar berdasarkan operasi TensorFlow yang digunakannya. Jika model Anda menggunakan operasi di luar set yang didukung, Anda memiliki opsi untuk memfaktorkan ulang model atau menggunakan teknik konversi lanjutan.
Diagram di bawah menunjukkan langkah-langkah tingkat tinggi dalam mengonversi model.
Gambar 1. Alur kerja konversi LiteRT.
Bagian berikut menguraikan proses evaluasi dan konversi model untuk digunakan dengan LiteRT.
Format model input
Anda dapat menggunakan konverter dengan format model input berikut:
- SavedModel (direkomendasikan): Model TensorFlow yang disimpan sebagai sekumpulan file di disk.
- Model Keras: Model yang dibuat menggunakan Keras API tingkat tinggi.
- Format H5 Keras: Alternatif ringan untuk format SavedModel yang didukung oleh Keras API.
- Model yang dibangun dari fungsi konkret: Model yang dibuat menggunakan TensorFlow API tingkat rendah.
Anda dapat menyimpan model fungsi Keras dan konkret sebagai SavedModel dan mengonversi menggunakan jalur yang direkomendasikan.
Jika memiliki model Jax, Anda dapat menggunakan TFLiteConverter.experimental_from_jax
API untuk mengonversinya ke format LiteRT. Perhatikan bahwa API ini dapat berubah
saat dalam mode eksperimental.
Evaluasi konversi
Mengevaluasi model adalah langkah penting sebelum mencoba mengonversinya. Saat mengevaluasi, Anda ingin menentukan apakah konten model Anda kompatibel dengan format LiteRT. Anda juga harus menentukan apakah model Anda cocok untuk digunakan di perangkat seluler dan edge dalam hal ukuran data yang digunakan model, persyaratan pemrosesan hardware-nya, serta ukuran dan kompleksitas model secara keseluruhan.
Untuk banyak model, konverter akan berfungsi secara langsung. Namun, library operator bawaan LiteRT mendukung subset operator inti TensorFlow, yang berarti beberapa model mungkin memerlukan langkah tambahan sebelum dikonversi ke LiteRT. Selain itu, beberapa operasi yang didukung oleh LiteRT memiliki persyaratan penggunaan yang dibatasi karena alasan performa. Lihat panduan kompatibilitas operator untuk menentukan apakah model Anda perlu difaktorkan ulang untuk konversi.
Konversi model
Pengonversi LiteRT mengambil model TensorFlow dan menghasilkan model LiteRT (format FlatBuffer yang dioptimalkan dan diidentifikasi oleh ekstensi file .tflite). Anda dapat memuat SavedModel atau mengonversi model yang Anda buat dalam kode secara langsung.
Konverter menggunakan 3 tanda (atau opsi) utama yang menyesuaikan konversi untuk model Anda:
- Flag kompatibilitas memungkinkan Anda menentukan apakah konversi harus mengizinkan operator kustom.
- Flag pengoptimalan memungkinkan Anda menentukan jenis pengoptimalan yang akan diterapkan selama konversi. Teknik pengoptimalan yang paling umum digunakan adalah kuantisasi pasca-pelatihan.
- Flag metadata memungkinkan Anda menambahkan metadata ke model yang dikonversi, sehingga memudahkan pembuatan kode wrapper khusus platform saat men-deploy model di perangkat.
Anda dapat mengonversi model menggunakan Python API atau alat Command line. Lihat panduan Mengonversi model TF untuk mengetahui petunjuk langkah demi langkah tentang cara menjalankan konverter pada model Anda.
Biasanya, Anda akan mengonversi model untuk lingkungan runtime standar LiteRT atau lingkungan runtime layanan Google Play untuk LiteRT (Beta). Beberapa kasus penggunaan lanjutan memerlukan penyesuaian lingkungan runtime model, yang memerlukan langkah tambahan dalam proses konversi. Lihat bagian lingkungan runtime lanjutan di ringkasan Android untuk mendapatkan panduan selengkapnya.
Konversi lanjutan
Jika Anda mengalami error saat menjalankan konverter pada model, kemungkinan besar Anda mengalami masalah kompatibilitas operator. Tidak semua operasi TensorFlow didukung oleh TensorFlow Lite. Anda dapat mengatasi masalah ini dengan memfaktorkan ulang model, atau dengan menggunakan opsi konversi lanjutan yang memungkinkan Anda membuat model format LiteRT yang diubah dan lingkungan runtime kustom untuk model tersebut.
- Lihat Ringkasan kompatibilitas model untuk mengetahui informasi selengkapnya tentang pertimbangan kompatibilitas model TensorFlow dan LiteRT.
- Topik di bagian Ringkasan kompatibilitas model mencakup teknik lanjutan untuk memfaktorkan ulang model Anda, seperti panduan Operator pilihan.
- Untuk mengetahui daftar lengkap operasi dan batasan, lihat halaman Operasi LiteRT.
Langkah berikutnya
- Lihat panduan mengonversi model TF untuk memulai konversi model dengan cepat.
- Lihat ringkasan pengoptimalan untuk mendapatkan panduan tentang cara mengoptimalkan model yang dikonversi menggunakan teknik seperti kuantisasi pasca-pelatihan.
- Lihat Ringkasan menambahkan metadata untuk mempelajari cara menambahkan metadata ke model Anda. Metadata memberikan deskripsi model Anda untuk penggunaan lain serta informasi yang dapat dimanfaatkan oleh generator kode.