Ringkasan LiteRT

LiteRT (singkatan dari Lite Runtime), sebelumnya dikenal sebagai TensorFlow Lite, adalah runtime performa tinggi Google untuk AI di perangkat. Anda dapat menemukan model LiteRT yang siap dijalankan untuk berbagai tugas ML/AI, atau mengonversi dan menjalankan model TensorFlow, PyTorch, dan JAX ke format TFLite menggunakan alat konversi dan pengoptimalan AI Edge.

Fitur utama

  • Dioptimalkan untuk machine learning di perangkat: LiteRT mengatasi lima batasan ODML utama: latensi (tidak ada perjalanan bolak-balik ke server), privasi (tidak ada data pribadi yang keluar dari perangkat), konektivitas (konektivitas internet tidak diperlukan), ukuran (ukuran model dan biner yang dikurangi), dan konsumsi daya (inferensi yang efisien dan kurangnya koneksi jaringan).

  • Dukungan multiplatform: Kompatibel dengan perangkat Android dan iOS, Linux tersemat, dan mikrokontroler.

  • Opsi model multi-framework: AI Edge menyediakan alat untuk mengonversi model dari model TensorFlow, PyTorch, dan JAX menjadi format FlatBuffers (.tflite), sehingga Anda dapat menggunakan berbagai model canggih di LiteRT. Anda juga memiliki akses ke alat pengoptimalan model yang dapat menangani kuantisasi dan metadata.

  • Dukungan bahasa yang beragam: Mencakup SDK untuk Java/Kotlin, Swift, Objective-C, C++, dan Python.

  • Performa tinggi: Akselerasi hardware melalui delegasi khusus seperti GPU dan iOS Core ML.

Alur kerja pengembangan

Alur kerja pengembangan LiteRT melibatkan identifikasi masalah ML/AI, memilih model yang menyelesaikan masalah tersebut, dan menerapkan model di perangkat. Langkah-langkah berikut akan memandu Anda melalui alur kerja dan memberikan link ke petunjuk lebih lanjut.

1. Mengidentifikasi solusi yang paling sesuai untuk masalah ML

LiteRT menawarkan tingkat fleksibilitas dan penyesuaian yang tinggi kepada pengguna saat menyelesaikan masalah machine learning, sehingga cocok bagi pengguna yang memerlukan model tertentu atau implementasi khusus. Pengguna yang mencari solusi plug-and-play dapat memilih MediaPipe Tasks, yang menyediakan solusi siap pakai untuk tugas machine learning umum seperti deteksi objek, klasifikasi teks, dan inferensi LLM.

Pilih salah satu framework AI Edge berikut:

  • LiteRT: Runtime fleksibel dan dapat disesuaikan yang dapat menjalankan berbagai model. Pilih model untuk kasus penggunaan Anda, konversikan ke format LiteRT (jika perlu), dan jalankan di perangkat. Jika Anda ingin menggunakan LiteRT, terus baca.
  • MediaPipe Tasks: Solusi plug-and-play dengan model default yang memungkinkan penyesuaian. Pilih tugas yang memecahkan masalah AI/ML Anda, dan terapkan di beberapa platform. Jika Anda ingin menggunakan MediaPipe Tasks, lihat dokumentasi MediaPipe Tasks.

2. Pilih model

Model LiteRT direpresentasikan dalam format portabel yang efisien yang dikenal sebagai FlatBuffers, yang menggunakan ekstensi file .tflite.

Anda dapat menggunakan model LiteRT dengan cara berikut:

  • Gunakan model LiteRT yang ada: Pendekatan paling sederhana adalah menggunakan model LiteRT yang sudah dalam format .tflite. Model ini tidak memerlukan langkah konversi tambahan. Anda dapat menemukan model LiteRT di Model Kaggle.

  • Mengonversi model menjadi model LiteRT: Anda dapat menggunakan TensorFlow Converter, PyToch Converter, atau JAX converter untuk mengonversi model ke format FlatBuffers (.tflite) dan menjalankannya di LiteRT. Untuk memulai, Anda dapat menemukan model di situs berikut:

Model LiteRT secara opsional dapat menyertakan metadata yang berisi deskripsi model yang dapat dibaca manusia dan data yang dapat dibaca mesin untuk pembuatan otomatis pre- dan post-pipeline pemrosesan selama inferensi di perangkat. Lihat Menambahkan metadata untuk mengetahui detail selengkapnya.

3. Mengintegrasikan model ke dalam aplikasi

Anda dapat menerapkan model LiteRT untuk menjalankan inferensi sepenuhnya di perangkat pada perangkat web, tersemat, dan seluler. LiteRT berisi API untuk Python, Java, dan Kotlin untuk Android, Swift untuk iOS, dan C++ untuk perangkat mikro.

Gunakan panduan berikut untuk menerapkan model LiteRT di platform pilihan Anda:

Di perangkat Android dan iOS, Anda dapat meningkatkan performa menggunakan akselerasi hardware. Di kedua platform, Anda dapat menggunakan GPU Delegate, dan di iOS, Anda dapat menggunakan Core ML Delegate. Untuk menambahkan dukungan bagi akselerator hardware baru, Anda dapat menentukan delegasi Anda sendiri.

Anda dapat menjalankan inferensi dengan cara berikut berdasarkan jenis model:

  • Model tanpa metadata: Gunakan LiteRT Interpreter API. Didukung di beberapa platform dan bahasa seperti Java, Swift, C++, Objective-C, dan Python.

  • Model dengan metadata: Anda dapat membuat pipeline inferensi kustom dengan Library Dukungan LiteRT.

Bermigrasi dari TF Lite

Aplikasi yang menggunakan library TF Lite akan terus berfungsi, tetapi semua pengembangan dan update aktif baru hanya akan disertakan dalam paket LiteRT. API LiteRT berisi nama metode yang sama dengan API TF Lite, sehingga migrasi ke LiteRT tidak memerlukan perubahan kode mendetail.

Untuk informasi selengkapnya, lihat panduan migrasi.

Langkah berikutnya

Pengguna baru harus memulai dengan panduan memulai LiteRT. Untuk mengetahui informasi spesifik, lihat bagian berikut:

Konversi sesuai model

Panduan platform