TensorFlow Lite, geliştiricilerin modellerini mobil, yerleşik ve uç cihazlarda çalıştırmasına yardımcı olarak cihaz üzerinde makine öğrenimine olanak tanıyan bir araç grubudur.
Temel özellikler
- 5 temel kısıtlamayı ele alarak cihaz üzerinde makine öğrenimi için optimize edilmiştir: Gecikme (sunucuya gidiş dönüş yoktur), gizlilik (cihazdan hiçbir kişisel veri çıkmaz), bağlantı (internet bağlantısı gerekli değildir), boyut (küçültülmüş model ve ikili dosya boyutu) ve güç tüketimi (verimli çıkarım ve ağ bağlantısı eksikliği).
- Android ve iOS cihazlar, yerleşik Linux ve mikrodenetleyiciler gibi çoklu platform desteği.
- Java, Swift, Objective-C, C++ ve Python'u içeren çok yönlü dil desteği.
- Donanım hızlandırma ve model optimizasyonu ile yüksek performans.
Geliştirme iş akışı
Aşağıdaki kılavuzda, iş akışının her bir adımı açıklanmaktadır ve diğer talimatlar için bağlantılar sağlanmaktadır:
1. TensorFlow Lite modeli oluşturma
TensorFlow Lite modeli, FlatBuffers olarak bilinen özel ve verimli bir taşınabilir biçimde temsil edilir (.tflite dosya uzantısıyla tanımlanır). Bu, TensorFlow'un protokol arabelleği modeli biçimine kıyasla, daha düşük boyut (küçük kod ayak izi) ve daha hızlı çıkarım (verilere ekstra bir ayrıştırma/paket açma adımı olmadan doğrudan erişilebilir) gibi çeşitli avantajlar sağlar. Bu da TensorFlow Lite'ın sınırlı bilgi işlem ve bellek kaynaklarına sahip cihazlarda verimli bir şekilde çalışmasını sağlar.
TensorFlow Lite modeli, isteğe bağlı olarak cihaz üzerinde çıkarım sırasında önceden ve sonra işleme ardışık düzenlerinin otomatik olarak oluşturulması için, kullanıcılar tarafından okunabilir model açıklaması ve makine tarafından okunabilir veriler içeren meta verileri içerebilir. Daha fazla ayrıntı için Meta veri ekleme başlıklı makaleye bakın.
TensorFlow Lite modelini aşağıdaki yöntemlerle oluşturabilirsiniz:
Mevcut bir TensorFlow Lite modelini kullanma: Mevcut bir modeli seçmek için TensorFlow Lite Örnekleri bölümünü inceleyin. Modeller meta veri içerebilir veya içermeyebilir.
Bir TensorFlow modelini TensorFlow Lite modeline dönüştürme: Bir TensorFlow modelini TensorFlow Lite modeline dönüştürmek için TensorFlow Lite Converter'ı kullanın. Dönüşüm sırasında, model boyutunu ve gecikmeyi doğrulukta minimum düzeyde veya hiç kaybı olmayacak şekilde azaltmak için ölçümleme gibi optimizasyonlar uygulayabilirsiniz. Varsayılan olarak, hiçbir model meta veri içermez.
2. Çıkarımı Çalıştır
Çıkarım, giriş verilerine göre tahminlerde bulunmak için cihaz üzerinde bir TensorFlow Lite modeli yürütme işlemidir. Model türüne bağlı olarak aşağıdaki çıkarım yöntemlerini kullanabilirsiniz:
Meta veri içermeyen modeller: TensorFlow Lite Translateer API'yi kullanın. Java, Swift, C++, Objective-C ve Python gibi birçok platformda ve dilde desteklenir.
Meta veri içeren modeller: TensorFlow Lite Destek Kitaplığı ile özel çıkarım ardışık düzenleri derleyebilirsiniz. Android cihazlarda kullanıcılar Android Studio ML Model Binding veya TensorFlow Lite Code Üreticisi ile otomatik olarak kod sarmalayıcılar oluşturabilir. Swift (iOS) ve C++ çalışırken yalnızca Java'da (Android) desteklenir.
Android ve iOS cihazlarda donanım hızlandırmayı kullanarak performansı artırabilirsiniz. Her iki platformda da GPU Temsilcisi, iOS'te ise Core ML Delegate'i kullanabilirsiniz. Yeni donanım hızlandırıcıları desteklemek için kendi yetki verdiğiniz kullanıcıyı tanımlayabilirsiniz.
Başlayın
Hedef cihazınıza bağlı olarak aşağıdaki kılavuzlara başvurabilirsiniz:
Android ve iOS: Android hızlı başlangıç kılavuzunu ve iOS hızlı başlangıç kılavuzunu keşfedin.
Yerleşik Linux: Raspberry Pi ve Edge TPU'ya sahip Coral cihazlar gibi yerleşik cihazlar için Python hızlı başlangıç kılavuzunu veya ARM için C++ derleme talimatlarını inceleyin.
Mikrodenetleyiciler: Yalnızca birkaç kilobayt bellek içeren mikrodenetleyiciler ve DSP'lere yönelik TensorFlow Lite for Microcontrollers kitaplığını keşfedin.
Teknik kısıtlamalar
- Tüm TensorFlow modelleri TensorFlow Lite modellerine dönüştürülemez. Operatör uyumluluğu bölümüne bakın.