Geliştiriciler, TensorFlow Lite Meta Verileri'ni kullanarak Android'de entegrasyonu etkinleştirmek için sarmalayıcı kodu oluşturabilir. Çoğu geliştirici için en kolay kullanım alanı Android Studio ML Model Bağlamanın grafik arayüzüdür. Daha fazla özelleştirmeye ihtiyaç duyuyorsanız veya komut satırı araçları kullanıyorsanız TensorFlow Lite Codegen'den de yararlanabilirsiniz.
Android Studio ML Model Bağlamasını Kullanma
Meta veri ile geliştirilmiş TensorFlow Lite modellerinde geliştiriciler, proje ayarlarını otomatik olarak yapılandırmak ve model meta verilerine göre sarmalayıcı sınıfları oluşturmak için Android Studio ML Model Binding'i kullanabilir. Sarmalayıcı kodu, doğrudan ByteBuffer
ile etkileşime geçme ihtiyacını ortadan kaldırır. Geliştiriciler bunun yerine Bitmap
ve Rect
gibi yazılmış nesneler kullanarak TensorFlow Lite modeliyle etkileşim kurabilir.
Android Studio'da TensorFlow Lite modelini içe aktarma
TFLite modelini kullanmak istediğiniz modülü sağ tıklayın veya
File
seçeneğini, ardındanNew
>Other
>TensorFlow Lite Model
seçeneğini tıklayın.TFLite dosyanızın konumunu seçin. Araçların, modülün bağımlılığını ML Modeli bağlaması ile sizin adınıza yapılandıracağını ve tüm bağımlılıkların Android modülünüzün
build.gradle
dosyasına otomatik olarak ekleneceğini unutmayın.İsteğe bağlı: GPU hızlandırmayı kullanmak istiyorsanız TensorFlow GPU'yu içe aktarmayla ilgili ikinci onay kutusunu işaretleyin.
Finish
simgesini tıklayın.İçe aktarma işlemi başarılı olduktan sonra aşağıdaki ekran görüntülenir. Modeli kullanmaya başlamak için Kotlin veya Java'yı seçin, kodu kopyalayıp
Sample Code
bölümünün altına yapıştırın. Android Studio'daml
dizini altında TFLite modelini çift tıklayarak bu ekrana geri dönebilirsiniz.
Model çıkarımını hızlandırma
ML Model Binding, geliştiricilerin yetki verilmiş kullanıcılar ve iş parçacığı sayısı ile kodlarını hızlandırması için bir yol sunar.
1. Adım: build.gradle
modül dosyasının aşağıdaki bağımlılığı içerip içermediğini kontrol edin:
dependencies {
...
// TFLite GPU delegate 2.3.0 or above is required.
implementation 'org.tensorflow:tensorflow-lite-gpu:2.3.0'
}
2. adım: Cihazda çalışan GPU'nun, TensorFlow GPU temsilcisi ile uyumlu olup olmadığını tespit edin. Modeli birden fazla CPU iş parçacığı kullanarak çalıştırın:
Kotlin
import org.tensorflow.lite.gpu.CompatibilityList import org.tensorflow.lite.gpu.GpuDelegate val compatList = CompatibilityList() val options = if(compatList.isDelegateSupportedOnThisDevice) { // if the device has a supported GPU, add the GPU delegate Model.Options.Builder().setDevice(Model.Device.GPU).build() } else { // if the GPU is not supported, run on 4 threads Model.Options.Builder().setNumThreads(4).build() } // Initialize the model as usual feeding in the options object val myModel = MyModel.newInstance(context, options) // Run inference per sample code
Java
import org.tensorflow.lite.support.model.Model import org.tensorflow.lite.gpu.CompatibilityList; import org.tensorflow.lite.gpu.GpuDelegate; // Initialize interpreter with GPU delegate Model.Options options; CompatibilityList compatList = CompatibilityList(); if(compatList.isDelegateSupportedOnThisDevice()){ // if the device has a supported GPU, add the GPU delegate options = Model.Options.Builder().setDevice(Model.Device.GPU).build(); } else { // if the GPU is not supported, run on 4 threads options = Model.Options.Builder().setNumThreads(4).build(); } MyModel myModel = new MyModel.newInstance(context, options); // Run inference per sample code
TensorFlow Lite kod oluşturucu ile model arayüzleri oluşturma
Geliştiriciler, meta verilerle geliştirilmiş TensorFlow Lite modelinde, platforma özel sarmalayıcı kodu oluşturmak için TensorFlow Lite Android sarmalayıcı kod oluşturma aracını kullanabilir. Sarmalayıcı kodu, doğrudan ByteBuffer
ile etkileşime geçme ihtiyacını ortadan kaldırır. Bunun yerine geliştiriciler, Bitmap
ve Rect
gibi yazılan nesneler aracılığıyla TensorFlow Lite modeliyle etkileşim kurabilir.
Kod oluşturma aracının kullanışlılığı, TensorFlow Lite modelinin meta veri girişinin tamlığına bağlıdır. Kod oluşturma aracının her bir alanı nasıl ayrıştırdığını görmek için metadata_schema.fbs içindeki ilgili alanların altındaki <Codegen usage>
bölümüne bakın.
Sarmalayıcı Kodu Oluştur
Terminalinize aşağıdaki araçları yüklemeniz gerekir:
pip install tflite-support
Tamamlandıktan sonra, kod oluşturma aracı aşağıdaki söz dizimiyle kullanılabilir:
tflite_codegen --model=./model_with_metadata/mobilenet_v1_0.75_160_quantized.tflite \
--package_name=org.tensorflow.lite.classify \
--model_class_name=MyClassifierModel \
--destination=./classify_wrapper
Bu işlem sonucunda elde edilen kod, hedef dizinde bulunur. Google Colab veya başka bir uzak ortam kullanıyorsanız sonucu bir zip arşivinde sıkıştırmak ve Android Studio projenize indirmek daha kolay olabilir:
# Zip up the generated code
!zip -r classify_wrapper.zip classify_wrapper/
# Download the archive
from google.colab import files
files.download('classify_wrapper.zip')
Oluşturulan kodu kullanma
1. Adım: Oluşturulan kodu içe aktarın
Oluşturulan kodu gerektiğinde bir dizin yapısına çıkartın. Oluşturulan kodun kökü SRC_ROOT
olarak kabul edilir.
TensorFlow lite modelini kullanmak istediğiniz Android Studio projesini açın ve oluşturulan modülü içe aktarın. Ardından Dosya -> Yeni -> İçe Aktarma Modülü -> SRC_ROOT
öğesini seçin.
Yukarıdaki örnekte, içe aktarılan dizin ve modül adı classify_wrapper
olacaktır.
2. Adım: Uygulamanın build.gradle
dosyasını güncelleyin
Oluşturulan kitaplık modülünü tüketecek uygulama modülünde:
Android bölümüne aşağıdakileri ekleyin:
aaptOptions {
noCompress "tflite"
}
Bağımlılıklar bölümüne aşağıdakileri ekleyin:
implementation project(":classify_wrapper")
3. Adım: Modeli kullanma
// 1. Initialize the model
MyClassifierModel myImageClassifier = null;
try {
myImageClassifier = new MyClassifierModel(this);
} catch (IOException io){
// Error reading the model
}
if(null != myImageClassifier) {
// 2. Set the input with a Bitmap called inputBitmap
MyClassifierModel.Inputs inputs = myImageClassifier.createInputs();
inputs.loadImage(inputBitmap));
// 3. Run the model
MyClassifierModel.Outputs outputs = myImageClassifier.run(inputs);
// 4. Retrieve the result
Map<String, Float> labeledProbability = outputs.getProbability();
}
Model çıkarımını hızlandırma
Oluşturulan kod, geliştiricilerin yetki verilmiş kullanıcılar ve iş parçacığı sayısını kullanarak kodlarını hızlandırmaları için bir yol sunar. Bunlar, model nesnesi başlatılırken üç parametre aldığı için ayarlanabilir:
Context
: Android Etkinliği veya Hizmetinden bağlam- (İsteğe bağlı)
Device
: TFLite hızlandırma yetkisi. Örneğin: GPUDelegate - (İsteğe bağlı)
numThreads
: Modeli çalıştırmak için kullanılan iş parçacığı sayısı. Varsayılan değer birdir.
Örneğin, bir GPU temsilcisi ve en fazla üç iş parçacığı kullanmak için modeli şu şekilde başlatabilirsiniz:
try {
myImageClassifier = new MyClassifierModel(this, Model.Device.GPU, 3);
} catch (IOException io){
// Error reading the model
}
Sorun giderme
"java.io.FileNotFoundException: Bu dosya, dosya açıklayıcı olarak açılamıyor; büyük olasılıkla sıkıştırılmış" hatası alırsanız, uygulama modülünün kitaplık modülünü kullanacak olan Android bölümünün altına aşağıdaki satırları ekleyin:
aaptOptions {
noCompress "tflite"
}