LiteRT karşılaştırma testleri, aşağıdaki önemli performans metrikleriyle ilgili istatistikleri ölçer ve hesaplar:
- Başlatma süresi
- Isınma durumunun çıkarım süresi
- Kararlı durumun çıkarım süresi
- İlk kullanıma hazırlama süresindeki bellek kullanımı
- Genel bellek kullanımı
CompiledModel karşılaştırma aracı, C++ ikilisi olarak sağlanır,
benchmark_model. Bu aracı Android, Linux, macOS, Windows ve GPU hızlandırması etkinleştirilmiş yerleşik cihazlarda bir kabuk komut satırından çalıştırabilirsiniz.
Önceden oluşturulmuş karşılaştırma ikililerini indirme
Aşağıdaki bağlantıları kullanarak geceye özel olarak önceden oluşturulmuş komut satırı ikililerini indirin:
Kaynaktan karşılaştırma ikilisi oluşturma
Karşılaştırma ikilisini kaynaktan oluşturabilirsiniz.
bazel build -c opt //litert/tools:benchmark_model
Android NDK araç zinciriyle derleme yapmak için önce bu kılavuzu izleyerek derleme ortamını ayarlamanız veya bu kılavuzda açıklandığı gibi Docker görüntüsünü kullanmanız gerekir.
bazel build -c opt --config=android_arm64 \
//litert/tools:benchmark_model
Karşılaştırma çalıştırma
Karşılaştırmaları çalıştırmak için ikili dosyayı kabuktan yürütün.
path/to/downloaded_or_built/benchmark_model \
--graph=your_model.tflite \
--num_threads=4
Daha fazla parametre seçeneğini benchmark_model kaynak kodunda bulabilirsiniz.
GPU hızlandırmayı karşılaştırma
Bu önceden oluşturulmuş ikili dosyalar LiteRT GPU hızlandırıcısını içerir. Şu cihazları destekler:
- Android: OpenCL
- Linux: OpenCL ve WebGPU (Vulkan tarafından desteklenir)
- macOS: Metal
- Windows: WebGPU (Direct3D tarafından desteklenir)
GPU hızlandırıcıyı kullanmak için --use_gpu=true işaretini iletin.
Profil modeli işlemleri
Karşılaştırma modeli ikilisi, model işlemlerini profillemenize ve her operatörün yürütme sürelerini almanıza da olanak tanır. Bunu yapmak için çağırma sırasında --use_profiler=true işaretini benchmark_model'ye iletin.