LiteRT ile cihaz üzerinde çıkarım

LiteRT CompiledModel API, cihaz üzerinde makine öğrenimi çıkarımı için modern standardı temsil eder. Interpreter API'den önemli ölçüde daha iyi performans gösteren basitleştirilmiş donanım hızlandırma sunar. Bu arayüz, birleşik geliştirici deneyimleri ve maksimum donanım verimliliği için tasarlanmış gelişmiş özellikler sunarak .tflite modellerinin çok çeşitli uç platformlarda dağıtımını basitleştirir.

CompiledModel API'yi Neden Seçmelisiniz?

Interpreter API'si geriye dönük uyumluluk için kullanılmaya devam etse de yeni performans ve hızlandırıcı özellikler CompiledModel API'sinde önceliklendirilir. Bu seçeneği şu nedenlerle öneririz:

  • Sınıfının en iyisi GPU hızlandırma: Mobil, web, masaüstü ve IoT cihazlarında güvenilir GPU çıkarımı sağlamak için en yeni GPU hızlandırma kitaplığı olan ML Drift'ten yararlanır. LiteRT ile GPU hızlandırma başlıklı makaleyi inceleyin.

  • Birleşik NPU erişimi: Google Tensor, Qualcomm, MediaTek gibi çeşitli sağlayıcıların NPU'larına erişmek için tek ve tutarlı bir geliştirici deneyimi sunar. Böylece, satıcıya özel derleyiciler ve çalışma zamanı karmaşıklıkları ortadan kalkar. LiteRT ile NPU hızlandırma başlıklı makaleyi inceleyin.

  • Otomatik donanım seçimi: Kullanılabilir donanıma ve dahili öncelik mantığına göre CPU, GPU ve NPU arasında en uygun arka ucu otomatik olarak seçer. Bu sayede, temsilci yapılandırmasının manuel olarak yapılmasına gerek kalmaz.

  • Asenkron yürütme: Donanım hızlandırıcıların, CPU'yu kullanmadan önceki görevler tamamlandığında doğrudan tetiklenmesine olanak tanımak için işletim sistemi düzeyindeki mekanizmalardan (ör. senkronizasyon bariyerleri) yararlanır. Bu sayede gecikme süresi 2 kata kadar azaltılabilir ve daha sorunsuz, daha etkileşimli bir yapay zeka deneyimi sağlanır.

  • Verimli G/Ç arabellek yönetimi: Hızlandırıcılar arasındaki yüksek performanslı veri akışını yönetmek için TensorBuffer API'den yararlanır. Bu kapsamda, AHardwareBuffer, OpenCL ve OpenGL'de sıfır kopyalı arabellek birlikte çalışabilirliği yer alır. Böylece, ön işleme, çıkarım ve son işleme aşamaları arasında maliyetli veri kopyaları ortadan kaldırılır.

Desteklenen platformlar

LiteRT CompiledModel API, Android, iOS, Web, IoT ve masaüstü cihazlarda yüksek performanslı çıkarımları destekler. Platforma özel kılavuzu inceleyin.