LiteRT Dispatch API untuk Integrasi Runtime NPU

Kapan saya harus menerapkan Dispatch API?

LiteRT Dispatch API diperlukan saat Anda perlu mengintegrasikan runtime akselerator hardware tertentu ke dalam framework LiteRT. Fitur ini berfungsi dengan Plugin Compiler untuk mengeksekusi subgrafik yang dikompilasi yang dikeluarkan oleh plugin compiler.

Dispatch API adalah serangkaian fungsi yang diimplementasikan vendor yang akan digunakan LiteRT untuk mengelola sesi dengan runtime akselerator. Fungsi ini mencakup sesi perangkat, eksekusi subgraf, dan pergerakan buffer antara host dan perangkat. Implementasi dispatch API, bersama dengan plugin compiler, memungkinkan LiteRT memanfaatkan sepenuhnya kemampuan akselerator untuk inferensi yang efisien.

Detail selengkapnya mengenai "kapan" harus menerapkan API pengiriman (dan plugin compiler) dapat ditemukan di halaman Plugin Compiler LiteRT.

Bagaimana Cara Kerja Dispatch API?

Dispatch API digunakan oleh CompiledModel menggunakan NpuAccelerator. Secara internal, perintah ini akan membuat DispatchDelegate dan DispatchDelegate inilah yang menggunakan Dispatch API untuk berinteraksi dengan NPU yang tersemat di hardware yang sedang berjalan.

Jenis Data Dispatch API

Di Dispatch API, jenis data berikut digunakan untuk mengeksekusi model di NPU.

• DispatchDeviceContext

  Digunakan untuk mengelola buffer yang digunakan oleh inferensi NPU.

• DispatchInvocationContext

  Ini adalah struktur data yang digunakan untuk menjalankan model. Hal ini berfungsi dengan mengaitkan memori input dan output aktual yang terdaftar di DispatchDeviceContext dengan DispatchGraph yang dihasilkan.

Dispatch API

Untuk mengetahui definisi lengkap Dispatch API, lihat file vendors/c/litert_dispatch.h.