Accelerazione NPU con LiteRT Next

LiteRT Next fornisce un'interfaccia unificata per utilizzare le unità di elaborazione neurali (NPU) senza costringerti a navigare individualmente tra compilatori, runtime o dipendenze di librerie specifici del fornitore. L'utilizzo di LiteRT Next per l'accelerazione della NPU evita molte complicazioni specifiche del fornitore o del dispositivo, aumenta le prestazioni per l'inferenza in tempo reale e di modelli di grandi dimensioni e riduce al minimo le copie della memoria tramite l'utilizzo di buffer hardware senza copia.

Se hai già eseguito la registrazione al programma di accesso in anteprima alla NPU LiteRT, accedi all'account autorizzato per visualizzare la documentazione della NPU. Se non hai effettuato la registrazione, iscriviti al programma di accesso in anteprima:

Registratiarrow_forward

Inizia

Per iniziare, consulta la guida alla panoramica dell'NPU:

• Per i modelli di ML classici, procedi direttamente con il framework principale:
  • Accelerazione NPU con LiteRT Next
• Per i modelli linguistici di grandi dimensioni (LLM), consigliamo di utilizzare il nostro framework LiteRT-LM per gestire l'elaborazione end-to-end richiesta per l'esecuzione della NPU:
  • Accelerazione NPU con LiteRT-LM

Per esempi di implementazioni di LiteRT Next con supporto NPU, consulta le seguenti applicazioni demo:

• Segmentazione delle immagini con Kotlin
• Segmentazione asincrona con C++

Fornitori di NPU

LiteRT Next supporta l'accelerazione NPU con i seguenti fornitori:

• Qualcomm AI Engine Direct
• MediaTek NeuroPilot