LiteRT Next proporciona una interfaz unificada para usar las unidades de procesamiento neuronal (NPU) sin obligarte a navegar de forma individual por los compiladores, los tiempos de ejecución o las dependencias de bibliotecas específicos del proveedor. El uso de LiteRT Next para la aceleración de la NPU evita muchas complicaciones específicas del proveedor o del dispositivo, aumenta el rendimiento para la inferencia en tiempo real y de modelos grandes, y minimiza las copias de memoria a través del uso de búferes de hardware de copia cero.
Si ya te inscribiste en el programa de acceso anticipado a la NPU de LiteRT, accede a la cuenta autorizada para ver la documentación de la NPU. Si no te inscribiste, regístrate en el Programa de acceso anticipado:
Para los modelos de lenguaje grandes (LLM), recomendamos usar nuestro framework LiteRT-LM para controlar el procesamiento de extremo a extremo requerido para la ejecución de la NPU:
[[["Fácil de comprender","easyToUnderstand","thumb-up"],["Resolvió mi problema","solvedMyProblem","thumb-up"],["Otro","otherUp","thumb-up"]],[["Falta la información que necesito","missingTheInformationINeed","thumb-down"],["Muy complicado o demasiados pasos","tooComplicatedTooManySteps","thumb-down"],["Desactualizado","outOfDate","thumb-down"],["Problema de traducción","translationIssue","thumb-down"],["Problema con las muestras o los códigos","samplesCodeIssue","thumb-down"],["Otro","otherDown","thumb-down"]],["Última actualización: 2025-09-03 (UTC)"],[],[]]
