Cómo convertir modelos de IA generativa de PyTorch para la inferencia en el dispositivo
La API de LiteRT Torch Generative es una biblioteca de alto rendimiento diseñada para crear y convertir modelos de PyTorch basados en transformadores al formato LiteRT o LiteRT-LM. Esto permite a los desarrolladores implementar sin problemas modelos de IA generativa, específicamente modelos de lenguaje grandes (LLM), para la generación de texto e imágenes en el dispositivo con facilidad.
La API de Torch Generative admite la conversión de modelos para la ejecución en CPU y GPU, y la compatibilidad con NPU está en desarrollo. Si combinas la API de Torch Generative con LiteRT-LM, puedes crear aplicaciones responsivas y centradas en la privacidad que ejecuten modelos generativos completamente en el dispositivo.
[[["Fácil de comprender","easyToUnderstand","thumb-up"],["Resolvió mi problema","solvedMyProblem","thumb-up"],["Otro","otherUp","thumb-up"]],[["Falta la información que necesito","missingTheInformationINeed","thumb-down"],["Muy complicado o demasiados pasos","tooComplicatedTooManySteps","thumb-down"],["Desactualizado","outOfDate","thumb-down"],["Problema de traducción","translationIssue","thumb-down"],["Problema con las muestras o los códigos","samplesCodeIssue","thumb-down"],["Otro","otherDown","thumb-down"]],["Última actualización: 2026-01-28 (UTC)"],[],[]]
