Convertire i modelli di AI generativa PyTorch per l'inferenza on-device
L'API LiteRT Torch Generative è una
libreria ad alte prestazioni progettata per creare e convertire
modelli PyTorch basati su Transformer nel formato LiteRT/LiteRT-LM. Ciò
consente agli sviluppatori di eseguire il deployment senza problemi di modelli di AI generativa, in particolare
di modelli linguistici di grandi dimensioni (LLM), per la generazione di testo e immagini sul dispositivo
con facilità.
L'API Torch Generative supporta la conversione dei modelli per l'esecuzione di CPU e GPU, con il supporto della NPU in fase di sviluppo. Se abbini l'API Torch Generative a
LiteRT-LM, puoi creare applicazioni reattive e incentrate sulla privacy
che eseguono modelli generativi interamente sul dispositivo.
[[["Facile da capire","easyToUnderstand","thumb-up"],["Il problema è stato risolto","solvedMyProblem","thumb-up"],["Altra","otherUp","thumb-up"]],[["Mancano le informazioni di cui ho bisogno","missingTheInformationINeed","thumb-down"],["Troppo complicato/troppi passaggi","tooComplicatedTooManySteps","thumb-down"],["Obsoleti","outOfDate","thumb-down"],["Problema di traduzione","translationIssue","thumb-down"],["Problema relativo a esempi/codice","samplesCodeIssue","thumb-down"],["Altra","otherDown","thumb-down"]],["Ultimo aggiornamento 2026-01-28 UTC."],[],[]]
