Convertire i modelli di AI generativa PyTorch per l'inferenza on-device
L'API AI Edge Torch Generative è una libreria ad alte prestazioni progettata per creare e convertire modelli PyTorch basati su Transformer nel formato LiteRT/LiteRT-LM. Ciò
consente agli sviluppatori di eseguire il deployment senza problemi di modelli di AI generativa, in particolare
di modelli linguistici di grandi dimensioni (LLM), per la generazione di testo e immagini sul dispositivo
con facilità.
L'API Torch Generative supporta la conversione del modello per l'esecuzione di CPU e GPU, con il supporto NPU in fase di sviluppo. Se combini l'API Torch Generative con
LiteRT-LM, puoi creare applicazioni reattive e incentrate sulla privacy
che eseguono modelli generativi interamente sul dispositivo.
[[["Facile da capire","easyToUnderstand","thumb-up"],["Il problema è stato risolto","solvedMyProblem","thumb-up"],["Altra","otherUp","thumb-up"]],[["Mancano le informazioni di cui ho bisogno","missingTheInformationINeed","thumb-down"],["Troppo complicato/troppi passaggi","tooComplicatedTooManySteps","thumb-down"],["Obsoleti","outOfDate","thumb-down"],["Problema di traduzione","translationIssue","thumb-down"],["Problema relativo a esempi/codice","samplesCodeIssue","thumb-down"],["Altra","otherDown","thumb-down"]],["Ultimo aggiornamento 2025-12-22 UTC."],[],[]]
