Converti i modelli PyTorch generativi

L'API AI Edge Torch Generative è una libreria per convertire i modelli PyTorch basati su Transformer nel formato LiteRT, consentendoti di convertire i modelli linguistici di grandi dimensioni (LLM) per la generazione di immagini e testo sul dispositivo con LiteRT-LM. L'API AI Edge Torch Generative attualmente supporta CPU e GPU, con il supporto NPU pianificato.

Gli sviluppatori possono utilizzare l'API Generative per integrare LLM PyTorch con LiteRT-LM per creare app che eseguono questi modelli PyTorch convertiti completamente sul dispositivo.

Per maggiori informazioni, consulta il repository GitHub dell'API Generative Torch.