L'API AI Edge Torch Generative è una libreria ottimizzata per dispositivi mobili per la conversione di modelli PyTorch basati su trasformatore nel formato TF Lite, che ti consente di convertire modelli linguistici di grandi dimensioni (LLM) per la generazione di immagini e testo sul dispositivo con TF Lite e MediaPipe. L'API AI Edge Torch Generative attualmente è solo CPU, con supporto pianificato per GPU e NPU.
Gli sviluppatori di app mobile possono utilizzare l'API Edge Generative per integrare gli LLM PyTorch con l'API MediaPipe LLM Inference per creare app che eseguino i modelli PyTorch convertiti completamente sul dispositivo.
Per maggiori informazioni, consulta il repository GitHub dell'API Generative Torch.