Lo strumento AI Edge Torch Generative tramite Google Cloud è una libreria ottimizzata per dispositivi mobili che consente di convertire i modelli PyTorch basati su trasformatore in LiteRT, che consente di convertire modelli linguistici di grandi dimensioni (LLM) per la generazione di immagini e testo sul dispositivo tramite LiteRT e MediaPipe. L'API generativa di AI Edge Torch attualmente è solo CPU, con supporto pianificato per GPU e NPU.
Gli sviluppatori di app mobile possono utilizzare l'API Edge Generative per integrare gli LLM PyTorch con MediaPipe LLM Inference API per creare app eseguire i modelli PyTorch convertiti completamente sul dispositivo.
Per ulteriori informazioni, consulta l'API Generative Torch GitHub un repository completo.