Lo strumento AI Edge Torch Generative
tramite Google Cloud
è una libreria ottimizzata per dispositivi mobili che consente di convertire i modelli PyTorch basati su trasformatore in
LiteRT, che consente di convertire modelli linguistici di grandi dimensioni (LLM) per
la generazione di immagini e testo sul dispositivo tramite LiteRT e MediaPipe. L'API generativa di AI Edge Torch attualmente è solo CPU, con supporto pianificato per GPU e NPU.
Gli sviluppatori di app mobile possono utilizzare l'API Edge Generative per integrare gli LLM PyTorch
con MediaPipe LLM Inference
API per creare app
eseguire i modelli PyTorch convertiti completamente sul dispositivo.
[[["Facile da capire","easyToUnderstand","thumb-up"],["Il problema è stato risolto","solvedMyProblem","thumb-up"],["Altra","otherUp","thumb-up"]],[["Mancano le informazioni di cui ho bisogno","missingTheInformationINeed","thumb-down"],["Troppo complicato/troppi passaggi","tooComplicatedTooManySteps","thumb-down"],["Obsoleti","outOfDate","thumb-down"],["Problema di traduzione","translationIssue","thumb-down"],["Problema relativo a esempi/codice","samplesCodeIssue","thumb-down"],["Altra","otherDown","thumb-down"]],["Ultimo aggiornamento 2025-07-24 UTC."],[],[],null,["# Convert generative PyTorch models\n\nThe [AI Edge Torch Generative\nAPI](https://github.com/google-ai-edge/ai-edge-torch/tree/main/ai_edge_torch/generative/)\nis a mobile-optimized library for converting transformer-based PyTorch models to\nthe LiteRT format, enabling you to convert Large Language Models (LLMs) for\non-device image and text generation with LiteRT and MediaPipe. The AI Edge Torch Generative API is currently CPU-only, with planned GPU and NPU support.\n\nMobile app developers can use the Edge Generative API to integrate PyTorch LLMs\nwith the [MediaPipe LLM Inference\nAPI](../../mediapipe/solutions/genai/llm_inference/index) to create apps that\nrun those converted PyTorch models completely on-device.\n\nFor more information, see the Generative Torch API [GitHub\nrepo](https://github.com/google-ai-edge/ai-edge-torch/tree/main/ai_edge_torch/generative/)."]]
