AI Edge Torch Generative API — это оптимизированная для мобильных устройств библиотека для преобразования моделей PyTorch на основе преобразователей в формат TF Lite, позволяющая конвертировать модели большого языка (LLM) для генерации изображений и текста на устройстве с помощью TF Lite и MediaPipe. Генеративный API AI Edge Torch в настоящее время предназначен только для ЦП, с запланированной поддержкой графических процессоров и NPU.
Разработчики мобильных приложений могут использовать Edge Generative API для интеграции PyTorch LLM с MediaPipe LLM Inference API для создания приложений, которые полностью запускают преобразованные модели PyTorch на устройстве.
Дополнительные сведения см. в репозитории Generative Torch API на GitHub .