Преобразование генеративных моделей PyTorch

AI Edge Torch Generative API — это оптимизированная для мобильных устройств библиотека для преобразования моделей PyTorch на основе преобразователей в формат LiteRT, позволяющая конвертировать модели большого языка (LLM) для генерации изображений и текста на устройстве с помощью LiteRT и MediaPipe. Генеративный API AI Edge Torch в настоящее время предназначен только для ЦП, с запланированной поддержкой графических процессоров и NPU.

Разработчики мобильных приложений могут использовать Edge Generative API для интеграции PyTorch LLM с MediaPipe LLM Inference API для создания приложений, которые полностью запускают преобразованные модели PyTorch на устройстве.

Дополнительные сведения см. в репозитории Generative Torch API на GitHub .

AI Edge Torch Generative API — это оптимизированная для мобильных устройств библиотека для преобразования моделей PyTorch на основе преобразователей в формат LiteRT, позволяющая конвертировать модели большого языка (LLM) для генерации изображений и текста на устройстве с помощью LiteRT и MediaPipe. Генеративный API AI Edge Torch в настоящее время предназначен только для ЦП, с запланированной поддержкой графических процессоров и NPU.

Разработчики мобильных приложений могут использовать Edge Generative API для интеграции PyTorch LLM с MediaPipe LLM Inference API для создания приложений, которые полностью запускают преобразованные модели PyTorch на устройстве.

Дополнительные сведения см. в репозитории Generative Torch API на GitHub .