Преобразование генеративных моделей PyTorch

API генеративной обработки AI Edge Torch — это библиотека для преобразования моделей PyTorch на основе преобразователя в формат LiteRT, позволяющая преобразовывать большие языковые модели (LLM) для генерации изображений и текста на устройстве с помощью LiteRT-LM. API генеративной обработки AI Edge Torch в настоящее время поддерживает центральные и графические процессоры, а также планируется поддержка нейронных процессоров (NPU).

Разработчики могут использовать Generative API для интеграции PyTorch LLM с LiteRT-LM для создания приложений, которые полностью запускают эти преобразованные модели PyTorch на устройстве.

Более подробную информацию можно найти в репозитории Generative Torch API на GitHub .