Преобразование моделей PyTorch GenAI для выполнения вычислений на устройстве.

Библиотека AI Edge Torch Generative API — это высокопроизводительная библиотека, предназначенная для создания и преобразования моделей PyTorch на основе трансформеров в формат LiteRT/LiteRT-LM. Это позволяет разработчикам легко развертывать модели генеративного ИИ, в частности, большие языковые модели (LLM), для генерации текста и изображений непосредственно на устройстве.

API генеративной обработки Torch поддерживает преобразование моделей для выполнения на ЦП и ГП, а поддержка нейронных процессоров находится в разработке. Сочетая API генеративной обработки Torch с LiteRT-LM , вы можете создавать адаптивные приложения с упором на конфиденциальность, которые запускают генеративные модели полностью на устройстве.

Для получения более подробной информации см. репозиторий Generative Torch API на GitHub .