Руководство по созданию изображений

Задача MediaPipe Image Generator позволяет создавать изображения на основе текстового запроса. В этой задаче используется модель преобразования текста в изображение для создания изображений с использованием методов диффузии.

Задача принимает в качестве входных данных текстовую подсказку, а также необязательное изображение условия, которое модель может дополнить и использовать в качестве ссылки для генерации. Дополнительные сведения об условном преобразовании текста в изображение см. в разделе Плагины распространения на устройстве для условного преобразования текста в изображение .

Генератор изображений также может генерировать изображения на основе конкретных концепций, предоставленных модели во время обучения или переобучения. Дополнительные сведения см. в разделе Настройка с помощью LoRA .

Начать

Начните использовать эту задачу, следуя одному из этих руководств по реализации для вашей целевой платформы. Эти руководства для конкретных платформ покажут вам базовую реализацию этой задачи с примерами кода, использующими модель по умолчанию и рекомендуемые параметры конфигурации:

• Android – Пример кода – Руководство
• Настройка с помощью LoRA — Пример кода — Colab

Подробности задачи

В этом разделе описываются возможности, входные данные, выходные данные и параметры конфигурации этой задачи.

Функции

Вы можете использовать генератор изображений для реализации следующего:

1. Генерация текста в изображение . Создавайте изображения с помощью текстовой подсказки.
2. Генерация изображений с изображениями состояния . Создавайте изображения с текстовой подсказкой и эталонным изображением. Генератор изображений использует изображения условий аналогично ControlNet .
3. Генерация изображений с весами LoRA . Создавайте изображения конкретных людей, объектов и стилей с помощью текстовой подсказки, используя настроенные веса модели.

Варианты конфигурации

Эта задача имеет следующие параметры конфигурации:

Задача также поддерживает модели плагинов, что позволяет пользователям включать изображения условий во входные данные задачи, которые базовая модель может дополнять и использовать в качестве эталона для генерации. Этими изображениями состояния могут быть ориентиры лиц, контуры краев и оценки глубины, которые модель использует в качестве дополнительного контекста и информации для создания изображений.

При добавлении модели плагина к базовой модели также настройте параметры плагина. Плагин ориентира Face использует faceConditionOptions , плагин Canny Edge использует edgeConditionOptions , а плагин Depth использует depthConditionOptions .

Варианты канни-края

Настройте следующие параметры в edgeConditionOptions .

Дополнительную информацию о том, как работают эти параметры конфигурации, см. в разделе Детектор границ Canny .

Параметры ориентира лица

Настройте следующие параметры в faceConditionOptions .

Дополнительную информацию о том, как работают эти параметры конфигурации, см. в задаче Face Landmarker .

Опции глубины

Настройте следующие параметры в depthConditionOptions .

Модели

Для генератора изображений требуется базовая модель, которая представляет собой модель искусственного интеллекта преобразования текста в изображение, которая использует методы диффузии для создания новых изображений. Базовые модели, перечисленные в этом разделе, представляют собой легкие модели, оптимизированные для работы на смартфонах высокого класса.

Модели плагинов являются необязательными и дополняют базовые модели, позволяя пользователям предоставлять дополнительное изображение условия вместе с текстовой подсказкой для более конкретного создания изображения. Настройка базовых моделей с использованием весов LoRA — это вариант, который обучает базовую модель определенному понятию, например объекту, человеку или стилю, и внедряет их в сгенерированные изображения.

Модели фундамента

Базовые модели — это модели скрытой диффузии текста в изображение, которые генерируют изображения из текстовой подсказки. Генератор изображений требует, чтобы базовая модель соответствовала формату модели runwayml/stable-diffusion-v1-5 EMA-only , основанному на следующей модели:

• runwayml/stable-diffusion-v1-5

Следующие модели фундаментов также совместимы с Image Generator:

• Джастинпинкни/miniSD
• хакурей/waifu-diffusion-v1-4
• Fictiverse/Stable_Diffusion_PaperCut_Model

После загрузки базовой модели используйте image_generator_converter , чтобы преобразовать модель в соответствующий формат на устройстве для генератора изображений.

Установите необходимые зависимости:

$ pip install torch typing_extensions numpy Pillow requests pytorch_lightning absl-py

Запустите скрипт convert.py :

$ python3 convert.py --ckpt_path <ckpt_path> --output_path <output_path>

Плагины моделей

Модели плагинов в этом разделе разработаны Google и должны использоваться в сочетании с базовой моделью. Модели подключаемых модулей позволяют Image Generator принимать в качестве входных данных изображение состояния вместе с текстовой подсказкой, что позволяет управлять структурой генерируемых изображений. Модели плагинов предоставляют возможности, аналогичные ControlNet , с новой архитектурой, специально предназначенной для распространения на устройствах .

Модели плагинов должны быть указаны в базовых параметрах и могут потребовать загрузки дополнительных файлов моделей. Каждый плагин имеет уникальные требования к изображению состояния, которое может быть создано генератором изображений.

Плагин Canny Edge

Плагин Canny Edge принимает условное изображение, очерчивающее предполагаемые края сгенерированного изображения. Модель фундамента использует края, подразумеваемые изображением состояния, и генерирует новое изображение на основе текстовой подсказки. Генератор изображений содержит встроенные возможности для создания изображений состояния и требует только загрузки модели плагина.

Скачать плагин Canny Edge

Плагин Canny Edge содержит следующие параметры конфигурации:

Дополнительную информацию о том, как работают эти параметры конфигурации, см. в разделе Детектор границ Canny .

Плагин Face Landmark

Плагин Face Landmark принимает выходные данные MediaPipe Face Landmarker в качестве условного изображения. Face Landmarker предоставляет подробную сетку лица одного лица, которая отображает наличие и расположение черт лица. Базовая модель использует отображение лица, подразумеваемое изображением состояния, и генерирует новое лицо поверх сетки.

Скачать плагин Face Ориентир

Плагину Face Landmarker также требуется пакет модели Face Landmarker для создания условного изображения. Этот пакет модели — тот же пакет, который используется в задаче Face Landmarker .

Скачать комплект моделей ориентиров лица

Плагин Face Landmark содержит следующие параметры конфигурации:

Дополнительную информацию о том, как работают эти параметры конфигурации, см. в задаче Face Landmarker .

Плагин глубины

Плагин Depth принимает условное изображение, которое определяет монокулярную глубину объекта. Модель фундамента использует изображение состояния для определения размера и глубины создаваемого объекта и генерирует новое изображение на основе текстовой подсказки.

Скачать плагин глубины

Плагин Depth также требует модели оценки глубины для создания изображения состояния.

Скачать модель оценки глубины

Плагин Depth содержит следующие параметры конфигурации:

Персонализация с LoRA

Настройка модели с помощью LoRA может позволить генератору изображений генерировать изображения на основе определенных концепций, которые идентифицируются уникальными токенами во время обучения. Благодаря новым весам LoRA после обучения модель может генерировать изображения новой концепции, когда токен указан в текстовой подсказке.

Создание весов LoRA требует обучения базовой модели на изображениях конкретного объекта, человека или стиля, что позволяет модели распознавать новую концепцию и применять ее при создании изображений. Если вы создаете веса LoRa для создания изображений конкретных людей и лиц, используйте это решение только для своего лица или лиц людей, которые дали вам на это разрешение.

Ниже приведены выходные данные настроенной модели, обученной на изображениях чайников из набора данных DreamBooth , с использованием токена «monadikos teapot»:

Подсказка : чайник монадикос рядом с зеркалом.

Настроенная модель получила токен в подсказке и вставила чайник, который она научилась изображать с помощью весов LoRA, и разместила его изображение рядом с зеркалом, как указано в подсказке.

LoRA с Vertex AI

Дополнительные сведения см. в руководстве по настройке , в котором используется Model Garden на Vertex AI для настройки модели путем применения весов LoRA к модели фундамента.