适用于 Android 的图片生成指南

借助 MediaPipe 图片生成器任务，你可以根据文本提示生成图片。此任务使用文本到图像模型，通过扩散技术生成图像。

该任务接受文本提示作为输入，此外还接受一个可选的条件图片，模型可以对其进行增强并用作生成时的参考。图片生成器还可以根据在训练或再训练期间提供给模型的特定概念生成图片。如需了解详情，请参阅使用 LoRA 进行自定义。

GitHub 上提供了这些说明中介绍的代码示例。 如需详细了解此任务的功能、模型和配置选项，请参阅概览。

代码示例

MediaPipe Tasks 示例代码是 Android 的图片生成器应用的基本实现。您可以使用该应用作为基础构建您自己的 Android 应用，也可以在修改现有应用时参考。图片生成器示例代码托管在 GitHub 上。

下载代码

以下说明介绍了如何使用 git 命令行工具创建示例代码的本地副本。

如需下载示例代码，请执行以下操作：

1. 使用以下命令克隆 Git 代码库：

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. （可选）将您的 Git 实例配置为使用稀疏检出，以便只有图片生成器示例应用的文件：

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/image_generator/android
   

创建示例代码的本地版本后，您可以将项目导入 Android Studio 并运行应用。有关说明，请参阅 Android 设置指南。

关键组件

以下文件包含此图片生成示例应用的关键代码：

• ImageGenerationHelper.kt：初始化任务并处理映像生成。
• DiffusionActivity.kt：在未启用插件或 LoRA 权重时生成图片。
• PluginActivity.kt：实现插件模型，让用户可以提供条件图片作为输入。
• LoRAWeightActivity.kt：访问和处理 LoRA 权重，这些权重用于自定义基础模型并使其能够生成包含特定概念的图像。

初始设置

本部分介绍了专门针对使用图片生成器来设置开发环境和代码项目的主要步骤。如需了解如何为使用 MediaPipe 任务设置开发环境的一般信息（包括平台版本要求），请参阅 Android 设置指南。

依赖项

图片生成器任务使用 com.google.mediapipe:tasks-vision-image-generator 库。将此依赖项添加到 Android 应用的 build.gradle 文件中：

dependencies {
    implementation 'com.google.mediapipe:tasks-vision-image-generator:latest.release'
}

对于搭载 Android 12 (API 31) 或更高版本的设备，请将原生 OpenCL 库依赖项添加到 AndroidManifest.xml。如需了解详情，请参阅有关 uses-native-library 标记的文档。

某些 Android 设备可能还需要额外的库：

<uses-native-library android:name="libOpenCL.so" android:required="false" />
<uses-native-library android:name="libOpenCL-car.so" android:required="false"/>
<uses-native-library android:name="libOpenCL-pixel.so" android:required="false" />

模型

MediaPipe 图片生成器任务需要使用与此任务兼容的经过训练的基础模型。下载模型后，安装所需的依赖项，并将模型转换为适当的格式。然后，将转换后的模型推送到 Android 设备。

如需详细了解图片生成器可用的经过训练的模型，请参阅任务概览“模型”部分。

下载基础模型

图片生成器要求基础模型与基于以下模型的 runwayml/stable-diffusion-v1-5 EMA-only 模型格式匹配：runwayml/stable-diffusion-v1-5。

安装依赖项并转换模型

$ pip install torch typing_extensions numpy Pillow requests pytorch_lightning absl-py

运行 convert.py 脚本：

$ python3 convert.py --ckpt_path <ckpt_path> --output_path <output_path>

将转换后的模型推送到设备

将 <output_path> 文件夹的内容推送到 Android 设备。

$ adb shell rm -r /data/local/tmp/image_generator/ # Remove any previously loaded weights
$ adb shell mkdir -p /data/local/tmp/image_generator/
$ adb push <output_path>/. /data/local/tmp/image_generator/bins

下载插件模型并添加 LoRA 权重（可选）

如果您打算使用插件模型，请检查是否必须下载该模型。对于需要额外模型的插件，必须将插件模型打包到 APK 中或按需下载。插件模型是轻量级（约 23MB），可以直接捆绑在 APK 中。不过，我们建议您按需下载插件模型。

如果您已使用 LoRA 自定义了模型，可以按需下载模型。如需了解详情，请参阅 LoRA 权重插件模型。

创建任务

MediaPipe 图片生成器任务使用 createFromOptions() 函数来设置该任务。createFromOptions() 函数接受配置选项的值。如需详细了解配置选项，请参阅配置选项。

配置选项

此任务具有以下 Android 应用的配置选项：

该任务还支持插件模型，让用户可以在任务输入中添加条件图片，基础模型可以对其进行扩充并用作生成作业的参考。这些条件图片可以是人脸特征点、边缘轮廓和深度估算值，模型会将其用作生成图片的额外上下文和信息。

将插件模型添加到基础模型时，还需要配置插件选项。人脸特征点插件使用 faceConditionOptions，Canny Edge 插件使用 edgeConditionOptions，Depth 插件使用 depthConditionOptions。

Canny Edge 选项

在 edgeConditionOptions 中配置以下选项。

如需详细了解这些配置选项的工作原理，请参阅 Canny 边缘检测器。

人脸特征点选项

在 faceConditionOptions 中配置以下选项。

如需详细了解这些配置选项的工作原理，请参阅人脸特征点标记任务。

深度选项

在 depthConditionOptions 中配置以下选项。

仅使用基础模型创建

val options = ImageGeneratorOptions.builder()
    .setImageGeneratorModelDirectory(modelPath)
    .build()

imageGenerator = ImageGenerator.createFromOptions(context, options)

使用插件创建

如果要应用可选插件模型，请使用 setPluginModelBaseOptions 设置插件模型的基本选项。如果插件模型需要额外下载的模型来创建条件图片，请在 BaseOptions 中指定路径。

val options = ImageGeneratorOptions.builder()
    .setImageGeneratorModelDirectory(modelPath)
    .build()

val faceModelBaseOptions = BaseOptions.builder()
    .setModelAssetPath("face_landmarker.task")
    .build()

val facePluginModelBaseOptions = BaseOptions.builder()
    .setModelAssetPath("face_landmark_plugin.tflite")
    .build()

val faceConditionOptions = FaceConditionOptions.builder()
    .setFaceModelBaseOptions(faceModelBaseOptions)
    .setPluginModelBaseOptions(facePluginModelBaseOptions)
    .setMinFaceDetectionConfidence(0.3f)
    .setMinFacePresenceConfidence(0.3f)
    .build()

val conditionOptions = ConditionOptions.builder()
    .setFaceConditionOptions(faceConditionOptions)
    .build()

imageGenerator =
    ImageGenerator.createFromOptions(context, options, conditionOptions)
    

val options = ImageGeneratorOptions.builder()
    .setImageGeneratorModelDirectory(modelPath)
    .build()

val edgePluginModelBaseOptions = BaseOptions.builder()
    .setModelAssetPath("canny_edge_plugin.tflite")
    .build()

val edgeConditionOptions = EdgeConditionOptions.builder()
    .setThreshold1(100.0f)
    .setThreshold2(100.0f)
    .setApertureSize(3)
    .setL2Gradient(false)
    .setPluginModelBaseOptions(edgePluginModelBaseOptions)
    .build()

val conditionOptions = ConditionOptions.builder()
    .setEdgeConditionOptions(edgeConditionOptions)
    .build()

imageGenerator =
    ImageGenerator.createFromOptions(context, options, conditionOptions)
    

val options = ImageGeneratorOptions.builder()
    .setImageGeneratorModelDirectory(modelPath)
    .build()

val depthModelBaseOptions = BaseOptions.builder()
    .setModelAssetPath("depth_model.tflite")
    .build()

val depthPluginModelBaseOptions = BaseOptions.builder()
    .setModelAssetPath("depth_plugin.tflite")
    .build()

val depthConditionOptions =
    ConditionOptions.DepthConditionOptions.builder()
        .setDepthModelBaseOptions(depthModelBaseOptions)
        .setPluginModelBaseOptions(depthPluginModelBaseOptions)
        .build()

val conditionOptions = ConditionOptions.builder()
    .setDepthConditionOptions(depthConditionOptions)
    .build()

imageGenerator =
    ImageGenerator.createFromOptions(context, options, conditionOptions)
    

使用 LoRA 权重创建

如果您要添加 LoRA 权重，请使用 loraWeightsFilePath 参数指向路径位置。

val options = ImageGeneratorOptions.builder()
    .setLoraWeightsFilePath(weightsPath)
    .setImageGeneratorModelDirectory(modelPath)
    .build()

imageGenerator = ImageGenerator.createFromOptions(context, options)

准备数据

图片生成器接受以下输入：

• prompt（必需）：描述要生成的图片的文本提示。
• iters（必需）：生成图片所需的总迭代次数。建议从 20 开始。
• seed（必需）：图片生成期间使用的随机种子。
• 条件映像（可选）：模型用作生成参考的映像。仅在使用插件模型时适用。
• condition type（可选）：任务使用的插件模型类型。 仅在使用插件模型时适用。

仅使用基础模型的输入

fun setInput(prompt: String, iteration: Int, seed: Int) {
    imageGenerator.setInputs(prompt, iteration, seed)
}

使用插件的输入

如果要应用可选插件模型，也请使用 conditionType 参数选择插件模型，并使用 sourceConditionImage 参数生成条件图片。

如果您使用的是插件模型，请使用 createConditionImage 创建条件映像：

fun createConditionImage(
    inputImage: MPImage,
    conditionType: ConditionType
): Bitmap {
    val result =
        imageGenerator.createConditionImage(inputImage, conditionType)
    return BitmapExtractor.extract(result)
}

创建条件图片后，请连同提示、种子和迭代次数一起添加为输入。

imageGenerator.setInputs(
    prompt,
    conditionalImage,
    conditionType,
    iteration,
    seed
)

具有 LoRA 权重的输入

如果您使用的是 LoRA 权重，而且如果您打算生成用权重表示的特定概念的图片，请确保文本提示中包含该令牌。

fun setInput(prompt: String, iteration: Int, seed: Int) {
    imageGenerator.setInputs(prompt, iteration, seed)
}

运行任务

使用 generate() 方法，利用上一部分中提供的输入生成图片。这会生成一个生成的图片。

仅使用基础模型生成

fun generate(prompt: String, iteration: Int, seed: Int): Bitmap {
    val result = imageGenerator.generate(prompt, iteration, seed)
    val bitmap = BitmapExtractor.extract(result?.generatedImage())
    return bitmap
}

使用插件生成

fun generate(
    prompt: String,
    inputImage: MPImage,
    conditionType: ConditionType,
    iteration: Int,
    seed: Int
): Bitmap {
    val result = imageGenerator.generate(
        prompt,
        inputImage,
        conditionType,
        iteration,
        seed
    )
    val bitmap = BitmapExtractor.extract(result?.generatedImage())
    return bitmap
}

使用 LoRA 权重生成

使用使用 LoRA 权重自定义的模型生成图片的过程与使用标准基础模型的过程类似。请确保提示中包含令牌，并运行相同的代码。

fun generate(prompt: String, iteration: Int, seed: Int): Bitmap {
    val result = imageGenerator.generate(prompt, iteration, seed)
    val bitmap = BitmapExtractor.extract(result?.generatedImage())
    return bitmap
}

迭代生成

图片生成器还可以在每次迭代期间输出生成的中间图片，如 iterations 输入参数中所定义。如需查看这些中间结果，请调用 setInputs 方法，然后调用 execute() 以运行每个步骤。将 showResult 参数设置为 true 可显示中间结果。

fun execute(showResult: Boolean): Bitmap {
    val result = imageGenerator.execute(showResult)

    val bitmap =
        BitmapExtractor.extract(result.generatedImage())

    return bitmap
}

处理和显示结果

图片生成器会返回一个 ImageGeneratorResult，其中包含生成的图片、完成时间的时间戳和条件图片（如果图片是作为输入提供的）。

val bitmap = BitmapExtractor.extract(result.generatedImage())

下图是在仅使用基础模型的情况下根据以下输入生成的。

输入：

• 提示：“一头色彩斑斓的卡通浣熊，戴着松软的宽檐帽，手里拿着一根棍子在森林中行走，动画视图四分之三视图，绘画”
• 种子：312687592
• 迭代：20

生成的图片：