适用于 Android 的图片生成指南

借助 MediaPipe 图片生成器任务，您可以根据文本提示生成图片。此任务使用文本到图片模型使用扩散技术生成图片。

该任务接受文本提示作为输入，以及可选的条件图片，模型可以对该图片进行增强，并将其用作生成的参考。图片生成器还可以根据在训练或重新训练期间向模型提供的特定概念生成图片。如需了解详情，请参阅使用 LoRA 进行自定义。

这些说明中介绍的代码示例可在 GitHub 上找到。如需详细了解此任务的功能、模型和配置选项，请参阅概览。

代码示例

MediaPipe Tasks 示例代码是对 Android 图片生成器应用的基本实现。您可以将该应用用作您自己的 Android 应用的起点，也可以在修改现有应用时参考该应用。图片生成器示例代码托管在 GitHub 上。

下载代码

以下说明介绍了如何使用 git 命令行工具创建示例代码的本地副本。

如需下载示例代码，请执行以下操作：

1. 使用以下命令克隆 Git 代码库：

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. （可选）将您的 Git 实例配置为使用稀疏检出，以便您仅拥有 Image Generator 示例应用的文件：

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/image_generation/android
   

创建示例代码的本地版本后，您可以将项目导入 Android Studio 并运行应用。如需了解相关说明，请参阅 Android 设置指南。

关键组件

以下文件包含此图片生成示例应用的重要代码：

• ImageGenerationHelper.kt：初始化任务并处理图片生成。
• DiffusionActivity.kt：在未启用插件或 LoRA 权重时生成图片。
• PluginActivity.kt：实现插件模型，以便用户提供条件图片作为输入。
• LoRAWeightActivity.kt：访问和处理 LoRA 权重，这些权重用于自定义基础模型，使其能够生成特定概念的图片。

设置

本部分介绍了专门用于设置开发环境和代码项目以使用图片生成器的关键步骤。如需了解如何设置开发环境以使用 MediaPipe 任务（包括平台版本要求）的一般信息，请参阅 Android 设置指南。

依赖项

图片生成器任务使用 com.google.mediapipe:tasks-vision-image-generator 库。将以下依赖项添加到 Android 应用的 build.gradle 文件中：

dependencies {
    implementation 'com.google.mediapipe:tasks-vision-image-generator:latest.release'
}

对于搭载 Android 12（API 31）或更高版本的设备，请添加原生 OpenCL 库依赖项。如需了解详情，请参阅有关 uses-native-library 标记的文档。

将以下 uses-native-library 标记添加到 AndroidManifest.xml 文件中：

<uses-native-library android:name="libOpenCL.so" android:required="false" />
<uses-native-library android:name="libOpenCL-car.so" android:required="false"/>
<uses-native-library android:name="libOpenCL-pixel.so" android:required="false" />

型号

MediaPipe 图片生成器任务需要与此任务兼容的训练有素的基础模型。下载模型后，请安装所需的依赖项，并将模型转换为合适的格式。然后，将转换后的模型推送到 Android 设备。

如需详细了解适用于图片生成器的可用训练模型，请参阅任务概览的“模型”部分。

下载基础模型

图片生成器要求基础模型与 runwayml/stable-diffusion-v1-5 EMA-only 模型格式匹配，基于以下模型：runwayml/stable-diffusion-v1-5。

安装依赖项并转换模型

$ pip install torch typing_extensions numpy Pillow requests pytorch_lightning absl-py

运行 convert.py 脚本：

$ python3 convert.py --ckpt_path <ckpt_path> --output_path <output_path>

将转换后的模型推送到设备

将 <output_path> 文件夹的内容推送到 Android 设备。

$ adb shell rm -r /data/local/tmp/image_generator/ # Remove any previously loaded weights
$ adb shell mkdir -p /data/local/tmp/image_generator/
$ adb push <output_path>/. /data/local/tmp/image_generator/bins

下载插件模型并添加 LoRA 权重（可选）

如果您打算使用插件模型，请检查是否必须下载该模型。对于需要额外模型的插件，插件模型必须打包在 APK 中或按需下载。插件模型非常轻量（约 23MB），可直接打包到 APK 中。不过，我们建议按需下载插件模型。

如果您使用 LoRA 自定义了模型，请按需下载这些模型。如需了解详情，请参阅 LoRA 权重插件模型。

创建任务

MediaPipe 图像生成器任务使用 createFromOptions() 函数来设置任务。createFromOptions() 函数接受配置选项的值。如需详细了解配置选项，请参阅配置选项。

配置选项

此任务针对 Android 应用提供了以下配置选项：

该任务还支持插件模型，让用户可以在任务输入中添加条件图片，基础模型可以对这些图片进行增强，并将其用作生成的参考。这些条件图片可以是面部地标、边缘轮廓和深度估计值，模型会将其用作生成图片的额外背景信息。

向基础模型添加插件模型时，还应配置插件选项。人脸地标插件使用 faceConditionOptions、Canny 边缘插件使用 edgeConditionOptions，深度插件使用 depthConditionOptions。

Canny 边缘选项

在 edgeConditionOptions 中配置以下选项。

如需详细了解这些配置选项的运作方式，请参阅 Canny 边缘检测器。

人脸特征点选项

在 faceConditionOptions 中配置以下选项。

如需详细了解这些配置选项的运作方式，请参阅人脸地标任务。

深度选项

在 depthConditionOptions 中配置以下选项。

仅使用基础模型进行创建

val options = ImageGeneratorOptions.builder()
    .setImageGeneratorModelDirectory(modelPath)
    .build()

imageGenerator = ImageGenerator.createFromOptions(context, options)

使用插件创建

如果您要应用可选的插件模型，请使用 setPluginModelBaseOptions 为插件模型设置基本选项。如果插件模型需要额外的下载模型才能创建条件图片，请在 BaseOptions 中指定路径。

val options = ImageGeneratorOptions.builder()
    .setImageGeneratorModelDirectory(modelPath)
    .build()

val faceModelBaseOptions = BaseOptions.builder()
    .setModelAssetPath("face_landmarker.task")
    .build()

val facePluginModelBaseOptions = BaseOptions.builder()
    .setModelAssetPath("face_landmark_plugin.tflite")
    .build()

val faceConditionOptions = FaceConditionOptions.builder()
    .setFaceModelBaseOptions(faceModelBaseOptions)
    .setPluginModelBaseOptions(facePluginModelBaseOptions)
    .setMinFaceDetectionConfidence(0.3f)
    .setMinFacePresenceConfidence(0.3f)
    .build()

val conditionOptions = ConditionOptions.builder()
    .setFaceConditionOptions(faceConditionOptions)
    .build()

imageGenerator =
    ImageGenerator.createFromOptions(context, options, conditionOptions)
    

val options = ImageGeneratorOptions.builder()
    .setImageGeneratorModelDirectory(modelPath)
    .build()

val edgePluginModelBaseOptions = BaseOptions.builder()
    .setModelAssetPath("canny_edge_plugin.tflite")
    .build()

val edgeConditionOptions = EdgeConditionOptions.builder()
    .setThreshold1(100.0f)
    .setThreshold2(100.0f)
    .setApertureSize(3)
    .setL2Gradient(false)
    .setPluginModelBaseOptions(edgePluginModelBaseOptions)
    .build()

val conditionOptions = ConditionOptions.builder()
    .setEdgeConditionOptions(edgeConditionOptions)
    .build()

imageGenerator =
    ImageGenerator.createFromOptions(context, options, conditionOptions)
    

val options = ImageGeneratorOptions.builder()
    .setImageGeneratorModelDirectory(modelPath)
    .build()

val depthModelBaseOptions = BaseOptions.builder()
    .setModelAssetPath("depth_model.tflite")
    .build()

val depthPluginModelBaseOptions = BaseOptions.builder()
    .setModelAssetPath("depth_plugin.tflite")
    .build()

val depthConditionOptions =
    ConditionOptions.DepthConditionOptions.builder()
        .setDepthModelBaseOptions(depthModelBaseOptions)
        .setPluginModelBaseOptions(depthPluginModelBaseOptions)
        .build()

val conditionOptions = ConditionOptions.builder()
    .setDepthConditionOptions(depthConditionOptions)
    .build()

imageGenerator =
    ImageGenerator.createFromOptions(context, options, conditionOptions)
    

使用 LoRA 权重创建

如果您要添加 LoRA 权重，请使用 loraWeightsFilePath 参数指向路径位置。

val options = ImageGeneratorOptions.builder()
    .setLoraWeightsFilePath(weightsPath)
    .setImageGeneratorModelDirectory(modelPath)
    .build()

imageGenerator = ImageGenerator.createFromOptions(context, options)

准备数据

图片生成器接受以下输入：

• prompt（必需）：用于描述要生成的图片的文本提示。
• iterations（必需）：生成图片的总迭代次数。一个不错的起点是 20。
• seed（必需）：图片生成期间使用的随机种子。
• condition image（可选）：模型用作生成参考的图片。仅在使用插件模型时适用。
• condition type（可选）：与任务一起使用的插件模型的类型。仅在使用插件模型时适用。

仅使用基础模型的输入

fun setInput(prompt: String, iteration: Int, seed: Int) {
    imageGenerator.setInputs(prompt, iteration, seed)
}

带插件的输入

如果您要应用可选的插件模型，还应使用 conditionType 参数选择插件模型，并使用 sourceConditionImage 参数生成条件图片。

如果您使用的是插件模型，请使用 createConditionImage 创建条件图片：

fun createConditionImage(
    inputImage: MPImage,
    conditionType: ConditionType
): Bitmap {
    val result =
        imageGenerator.createConditionImage(inputImage, conditionType)
    return BitmapExtractor.extract(result)
}

创建条件图片后，将其作为输入添加到问题、种子和迭代次数中。

imageGenerator.setInputs(
    prompt,
    conditionalImage,
    conditionType,
    iteration,
    seed
)

带有 LoRA 权重的输入

如果您使用的是 LoRA 权重，并且打算生成包含权重所代表的特定概念的图片，请确保文本提示中包含该令牌。

fun setInput(prompt: String, iteration: Int, seed: Int) {
    imageGenerator.setInputs(prompt, iteration, seed)
}

运行任务

使用 generate() 方法，根据上一部分中提供的输入生成图片。这会生成单张生成的图片。

仅使用基础模型生成

fun generate(prompt: String, iteration: Int, seed: Int): Bitmap {
    val result = imageGenerator.generate(prompt, iteration, seed)
    val bitmap = BitmapExtractor.extract(result?.generatedImage())
    return bitmap
}

使用插件生成

fun generate(
    prompt: String,
    inputImage: MPImage,
    conditionType: ConditionType,
    iteration: Int,
    seed: Int
): Bitmap {
    val result = imageGenerator.generate(
        prompt,
        inputImage,
        conditionType,
        iteration,
        seed
    )
    val bitmap = BitmapExtractor.extract(result?.generatedImage())
    return bitmap
}

使用 LoRA 权重生成

使用使用 LoRA 权重进行自定义的模型生成图片的过程与使用标准基础模型的过程类似。确保提示中包含令牌，然后运行相同的代码。

fun generate(prompt: String, iteration: Int, seed: Int): Bitmap {
    val result = imageGenerator.generate(prompt, iteration, seed)
    val bitmap = BitmapExtractor.extract(result?.generatedImage())
    return bitmap
}

迭代生成

图片生成器还可以在每次迭代期间输出生成的中间图片，如 iterations 输入参数中所定义。如需查看这些中间结果，请调用 setInputs 方法，然后调用 execute() 来运行每个步骤。将 showResult 参数设置为 true 以显示中间结果。

fun execute(showResult: Boolean): Bitmap {
    val result = imageGenerator.execute(showResult)

    val bitmap =
        BitmapExtractor.extract(result.generatedImage())

    return bitmap
}

处理和显示结果

图片生成器会返回 ImageGeneratorResult，其中包含生成的图片、完成时间的时间戳，以及条件图片（如果作为输入提供）。

val bitmap = BitmapExtractor.extract(result.generatedImage())

以下图片是使用仅包含基础模型的模型，根据以下输入生成的。

输入：

• 问题：“戴着宽边软帽、手持木棍在森林中漫步的彩色卡通浣熊，动画效果，三分之二视图，绘画”
• 种子：312687592
• 迭代次数：20

生成的图片：