阿里云服务器ECS使用教程-基于AIACC加速器快速实现Stable Diffusion生成特定物体图片

Stable Diffusion（简称SD）是一种AI模型，它经过训练可以逐步对随机高斯噪声进行去噪以生成所需要的图像。

DreamBooth是一种定制化text2image模型的方法，只需提供特定物体的3~5张图片，就能生成该物体的图片。我们使用DreamBooth对模型进行Finetune，并利用阿里云AI加速器中的AIACC-AGSpeed加速Finetune，同时引入ControNet增加生成图片的多样性。

ControlNet是一组网络结构，通过对SD添加额外的Condition来控制SD，目前提供的预训练Condition包括：Canny Edge，M-LSD Lines，HED Boundary，User Scribbles，Fake Scribbles，Human Pose，Semantic Segmentation，Depth，Normal Map，Anime Line Drawing。您可以同时添加多个ControlNet进行多Condition的控制。训练其他Condition来控制SD的具体操作，请参见Train a ControlNet to Control SD。

本文基于阿里云GPU服务器搭建Stable Diffusion模型，并基于ControlNet框架，快速生成特定物体图片。

重要

• 阿里云不对第三方模型“Stable Diffusion”的合法性、安全性、准确性进行任何保证，阿里云不对由此引发的任何损害承担责任。

• 您应自觉遵守第三方模型的用户协议、使用规范和相关法律法规，并就使用第三方模型的合法性、合规性自行承担相关责任。

创建ECS实例

配置模型

1. 下载1.0.13版本sd_dreambooth_extension项目代码。

1. 访问sd_dreambooth_extension。

2. 切换到1.0.13版本。

   

3. 下载1.0.13版本sd_dreambooth_extension项目代码，并将该项目代码放到/root/stable-diffusion-webui/extensions路径中。

2. 依次执行以下命令，下载文件。

   wget https://ali-perseus-release.oss-cn-huhehaote.aliyuncs.com/sd_utils/train_dreambooth.py -O /root/stable-diffusion-webui/extensions/sd_dreambooth_extension/dreambooth/train_dreambooth.py 
   wget https://ali-perseus-release.oss-cn-huhehaote.aliyuncs.com/sd_utils/utils.py -O /root/stable-diffusion-webui/extensions/sd_dreambooth_extension/dreambooth/utils/utils.py
   wget https://ali-perseus-release.oss-cn-huhehaote.aliyuncs.com/sd_utils/image_utils.py -O /root/stable-diffusion-webui/extensions/sd_dreambooth_extension/dreambooth/utils/image_utils.py
   wget https://ali-perseus-release.oss-cn-huhehaote.aliyuncs.com/sd_utils/log_parser.py -O /root/stable-diffusion-webui/extensions/sd_dreambooth_extension/helpers/log_parser.py

启动并访问WebUI服务

1. 使用root用户远程登录ECS实例。具体操作，请参见通过密码或密钥认证登录Linux实例。

2. 依次执行以下命令，启动WebUI服务。

   重要

   WebUI服务启动后请不要关闭，否则无法访问WebUI页面。

   cd /root/stable-diffusion-webui
   source /root/stable-diffusion-webui/venv/bin/activate
   python ./launch.py --listen --port 7860 --enable-insecure-extension-access --disable-safe-unpickle --xformers

   WebUI服务成功启动后，回显信息类似如下所示。

   

3. 在ECS实例页面，获取ECS实例的公网IP地址。

   

4. 在浏览器中输入http://<ECS实例公网IP地址>:7860，访问WebUI。

   

模型微调（Finetune）

仅使用预训练的权重的模型，只能生成预训练数据集相似的图片。若您希望生成自定义的图片，可以通过Finetune自定义物体图片，使得模型生成所对应物体的图片。

1. 创建模型权重。

1. 单击DreamBooth页签，在Model区域，单击Create。

2. 输入待生成的模型权重名称，例如：aliyun_example，并选择创建模型权重的来源v1-5-pruned-emaonly.safetensors [6ce0161689])。

   

3. 单击Create Model，创建模型权重。

   等待模型权重创建完成后，在Output区域会显示Checkpoint successfully extracted to /root/stable-diffusion-webui/models/dreambooth/aliyun_example/working。

   

2. 设置训练参数。

• Training Steps Per Image (Epochs)：指训练的迭代次数。默认为100，可根据实际需要调整。

• Batch Size：训练数据的大小。默认为1，一般设置为1或2。

1. 单击Select，选择生成的模型权重aliyun_example。

   

2. 选择Input区域，在Settings页签下，选中Use LORA，并调整训练参数。

   如果您希望Finetune流程更快，可将Save Model Frequency (Epochs)和Save Preview(s) Frequency (Epochs)参数值调大（如果设置的值较小，可能会导致Finetune时间较长且不稳定），不超过最大的Epochs数即可，最大的Epochs数=每张图片训练迭代次数Epochs*图片数量N。关于性能提升的更多信息，请参见Aiacc-training性能提升。

   

3. 滚动鼠标将页面下拉，取消选中Gradient Checkpointing。

4. 在Optimizer中选择Torch AdamW，Mixed Precision选择fp16或者no，Memory Attention选择xformers或者no，当Mixed Precision选择fp16时，才能选择xformers。

   

3. 选择训练数据集。

• Instance Prompt：输入对数据集物体的描述，格式例如：a <物体名称> <物体类别>。本示例输入a yunxiaobao doll。

• Class Prompt：输入数据集物体的类别，格式例如：a <物体类别>，本示例输入a doll。

• Sample Image Prompt：输入和Instance Prompt参数一致的内容。本示例输入a yunxiaobao doll。

  

1. 在Input区域的Concepts页签下，在Dataset DIrectory中填入云服务器ECS中的数据集路径。

   您可以将10张以内同一物体的图片上传到指定路径。

   本示例中上传图片的路径为/root/stable-diffusion-webui/test_imgs。

   

2. 在Training Prompts和Sample Prompts区域，配置以下参数。

4. 单击Train，在弹出的对话框中单击确定。

   训练大约需要3分钟，请您耐心等待。训练完成后，在Output区域显示类似如下图片。

   说明

   训练时间和实例规格、带宽峰值及其相关配置有关，这里的训练时间仅供参考。

   

生成图片

Finetune完成后，您可以通过以下方法生成图片。