【第5期】ControlNet
欢迎来到SD的终极教程，这是我们的第五节课
这套课程分为六节课，会系统性的介绍sd的全部功能，让你打下坚实牢靠的基础
1.SD入门
2.关键词
3.Lora模型
4.图生图
5.controlnet
6.知识补充
在SD里面，想要生成出来的图片最大程度的符合我们脑海里的画面
有三个最关键的因素
1.关键词
2.Lora
3.ControlNet
关键词和Lora我们已经讲过了，这节课我们就讲SD里最强大的功能——ControlNet
目录
一、Controlnet有什么用
1.给老照片上色
2.给线稿上色
3.控制人物姿势
4.让照片动起来
5.有趣玩法
可以生成酷炫的赛博机车照、真人漫改
制作二次元头像
生成创意字
controlnet好玩的地方还有很多很多，例如恢复照片画质、制作艺术二维码等等等等
二、controlnet是什么
AI绘画最终要实现的目标——让出的图与我们脑海里想象的画面一致
但目前现状是：随机性太强
很多时候能不能出来一个好看的画面，只能通过大量的「抽卡」实现，以数量去对冲概率
这种情况下，如果能用好控制出图的三个最关键因素，能让「出图与我们想象的画面一致」概率更高
1.提示词
2.Lora
3.ControlNet
提示词的作用是奠定整个图的大致画面
Lora的作用是让图片主体符合我们的需求
ControNet的作用是精细化控制整体图片的元素——主体、背景、风格、形式等
提示词的用法我在SD的教程里讲过，这个更多的是需要平时的积累，用AB测试去知道每个词对图片产生的影响，从而养成提示词思维
而我们这篇文章主要讲的是ControlNet的用法，把17种模型都给你演示一遍，让你知道每一种模型有什么用，应该怎么用，从而真正掌握ControlNet
ControlNet就是你提供一张图片，然后选择一种采集方式，去生成一张新的图片
比如这张照片
可以选择采集图片中人物的骨架，从而在新的图片中，生成出一样姿势的人
也可以选择采集图片中的线稿，从而在新的图片中，生成一样线稿的画面
又或者选择采集图片中已有的风格，从而在新的图片中，生成一样风格的画面
用的时候不必拘束于哪一种模型更好，更重要的是你脑海里想要什么样的画面
多去尝试，也可以结合其他模型一起用，最终把图片变成你想要的画面就可以了
接下来文章会分为三个部分，会详细介绍controlnet的全部内容
1.安装controlnet
2.controlnet的具体使用流程
3.controlnet的分类讲解
三、安装controlnet
一般通过整合包安装的Stable Diffusion，都已经装了有ControlNet这个插件
我们只要更新插件，然后下载对应的模型就可以了
打开sd的启动页面
点击左边的版本管理，打开扩展页面
找到controlnet那一栏，点击更新就好了
接下来就是下载controlnet模型
17种模型我已经全部打包好放在网盘了
大家只要下载下来，放在对应的文件夹就可以
存放位置：SD文件夹>models>controlnet
四、controlnet的具体使用流程
Controlnet里面总共有17个模型，理论上来说就可以有17种用法
甚至可以两个或者多个Controlnet一起用，这样就有更多的玩法了
但不管怎样，它们的具体操作步骤都是差不多的
接下来我们先讲解controlnet的统一操作方法
再讲解controlnet的每一个模型的功能
就以指定人物姿势为例子，
看看怎么让我们生成出来的照片，摆出来这个同款芭蕾舞姿势
这里我们可以分为两个步骤：
1.SD基础设置
2.controlnet的设置
1.SD基础设置
SD的基础设置就是我们前面课程所讲的内容
包括选大模型、写关键词、参数设置、如果是想生成好看的真人图片，还可以加上Lora
01.选大模型
首先是选一个大模型，我这里选的是一个写实的大模型
02.写关键词
关键词就是按照我们第二节课的关键词模板去写，再加上Lora模型
再把通用的负面关键词也复制进来
03.参数设置
迭代步数35步
采样方法：Euler
宽度和高度可以先不管，我们等一下再处理
这样SD的基础设置就完成了，接下来就到controlnet的设置
2.controlnet的使用
controlnet的使用方法就只有两步
上传图片
选模型
滑到SD最下面打开controlnet的面板，在空白的地方上传参考照片
把这里的 启用 和 完美像素模式 打开
如果电脑配置比较低，还可以打开这个低显存模式
然后点击右边这个向上的小按钮，这样照片的尺寸就会自动同步到宽度和高度
如果发现同步过来的数值太大或者太小，我们可以按比例把这个数字除以2或者乘2
再往下看到控制类型，意思就是 我们要控制生成图片的什么地方
现在我们要控制的是人物的姿势
那就选openpose
下面就会自动加载预处理器和模型
简单来说，预处理器是用来识别我们上传的参考照片的，不同的预处理器识别出来的东西就不一样
模型就是将预处理器处理之后的结果加载到我们要生成的照片上面
点击爆炸按钮💥，就可以看到预处理之后的人物姿势线条
最后点击生成就可以了，小姐姐就会摆出和我们参考图一样的姿势
controlnet的不同功能的实现其实就是上传不一样的照片，然后选用不一样的预处理器和模型
一般情况下，预处理器和模型名字一样，是配套使用的
controlnet是辅助我们生成想要的照片的一个工具
我们的大模型和关键词也非常关键
要换照片风格一定要记得换大模型
接下来我们就看一下每一种预处理器和模型都有什么用
五、controlnet的分类讲解
我把17种模型，按照对照片的不同约束类型，分成了以下几类
有对人物姿势进行约束的，也有对照片里的线条进行约束的，还有对照片风格进行约束等等
现在我们就按照分类顺序，看看17种模型具体能干些什么
1.姿势约束
这一节讲的是openpose模型，主要控制生成照片人物的姿势
这里的姿势有身体姿势、表情、手指形态三个
可以只控制某一个或者两个，也可以三个一起控制
身体姿势
身体姿势+脸部表情
只有脸部表情
身体姿势+手指+表情
身体姿势+手指
01.控制身体姿势
一般情况下，在SD里面生成一张照片，照片人物的动作都是随机的
但controlnet可以让生成出来的人物摆出任何你想要的姿势
首先我们正常设置大模型和关键词
然后打开controlnet，上传自己想要生成的姿势照片
controlnet的模型选择：
预处理器：openpose 模型：openpose
点击预处理的爆炸按钮就可以看到，模特的姿势被提取成了一个火柴人
里面的小圆点就是人体的重要关节节点
看看生成出来的照片，模特的姿势就几乎完全复刻出来了
02.控制人物姿势和手指
除了识别人物整体的姿势以外，还可以识别手指的骨骼
这样在一定程度下就可以避免生成多手指或者缺少手指的照片
具体的操作跟前面是一样的
只是预处理器的选择不同
controlnet的模型选择：
预处理器：openpose_hand 模型：openpose
看看SD预处理之后的火柴人，在人体整体姿势的基础上，还多了线条和节点表示手指
03.控制人物表情
openpose除了控制人物的姿势，还可以控制人物的表情
但是用controlnet复刻人物表情比较适合放特写的大头照
这样识别出来的五官才会更加精确
相对应的也只能生成出来大头照
这里我们又换了一个预处理器
controlnet的模型选择：
预处理器：openpose_faceonly 模型：openpose
预处理之后就是把模特的脸型五官用点描出来
看看生成出来的照片，脸型和五官在一定程度上都还原了
但是，如果你生成的照片用了Lora
再用controlnet控制表情可能会导致生成出来的照片跟Lora的人不太像
因为生成出来的照片的人物五官和脸型都被controlnet影响了
04.全方面控制人物姿势
这里我们是把人物的整体姿势、手指、表情都复刻了
controlnet的模型选择：
预处理器：openpose_full 模型：openpose
看看处理后的照片就会有我们上面说到的所有东西
05.自由编辑火柴人
有时候预处理器处理出来的火柴人可能会不太准确
又或者我们需要更加细致的去调节
这时候我们可以再安装一个插件，这样我们就可以自己去调节预处理之后的火柴人
安装插件的方法：
①在“扩展”里点击“可下载”页面
②点击“加载扩展列表”
③在搜索框里输入“openpose”
④安装“sd-webui-openpose-editor”
⑤点击“已安装”页面
⑥点击“应用更改并重载前端”按钮
这样插件就安装好啦！
插件的使用方法：
接着我们回到controlnet里面
点击预处理后的图像旁边的“编辑”按钮，就可以自行去编辑火柴人的节点
如果打开编辑按钮是空白的，那就先点击一下预处理之后的图片，再去编辑
把鼠标放到圆形节点上面，就可以调整位置
调整好了之后，点击左上角的“发送姿势到controlnet”就可以啦
这样通过自己的调节，把腿的节点拉长，就可以生成一个大长腿美女了
06.小结
识别人体姿势有五个预处理器，在这里有一些我自己选预处理器的小技巧
在日常使用中，如果原图的手指骨骼比较清晰，可以用识别到手指的预处理器
如果识别出来的手指线条比较乱，自己调整也没调整好，那就只识别身体姿势
不然生成出来的照片手指反而更乱了
控制表情的最好用在生成近景特写图片，这样识别出来的才比较准确
2.线条约束
这一节会讲到lineart、canny、softedge、scribble、mlsd五种模型
它们都是用来提取画面的线稿，再用线稿生成新的照片
01.lineart
lineart是一个专门提取线稿的模型，可以针对不同类型的图片进行不同的处理
点击选择“Lineart”，预处理器和模型就会自动切换
点开预处理器
里面的各种模型可以识别不同图片的线稿
动漫：lineart_anime 或 lineart_anime_denoise
素描:lineart_coarse
写实：lineart_realistic
黑白线稿：lineart_standard
①动漫照片
提取动漫的线稿，再重新上色
首先处理动漫照片记得要换二次元的大模型
然后关键词可以写一些质量词，然后描述一下照片里面有什么东西
另外需要注意的是，图片的分辨率大小要设置的和原先的比例一样
不然照片会自动裁剪放大
controlnet的模型选择：
预处理器：lineart_anime 或 lineart_anime_denoise 模型：lineart
可以看一下两个预处理器出来的效果，选一个自己比较喜欢的就可以
lineart_anime
lineart_anime_denoise
②素描照片
controlnet的模型选择：
预处理器：lineart_coarse 模型：lineart
③写实照片
可以上传自己的照片，提取出线稿，然后生成自己的二次元头像
要生成二次元照片，一定要先换成合适的大模型
controlnet的模型选择：
预处理器：lineart_realistic 模型：lineart
因为真人照片换成二次元在五官比例上会不太匹配
这时候我们就要适当把controlnet的权重降低到0.6左右
还可以将真实的照片转换成真实的照片，生成一个长的很像的人
④黑白线稿
controlnet的模型选择：
预处理器：lineart_standard 模型：lineart
02.canny
canny可以识别到画面的最多的线条，这样就可以最大程度的还原照片
但是比较适合二次元照片
controlnet的模型选择：
预处理器：canny 模型：canny
03.softedge
softedge只能识别图片大概的轮廓细节，线条比较柔和，这样给SD发挥的空间就比较大
controlnet的模型选择：
预处理器：softedge_pidient 模型：softedge
04.mlsd
这个模型只能识别直线，所以只适合拿来做房子的设计
controlnet的模型选择：
预处理器：mlsd 模型：mlsd
看看预处理出来的图，都只有直线
绿色植物和瓶子这些有弧度的线条都会被忽略掉
05.scribble
这一个功能和图生图的涂鸦功能一样
可以将自己随便画的东西放进去，通过输入关键词得到有着一样线条的照片
controlnet的模型选择：
预处理器：invert 模型：scribble
06.小结
识别线稿的模型有很多，如果你不知道什么情况下用哪个好，可以参考一下我的选择
1.想最大程度还原照片：canny
2.只想控制构图，给SD更多可以变化的地方：softedge、scribble
3.真人、素描等照片：lineart
4.建筑物装修：mlsd
3.空间深度约束——depth
能够很好的复刻房子线条，而且物品的距离镜头的前后顺序比较清晰
controlnet的模型选择：
预处理器：depth_leres++ 模型：depth
4.物品种类约束——seg
segmentation，语义分割模型
它可以将照片上不同种类的东西，用不同的颜色表示出来
这样我们新生成的图片里的元素就会跟原图一模一样
controlnet的模型选择：
预处理器：seg_ofade20k 模型：seg
可以把seg色块图下载下来，自己到ps或者其他修图软件改照片物体的颜色
这样SD就会根据颜色生成出来特定的某样东西
网盘链接里有一份文档，可以看到不同的颜色代表什么物品
例如我可以在ps上面用代表人的颜色画上人的形状
这样生成的照片就在原来的基础上多了一个人
小结
看到这里建筑物装修已经有三种模型可以处理了
1.只还原整体的结构：mlsd
2.还原物品的先后关系：depth
3.比较好的还原原图有的物品，想自己后期编辑色块，改变室内装修结构：seg
depth和seg除了用在建筑上，还可以用在人物照片
5.风格约束
这一节会讲到shuffle、reference、normal、t2ia、IP-Adapter五个模型
01.shuffle
shuffle是将参考图的颜色融合到一起，然后用融合后的颜色生成新的图片
下面第一张是原图，其他三张分别是由水墨画、油画、赛博朋克风格的图片转移过来的画风
controlnet的模型选择：
预处理器：shuffle 模型：shuffle
用shuffle可能会影响自己原图的形状，可以稍微调整一下“引导介入时机”的参数
设置在0.2~0.3之间就差不多
先生成出来大体的形状再去改变画风
或者用两个controlnet：一个固定线稿，一个影响画风
02.reference
可以很好的还原原图的角色
①让照片动起来
让坐着的小狗跑起来
选择写实的大模型
然后在关键词里面输入：一只狗在草地上快乐地奔跑
controlnet的模型选择：
预处理器：reference 不用模型
②还原角色
给SD一张人物角色图，它会根据人物的五官、发型还原这个人物
具体操作方法和上面是一样的
关键词还可以加上情绪的描述，或者不一样的服装发型
03.Normal
这个模型可以参考原图的明暗关系，并且还原原图的姿势
controlnet的模型选择：
预处理器：normal_bae 模型：normalbae
04.t2ia
t2ia这个模型比较特殊，不同的预处理器要用到不同的模型
它的主要功能有3个
1.将原图的颜色模糊成马赛克再重新生成图片
2.提取素描的线稿，生成真人照片（这个不好用，直接用lineart就行）
3.参考原图风格，生成相似风格的照片
参考原图的颜色，将原图模糊成马赛克，再生成图片
controlnet的模型选择：
预处理器：t2ia_color_grid 模型：t2iadapter_color
05.IP-Adapter
参考原图的全部内容
不管是风格、还是人物形象，都可以得到还原
controlnet的模型选择：
预处理器：ip-adpter_clip 模型：ip-adpter_sd15
6.重绘
重绘分为inpaint和recolor
01.Inpaint
和图生图里的局部重绘差不多，但是inpaint可以将重绘的地方跟原图融合的更好一点
①消除图片信息
关键词填写照片背景的描述词
controlnet的模型选择：
预处理器：inpaint_global_harmonious 模型：inpaint
inpaint_global_harmonious预处理器是整张图进行重绘
重绘之后整体融合比较好，但是重绘之后的图片色调会改变
inpaint_only只重绘涂黑的地方
为了重绘之后的图片更像原图，可以把控制权重拉满
可以看看在图生图局部重绘出来的效果，是不如inpaint的
这张图是我跑了十几张图之后选的比较好的一张
②给人物换衣服
操作方法和上面一样，只是关键词的描述不一样
02.Recolor
recolor模型可以给照片重新上色
①给黑白老照片上色
controlnet的模型选择：
预处理器：recolor_luminance 模型：ioclad_sd15_recolor
②给人物头发、衣服换颜色
只要在关键词里面输入对应的“绿色头发”就可以了
controlnet的模型选择：
预处理器：recolor_luminance 模型：ioclad_sd15_recolor
这里需要注意一下，我们要换颜色的地方最好是 深色换深色，浅色换浅色
比如黑色的头发可以换成棕色、绿色，但是最好不要换成白色这种浅颜色，不然出来的效果就没那么好
7.特效——ip2p
给照片加特效
这个功能目前来说没有太多的实际用处，只能拿来玩一下
比如让房子变成冬天、让房子着火
这里需要输入的关键词比较特殊
需要在关键词里面输入：make it.... （让它变成...）
比如让它变成冬天，就输入：make it winter
controlnet的模型选择：
预处理器：无 模型：ip2p
8.加照片细节——tile
tile模型的玩法非常多
01.恢复画质
controlnet的模型选择：
预处理器：tile_resample 模型：tile
但是这个恢复画质的方法可能不太适合真人
因为tile模型的工作原理是先忽略掉照片的一些细节，再加上一些细节
这些SD自己加上去的细节可能会导致生成出来的照片不像原图
02.给图片加工
生成炫酷的赛博机车图
03.真人变动漫
04.动漫变真人
05.光影艺术字
六、结尾
目前用SD很多时候还是在“抽卡”
只是controlnet可以帮助我们提高成功的概率
并不是说用上controlnet就一定能出来自己满意的照片
模型关键词还有一些参数一样要反复的调整
但随着AI技术的不断迭代升级，未来还会有新的模型、更新的技术
最终AI绘画或许就可以实现——让出的图与我们脑海里想象的画面一致