AI绘画-Stable Diffusion-ComfyUI的基本应用-EW帮帮网

前言

ComfyUI中的功能十分多无法一一说明，个人多进行尝试和探索才能更加熟练工具的应用；在本章中将会介绍ComfyUI的下载安装、和简单使用

1 ComfyUI下载安装

在B站搜索秋叶进入到对应界面下载整合包，包含安装教程

在这里插入图片描述

安装后完成后一键启动

在这里插入图片描述

如果想让ComfyUI和Stable Diffusion共用模型，打开ComfyUI的根目录，修改"extra_model_paths.yaml.example"文件名变为"extra_model_paths.yaml"，然后用记事本将指定的内容修改成Stable Diffusion的安装目录
注意：经过测试，FLUX.1模型和FLUX Kontext模型不可以进行共用，需要将这些模型放到ComfyUI根目录下的"models/diffusion_models/"

在这里插入图片描述

推荐的插件：

Comfyui_fk：可以在输入提示词的时候一件翻译

这个插件需要获取到百度的通用翻译密钥，打开百度翻译开放平台，登陆后点击通用文本翻译，选择个人注册

注册完毕之后点开个人中心的开发者信息就可以查看到ID和密钥

进入ComfyUI，双击文本框两下即可翻译，第一次输入ID和密钥也需要双击文本框才会弹出

如果遇到问题可以查看详细申请教程
注意：翻译文本需要双击两下

2 ComfyUI简单使用

2.1 基本节点介绍

基本的工作流节点分为以下几部分部分：

名称	功能
Checkpoint加载器	用来选择大模型
CLIP文本编码器	总共有两个，对应着WebUI中的正向提示词和反向提示词
K采样器	对应着WebUI中调整各种参数的模块，里面的各种参数和WebUI基本相同
空Latent	调整生成图像的大小
VAE解码	和WenUI中的vae一样，图像生成最后进行解码
保存图像	预览并保存生成的图片

2.2 从零开始搭建SD1.5工作流

2.2.1 文生图工作流

鼠标右键新建一个K采样器

在这里插入图片描述

鼠标右键一个Checkpoint加载器

在这里插入图片描述

可以将节点拖出来添加CLIP文本编码器

在这里插入图片描述

拖出来添加空Latent图像

在这里插入图片描述

添加VAE解码器

在这里插入图片描述

最后可以选择添加保存图像或者预览图像，前者在预览的同时会直接保存到输出目录，后者只会进行预览不进行保存

在这里插入图片描述

将各个节点相连之后就得到了十分基本的文生图工作流

在这里插入图片描述

2.2.2 图生图工作流

图生图与文生图流程区别在于将空Latent图像替换成加载图像

在这里插入图片描述

添加上VAE编码后连接上K采样器后可以得到基本的图生图工作流

在这里插入图片描述

注意：在图生图中，K采样器的denoise参数和Stable Diffusion中的重绘幅度一样

2.2.3 局部重绘

第一种方法：

想要实现图生图的局部重绘功能，需要VAE内补编码器，连接图像、VAE和遮罩，最后Latent和K采样器相连

在这里插入图片描述

右键点击图像，选择在遮罩编辑器中打开，画出想要重绘的区域即可，推荐重绘幅度为0.8

在这里插入图片描述

第二种方法：

上一种局部重绘方法比较适合大幅度重绘场景，如果需要和原图变化小一些的重绘需求，可以试试下面的流程，推荐重绘幅度为0.8

在这里插入图片描述

基本原理：大幅度重绘是通过直接转换成空白潜空间在生成的方式，相当于对蒙版区域重新进行文生图；小幅度重绘是通过潜空间噪声蒙版加持下进行重绘，相当于对蒙版区域进行图生图
在WebUI中，小幅度重绘对应的是原图重绘，大幅度重绘对应的是空白潜空间重绘

2.2.4 补充

加载lora模型时，只需要将LoRA加载器节点放到Checkpoint加载器节点和提示词节点中间即可

在这里插入图片描述

2.3 从零搭建SDXL工作流

SDXL模型体量远大于SD1.5，标准的SDXL模型分为了两部分：base模型和refiner模型，需要涉及到二次采样；不过目前部分SDXL模型将两部分整合在一起，可以直接使用文生图进行生成，这里讲解标准的SDXL模型的工作流

2.3.1 基本工作流

先创建两个K高级采样器，按照下面的讲解进行设置（讲解中第一个K高级采样器叫A采样器，第二个K采样器叫B采样器）：

第一步：A采样器需要开启噪波，B采样器不需要开启噪波

第二步：A采样器开始降噪步数从0步开始20步结束，B采样器开始降噪步数从20步开始到30步结束，一般情况需要连贯并且加起来等于总步数

第三步：A采样器返回噪波开启，B采样器返回噪波关闭

第四步：其他设置保持一样

第五步：A采样器的LATENT连接到B采样器的latent_image

新建四个文本编码器和加载base和refiner模型的加载器，互相连接起来

在这里插入图片描述

添加空Latent图像、VAE解码器和保存图像三个节点，互相连接后得到基本的SDXL模型工作流

在这里插入图片描述

2.3.2 进阶节点

两个进阶节点：CLIP文本编码器SDXL和CLIP文本编码器SDXL精炼器

第一个节点中，第一个长和宽表示在潜空间的图像大小，一般设置为我们要生成图像的四倍；目标长宽设置为我们想要图像的大小；text_g表示控制整体的构图和主题，和正反提示词一样，text_l是补充细节，一般和text_g相同即可

第二个节点中，ascore表示控制图像的精细度和美感，保持默认即可；长和宽与想要生成的图像大小设置一样；文本内容填写正反向提示词