新金瓶梅！

第一节：意志ComfyUI并安设

本教程专为初学者运筹帷幄第4 色播，瞩目先容了 2024 年最新版的SD ComfyUI的使用方法。通过厚重诱骗，让你无需任何基础，快速学会并使用这一远大的AI绘画用具。

1、什么是comfyui

ComfyUI就像领有一支神奇魔杖，不错苟且创造出令东说念主咋舌的AI生成艺术。从本色上讲，ComfyUI是构建在Stable Diffusion之上的基于节点的图形用户界面(GUI)，而Stable Diffusion是一种伊始进的深度学习模子，不错阐发文本刻画生成图像。 但ComfyUI的确寥落之处在于，它如何让像你这样的艺术家开释创造力，将你最豪恣的目的变为推行。

联想一下有一块数书画布，你不错通过团结不同的节点来构建我方特有的图像生成职责流，每个节点代表一个特定的功能或操作。 就像为你的AI生成佳构构建一个视觉食谱!

2、ComfyUI VS. WebUI

WebUI是Stable Diffusion的默许GUI。让咱们对比一下ComfyUI的优短处:

✅ 使用ComfyUI的克己:

轻量级: 运行速率快，效力高。生动性: 高度可成立以心仪你的需求。透明度: 数据流可见，易于相识。易于分享: 每个文献代表一个可重现的职责流。相宜原型设备: 使用图形界面而不是编码来创建原型。

❌ 使用ComfyUI的短处:

界面不一致: 每个职责流可能有不同的节点布局。操作门槛较高：由于ComfyUI领受节点式的职责流，关于初学者来说可能需要一段时辰来熟练和掌持。生态相对较小：尽管ComfyUI的基本功能都全，但在插件和膨胀用具方面，其生态可能不如webui丰富。不够咫尺好多插件也都是先因循ComfyUI了。这个后续的生态会束缚完善，不是什么大问题 3、ComfyUI 的硬件成立要求 组件要求GPU显存至少4GB以上，保举使用 NVIDIA 显卡，苛刻使用 RTX3060 以上显卡显存小于3GB的GPU可通过–lowvram选项运行，但性能可能下落。CPU因循在CPU上运行，但速率较慢，使用–cpu选项。内存苛刻系统内存至少8GB。存储空间荒谬苛刻使用固态硬盘来加速模子文献的加载运行速率，苛刻至少40GB以上的硬盘空间。 4、ComfyUI 的安设方法

这边保举和WebUI一样使用秋叶大佬的一键整合包安设ComfyUI荒谬毛糙

这个是秋叶大佬分享的整合包下载联接

【下载联接】

网盘：https://pan.quark.cn/s/64b808baa960

要是不想使用网盘也不错扫码进群取得齐全的安设包

下载压缩包

图片第4 色播

解压整合包文献

解压到你想要安设 ComfyUI 的土产货目次。

启动 A绘画启动器

这一步主要检察 A绘画启动器 是否能平时运行，解压后的文献夹中找到 A绘画启动器.exe文献，双击即可启动秋叶的ComfyUI整合包，启动后应该会自动阐发你的系统讲话进行败露。

图片

翻开后是这样的

图片

在竖立中不错修改咱们的讲话

图片

下载了模子的小伙伴紧记把模子放在这个文献夹内

图片

咱们点击启动，能看到这个页面等于安设收效啦

图片

ComfyUI各样模子安设旅途，如何与WebUI分享模子

插足到 ComfyUI 根目次，找到这个「Models」文献夹，双击进去。

图片

进来之后你就会看到以模子称号定名的文献夹，如 Checkpoints（大模子）、Loras、controlnet 、vae等，咱们只需要插足对应的文献夹，把正确的模子安设进去即可。

图片

要是你有使用过WebUI何况有下载过模子，咱们就不错把WebUI下载过的模子分享给ComfyUI

神圣咱们的空间，

第一步

通常，咱们照旧翻开 ComfyUI 根目次，找到这个「extra_model_paths.yaml.example」文献：

图片

第二步

翻开刚刚修改后缀的文献，修改旅途，把base_path改成你sdwebui的安设旅途

图片

第三步

再次启动 comfyUI 就不错看到依然不错使用 WebUI 中的模子

图片

首次运行ComfyUI，一启动便会看到一个预设的职责过程，这时常是一个初学级的文本到图像的职责流。让咱们借此契机对组成这个职责流的基础节点进行一番简要评释。

图片

在ComfyUI中，节点和节点之间的联接以疏通情态联接即可，熟练常用职责流之后，省略就能剖判节点的联接逻辑了

1、K采样器

K采样器不错类比为一个“厨师”，是SD出图过程中的中枢节点，统共节点载入，数据输入，参数成立，终末都会汇总到K采样器，它会结合载入的模子，教唆词的输入以及Latent输入，进行采样计较，输出得到最终图像

input model：从模子加载节点领受的Unet模子。positive：由CLIP模子编码的正向教唆词。negative：由CLIP模子编码的负向教唆词。latent_image：潜在空间中的图像，不错是一个事先存在的潜在图像节点，也不错是空的。

图片

Latent，即潜空间，不错相识为SD里面过程中的图像模式，要是咱们将图像四肢输入，则需要通过VAE编码将其移动为Latent数据，在终末输出时，咱们也需要通过VAE解码将其移动为像素空间，也等于咱们最终图像

2、Checkpoint加载器

不错类比为菜系，选定写实的大模子，厨师就会作念写实立场的“菜”

图片

checkpoint 也等于大模子，这个节点是肇始点，需要选定相应的大模子，以及vae输入给采样器，clip则团结正反向教唆词 其中VAE不错班师使用大模子的vae去联接，也不错单独使用vae解码节点，来选定自界说的vae

3、CLIP文本编码器

毛糙譬如等于“菜谱”，把你最想吃的都写在这里“厨师”就会按照这个菜谱作念菜

图片

CLIP节点则需要输入教唆词，其中CLIP节点需要两个，一个四肢正向教唆词联接K采样器，一个四肢负向教唆词联接采样器

4、空缺潜空间图像

不错相识为菜的重量

图片

使用空latent建造潜空间图像，这里主要用于法例图像尺寸和批次数目的

5、VAE解码

input samples：依然通过采样器去噪的潜在空间图像。vae：不错是大模子自带的VAE，也不错是独处的VAE模子。output IMAGE：输出的图像不错团结到保存节点或预览节点，以便用户检察或保存生成的图像。

图片

前边依然提到关于Latent潜空间图像和输出的像素图像之间，需要进行一次移动，VAE解码节点则是对这个过程移动的节点

6、保存图像

图片

顾名想义，即保存现时生成的图像，保存的图像除了在现时页面能看到除外，也不错在土产货文献夹目次（x:\xxx\ComfyUI根目次\output）下看到统共生成的图片

默许过程合座就这样毛糙，输入教唆词，点击添加教唆词队伍，即可生成你的第一张ComfyUI图片了

图片

图片

第三节：使用ComfyUI搭建图生图 一、创建过程 通常，咱们先翻开文生图基础过程，咱们这个基础上把图生图过程加进去；咱们“右键——新建节点——图像——加载图像”，然后把图片传上去；

图片

咱们在加载图像上鼠标点击住“图像”往外拉，平缓然后选定“VAE 解码”；

图片

图片

咱们再把“VAE 解码的 Latent”和“采样器的 Latent”联接，“VAE”团结到“VAE 加载器”；

图片

5.要是咱们还需要调解图片的尺寸和大小，这时候咱们右键画布

图片

把潜空间图形放大添加到画布中，如何左边在连上咱们的vae编码，右边连上采样器的潜空间图像

图片

要是你不需要调解原图尺寸就不错无须添加这一步，comfyui会默许原图尺寸

有些内置的模子莫得vae或者咱们想我方添加vae咱们不错添加：加载vae节点

图片

这个节点vae分辨团结到vae编码和vae解码

图片

终末咱们齐全的图生图职责流就搭建好啦

图片

终末不要忘了把重绘幅度调解一下

图片

我这边选定大模子：flat2DAnimerge大模子试试恶果，由于我莫得修改原图尺寸是以我没灵验到潜空间图像放大这个节点。不错看到恶果荒谬的准确。

图片

第四节：ComfyUI安设插件教程

安设插件的方法有两种，一种是使用 Terminal 安设，另一种是手动导入安设。要是你对大呼行用具比较熟练，我会保举你使用第一种方法。要是你不想使用大呼行，不错接洽手动的方式。

我以安设ComfyUI-Manager这个插件为例向群众展示如何安设插件

ComfyUI-Manager 是 ComfyUI 的一个基础经管插件，通过它咱们不错很毛糙的经管其它插件、模子、依赖的法子包，以及了解 ComfyUI 社区的最新音问，是生手小白必备的插件。

插件的官方地址：GitHub - ltdrdata/ComfyUI-Manager

咱们现演示第一种方法，这个方法的前提是你依然安设了git

咱们插足comfyui/custom_nodes这个文献夹，如何输入cmd就不错插足该文献夹旅途的末端。

在末端里复制这一段git clone https://github.com/ltdrdata/ComfyUI-Manager.git

后回车即可安设。

图片

由于我这边依然安设过了，是以败露是这个

图片

平时安设是这种恶果

图片

方法二：咱们在github上班师下载该插件的文献，如何放在刚刚安设插件的旅途即可

图片

安设完成后咱们从头启动comfyui

启动后咱们点击这个manager按钮等于咱们安设的插件

图片

图片

有了这个插件后咱们安设其他插件就很毛糙了

咱们点击中间最顶上的Custom Nodes Manager

这上头就不错搜索和更新咱们的插件

图片

安设完紧记重启咱们的comfyui

图片

终末一种方法等于使用秋叶整合包安设插件，荒谬的一目了然，也荒谬的毛糙

图片

终末在保举几款生手必装的一些插件，群众飞快去试试吧

ComfyUI Workspace Manager - Comfyspace comfyui职责空间经管器AIGODLIKE-COMFYUI-TRANSLATION comfyui汉化插件ComfyUI-Crystools 资源监控ComfyUI-WD14-Tagger 教唆词反推 Refiner模子细化图像

领先咱们来到基础的文生图页面

复制一个加载模子，一个选base一个选refiner

图片

这个时候咱们发现一个问题，等于两个模子怎样共用一套教唆词呢

咱们不错按一以下身手竖立

成人小说

1.咱们右键把全部clip文本编码节点，把他移动为文本输入

图片

改完以后等于这样

图片

2.咱们在空缺画布上添加两个基元也叫“primitive元节点” ，右键——添加节点——用具——基元

图片

一个坐正向教唆词一个作念负面教唆词。咱们不错在基元中添加教唆词何况联接到对应的文本编码，正面教唆词连正面文本编码，负面教唆词联接负面文本编码

图片

如何咱们在复制一双clip文本编码器联接refiner模子

图片

这样就结尾了两个模子法例使用兼并个教唆词

由于refiner模子需要在base之后使用，是以咱们需要在base的采样器背面在添加一个refiner模子的采样器，把base采样器的latent输出四肢refiner采样器的输入

图片

终末咱们再把refiner采样器的latent输出联接到vae解码节点

图片

是以齐全的职责流等于这样，想要齐全职责流的小伙伴也不错扫码右边二维码加群取得哦

图片

咱们不错对比使用refiner细化后和仅使用base的恶果

下图是通过refiner细化后的图片

图片

下图是未使用refiner的图片，不错看到图片细节差了荒谬大，是以使用refiner模子细化还是曲常有恶果的

图片

局部重绘与AI扩图

咱们加载前次图生图的职责流

那时咱们加载图像的遮罩输出是空的，此次咱们把它欺诈起来

图片

咱们不错点住它往外面拉，然后选定VAE里面编码器

图片

这个和世俗的vae编码比较就多了个遮罩，这个遮罩延展的道理和ps的成仙蒙版差未几。大少许和会恶果比较好，小少许比较和会恶果比较生硬。

图片

有了这个VAE咱们就不错把蓝本的VAE编码的线都改到新的vae编码(重绘)上

图片

然后咱们右键点击图像选定在遮罩裁剪器中翻开

图片

图片

比如我在东说念主物眼睛上涂了一下，然后教唆词修改一下，改成闭眼

图片

点击加入队伍生成，咱们就不错把东说念主物的眼睛重绘啦。

图片

AI扩图过程

咱们要是想对图像四周进行重绘进行扩图，这时候咱们就用到一个“外补画板”节点，“右键——新建节点——图像——外补画板”

高下傍边是竖立向外扩散尺寸的，成仙和 VAE 内补编码的遮罩延展一个道理。

图片

这个节点是团结在“加载图像”和“VAE 内补编码器”节点之间，如下图所示：

图片

教唆词我写上画框，加入队伍生成后的图像如实加上了画框，使用起来还是曲常毛糙的

图片

controlNet职责过程全领路

咱们在WebUI中使用controlnet都是通过插件，而插件中包含了预处理器和模子。而在comfyui中咱们是预处理和模子分开搭建的，接下来就让咱们望望如何搭建吧

领先咱们先加载咱们的默许职责流

1.预处理器

咱们不错在空缺区域按照以下方法添加咱们的预处理器

图片

还有一种方法等于安设预处理器插件来添加咱们的预处理器节点

Controlnet 预处理器插件：

插件地址： https://github.com/Fannovel16/comfyui_controlnet_aux.git要是安设后，运行 ComfyUI 败露无法导入插件请运行“ComfyUI\custom_nodes\comfyui_controlnet_aux”目次下的“install.bat”文献

有了这个插件后不错更毛糙的经管和添加咱们的预处理器

图片

有了预处理器节点后，咱们从节点的左边拖出加载图像

图片

右边再拉出预览图像，这样咱们预处理这一块就搭建好啦，运行后的恶果偶合对应了咱们webui中的💥按钮

图片

2.controlnet模子

然后咱们梳理逻辑，这经过canny预处理器处理事后的图像咱们应该需要发给controlnet对应的canny模子。是以咱们按下图加载ControlNet模子，模子紧记选定canny对应的。

图片

咱们看到加载controlnet模子右边有个节点，咱们拖出来选定controlnet应用。看到这个是不是很熟练，很想Webui中的controlnet法例强度。右边的图像节点接纳的是前边经过canny预处理后的节点

图片

咱们在看右边的条目，ControlNet 应用会对条目进行加工处理，在其中加入现时 ControlNet 索取到的法例信息。是以需要把它们团结到“CLIP 文本编码器”节点的输出条目，

图片

而左边的输出条目联接的等于K采样器的正面条目（正面教唆词）

图片

以上这些连完就完成了最基本的Contnet职责流，以下等于齐全的职责流。

图片

多controlnet联接

咱们在“Controlnet 应用”背面再串联个“Controlnet 应用”就不错了，其余的该连 Controlnet 模子的连模子，该连 Controlnet 预处理器的连预处理器。

图片

补充：comfyui自带的controlnet应用是比较毛糙的。要是想要使用高档的Controlnet

咱们不错在经管器中安设这个膨胀

图片

安设完重启刷新后咱们就不错使辛勤能更丰富的controlnet应用了，这样看是不是和WebUI更相似了呢

图片

强度：等于咱们用来法例权重的，运行时辰：咱们在绘画时，Controlnet 什么时候进行法例；结尾时辰：咱们在绘画时，Controlnet 什么时候结尾法例； Lora职责流搭建 Lora模子安设旅途

模子存放位置在“ComfyUI_windows_portable\ComfyUI\models\loras”目次下，要是你是和 Web UI 共用的模子，那就放在“sd-webui\models\Lora”目次下。

要是不知说念怎样与WebUI分享模子的小伙伴不错看咱们的第二节有瞩目先容。

使用Lora模子

在使用上比较毛糙，咱们在默许的文生图职责流空缺处“右键-新建节点-加载器-LoRA 加载器”；

图片

团结也荒谬毛糙，咱们左侧模子和clip联接大模子加载器的模子和clip，右侧的模子联接k采样器，clip联接文本编码器，诚然有两个CLIP 文本编码器，然则经过测试只练正向要津词的CLIP 文本编码器就不错了

图片

咱们选定像素风模子试一下恶果，不错看到收效使用Lora模子转变了画风。

图片

调解Lora模子权重

咱们还不错像在WebUI上调解Lora模子的权重：

回到“LoRA 加载器”节点上。除了选定模子外还有两个不错竖立参数的场所，模子强度、CLIP 强度。至于咱们竖立哪个参数能达到法例权重的恶果，都备取决于模子的查抄方式。是以咱们在不知说念受哪个参数影响的情况下，咱们不错对两个参数都进行移动，而 Web UI 上是把两个参数整合在全部了。

图片

使用多个Lora

使用多个Lora荒谬毛糙，只需要把多个Lora加载器串联起来

图片

图片

效力节点

诚然使用多个Lora串联荒谬毛糙，然则咱们使用多个 Lora 模子 的时候就会让过程图更复杂、更乱，移动权重也比较贫困，咱们不错使用一个插件帮咱们处置。

⑩efficiency-nodes-comfyui（效力节点）： https://github.com/jags111/efficiency-nodes-comfyui.git

咱们班师在经管器中安设完成后重启就不错使用。

图片

咱们班师把三个比较垂死的高效节点加载出来

图片

“LoRA 堆”节点

【输入模式】和法例权重商量，在这个节点咱们不错通过移动一个参数就能法例权重了，要是咱们把输入模式改为高档，Lora 权重就会分红模子强度、CLIP 强度；

【Lora 数目】用来移动咱们使用几个 Lora 模子的，现时数值是 3，咱们就有三个 Lora 可选；

剩下的权重和选定Lora模子就无须过多先容了，群众确建都知说念。

效力加载器

咱们需要操作的场所有：大模子选定、VAE 模子选定、Lora 模子（不使用选无，要是只使用一个就不错在这个节点选定，多个情况下就使用咱们上头说的 Lora 堆节点）、正反教唆词、宽高、批次；

K 采样器

基本上一样，没什么大的区别。

图片

图片

图片

很显然的看出减少了好多的团结，荒谬的高效而且使用体验上更接近WebUI

图片

这个插件可不啻用来帮咱们处置 Lora 模子的团结的问题，他能帮咱们简化好多节点的团结，包括咱们之前讲的多个 ControlNet 使用，也能减少团结身手。

ComfyUI平台上安设并成立Insightface

Insightface是comfyui荒谬垂死的插件，莫得insightface咱们的IP-adapter或者InstantID都用不了，是以群众一定要安设上。

手动安设方法 第一步：下载InsightFace文献

领先，打听以下GitHub仓库：

https://github.com/Gourieff/Assets/tree/main/Insightface

在这个仓库中，你不错看到多个版块的InsightFace文献。阐发你的Python版块选定相应的文献下载。举例，要是你的Python版块是3.10，则下载对应的文献。

图片

第二步：查抄Python版块

要检察你的Python版块，不错插足ComfyUI的虚构Python环境。双击虚构环境图标，翻开末端窗口。在末端中，你不错看到Python版块号。

图片

图片

第三步：下载并安设 选定下载旅途：将下载的文献保存到刚刚翻开python.exe同级目次中，确保旅途中不包含中翰墨符，以幸免潜在的诞妄。

图片

插足ComfyUI根目次：翻开末端，输入大呼行插足ComfyUI的根目次。

咱们输入以下大呼

python.exe -m pip install insightface

如之前安设失败请先卸载：

python.exe -m pip uninstall insightface

然后更新pip：

python.exe -m pip install -U pip

通过whl文献从头安设InsightFace：

python.exe -m pip install insightface-0.7.3-cp311-cp311-win_amd64.whl

安设收效后咱们的python_embeded文献夹内就会有insightface文献

图片

秋叶启动器安设方法

使用秋叶启动器安设就比较毛糙了，班师按下图身手操作即可。要是秋叶启动器安设失败亦然不错用上头的手动方法安设的

图片

comfy系列著述请到：都备开源的专科东说念主工智能时候论坛 本站仅提供存储作事，统共内容均由用户发布，如发现存害或侵权内容，请点击举报。