一、介绍

ControlNet 是一种神经网络结构，通过添加额外条件来控制扩散模型。通俗来说就是，就是能控制图片生成。让基础大模型以controlnet为模板进行绘画。ControlNet包含多种控制方式，有姿态控制、线稿上色、建筑渲染、图片放大、涂鸦绘图、色块绘图等。

二、容器构建说明

本文档针对ComfyUI进行部署使用，因此在正式部署之前需要部署ComfyUI

1. 部署ComfyUI

（1）使用命令克隆ComfyUI

git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI

（2）安装 conda（如已安装则跳过）

下面需要使用 Anaconda 或 Mimiconda 创建虚拟环境，可以输入 conda --version 进行检查。下面是 Mimiconda 的安装过程：

• 下载 Miniconda 安装脚本

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

• 运行安装脚本

bash Miniconda3-latest-Linux-x86_64.sh

• 遵循安装提示并初始化

按 Enter 键查看许可证条款，阅读完毕后输入 yes 接受条款，安装完成后，脚本会询问是否初始化 conda 环境，输入 yes 并按 Enter 键。

• 运行 source ~/.bashrc 命令激活 conda 环境
• 再次输入 conda --version 命令来验证是否安装成功，如果出现类似 conda 4.10.3 这样的输出就成功了。

（3）创建虚拟环境

输入下面的命令：

conda create -n comfyui python=3.10
conda activate comfyui

（4）安装pytorch

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121

（5）安装项目依赖

pip install -r requirements.txt

此时所需环境就已经搭建完成，通过下面命令进行启动：

python main.py

访问网址得到类似下图界面即表示成功启动：

2.部署ComfyUI-Controlnet

（1）下载模型

Controlnet 模型下载

ControlNet 模型放置在 ComfyUI/models/controlnet/ 文件夹下

模型主页： lllyasviel/ControlNet-v1-1 位于 main (huggingface.co)

点击上面链接，访问 Hugging Face 下载模型。首次访问该页面时，可能需要同意用户协议才能看到模型下载页。

进入网页后可以看多很多模型，这些模型都具有不同功能：

如果需要功能全面的controlnet那么可以点击下图中的位置将全部模型文件克隆，也可以根据自己条件选择下载：

除此之外，contorlnet也提供了量化版的模型，如果又需要controlnet功能多，又要考虑内存小，那么又fp16 safetensors模型，下载地址：comfyanonymous/ControlNet-v1-1_fp16_safetensors at main (huggingface.co)，如下图：

（2）基础大模型下载

基础放置在 models/Chekpoint/ 文件夹下

基础模型就可以根据自己的需要进行下载了，比如：SD1.5、SD3、SDXL、FLUX、Anything-V3等等。这些模型在各大模型网站均有比如Hugging Face、C站、魔搭等，我们以hugging face为例：

访问 Hugging Face ，搜索模型：

（3）vae模型下载(可自行选择其它模型）

vae模型放置在  ComfyUI/models/vae/ 文件夹下

模型主页： stabilityai/sd-vae-ft-mse at main (huggingface.co)

点击上面链接，访问 Hugging Face 下载模型，下图中的模型选一个下载。

（2）获取工作流

工作流可访问ControlNet 和 T2I 适配器示例 |ComfyUI_examples (comfyanonymous.github.io)获取，如下：

3. 拓展插件安装（可选）

（1）下载manager管理器

manager 是一个用来加强ComfyUI可用性的扩展，提供了对ComfyUI各种自定义节点的安装、删除、禁用、启用等管理功能。同时还提供了中心功能和便利功能，用来访问 ComfyUI 中各种信息。

cd /ComfyUI/custom_nodes
git clone https://github.com/ltdrdata/ComfyUI-Manager.git

成功安装之后重启界面会出现一个“Manager”如图：

（2）界面汉化插件

git clone https://github.com/AIGODLIKE/AIGODLIKE-ComfyUI-Translation.git

下载文件之后需要重新启动，重启模型之后：

设置一次之后可点击图中框选出的选项进行语言的切换：

（3）中文提示词插件安装

cd /ComfyUI/custom_nodes
git clone https://github.com/thisjam/comfyui-sixgod_prompt.git

然后重启ComfyUI后看到下图的小标志就表示可以了：

使用方法：双击页面，在搜索框中搜索“six”即可出现，点击sixGodPrompts，此时出现的就是提示词的中文输入框可以替代自带的clip输入框，可点击左下角的小标或按“AIT”+“q”打开和隐藏。

使用方法如下：

点击此处，立即体验Comfy UI-ControlNet！