一、介绍

Kolors 是快手 Kolors 团队基于潜在扩散的大规模文本转图片生成模型。经过数十亿个文本-图片对的训练，Kolors 在视觉质量、复杂语义准确性和中英文文本渲染方面均比开源和闭源模型具有显著优势。此外，Kolors 支持中英文输入，在理解和生成中文特定内容方面表现出色。有关更多详细信息，请参阅此技术报告。

具有以下特点

• 出色的视觉质量 ：Kolors 能够生成具有高分辨率和逼真度的图像。例如在生成自然风光、人物肖像等方面，能够呈现出令人惊艳的效果。
• 复杂语义准确性 ：能够准确理解和表达复杂的语义信息，避免生成模糊或错误的图像，当处理包含多个元素和关系的文本描述时，仍能生成符合要求的准确图像。
• 中英文文本渲染能力 ：无论是中文还是英文的文本输入，都能有效地转化为高质量的图片，满足不同语言用户的需求。

要求：

显存：12G以上（主要是ChatGLM3编码占用）

二、容器构建说明

本文档针对ComfyUI进行部署使用，因此在正式部署之前需要部署ComfyUI

1. 部署ComfyUI

（1）使用命令克隆ComfyUI

git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI

（2）安装 conda（如已安装则跳过）

下面需要使用 Anaconda 或 Mimiconda 创建虚拟环境，可以输入 conda --version 进行检查。下面是 Mimiconda 的安装过程：

• 下载 Miniconda 安装脚本

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

• 运行安装脚本

bash Miniconda3-latest-Linux-x86_64.sh

• 遵循安装提示并初始化

按 Enter 键查看许可证条款，阅读完毕后输入 yes 接受条款，安装完成后，脚本会询问是否初始化 conda 环境，输入 yes 并按 Enter 键。

• 运行 source ~/.bashrc 命令激活 conda 环境
• 再次输入 conda --version 命令来验证是否安装成功，如果出现类似 conda 4.10.3 这样的输出就成功了。

（3）创建虚拟环境

输入下面的命令：

conda create -n comfyui python=3.10
conda activate comfyui

（4）安装pytorch

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121

（5）安装项目依赖

pip install -r requirements.txt

此时所需环境就已经搭建完成，通过下面命令进行启动：

python main.py

访问网址得到类似下图界面即表示成功启动：

2.部署ComfyUI-Kolors

(1)下载模型

UNET 模型下载

unet 模型放置在 models/unet/ 文件夹下

模型主页： https://huggingface.co/Kwai-Kolors/Kolors

点击上面链接，访问 Hugging Face 下载模型。首次访问该页面时，可能需要同意用户协议才能看到模型下载页。

进入网页后点击unet文件夹：有两个模型，根据自己条件选自下载：

或者直接点击地址下载：

下载地址： https://huggingface.co/Kwai-Kolors/Kolors/resolve/main/unet/diffusion_pytorch_model.fp16.safetensors

（2）ChatGLM3 模型下载

chatglm3 放置在 models/LLM/ 文件夹下

模型主页： https://huggingface.co/Kijai/ChatGLM3-safetensors

同理，点击上面链接，访问 Hugging Face 根据自己条件选自下载：

下载地址： https://huggingface.co/Kijai/ChatGLM3-safetensors/resolve/main/chatglm3-fp16.safetensors

（3）VAE模型

可以使用sdxl的vae模型，访问访问 Hugging Face搜索“stability/sdxl_vae”

点击进入下载下图模型到 /ComfyUI/models/VAE下：

（2）安装项目

如果已经安装“ComfyUI-Manager”管理器，则可通过该节点安装项目，如下图：

点击进入后在①处分别搜索图中②和③节点然后安装

安装完成之后在路径 ComfyUI/custom_nodes/ComfyUI-Kolors-MZ/examples/中可找到各功能的工作流，基础文生图工作流为workflow_legacy.png，下载拖入界面即可：

其中还有其它工作流如下图：workflow_inpainting.png

以及工作流:workflow_ipa_faceid，但是使用不同功能的工作流时可能需要安装所需的节点和模型，如要使用如下图的工作流：

那就需要下载https://huggingface.co/Kwai-Kolors/Kolors-IP-Adapter-FaceID-Plus中的模型“ipa-faceid-plus.bin”到 models/ipadapter/路径下，以及将https://huggingface.co/Kwai-Kolors/Kolors-IP-Adapter-FaceID-Plus/resolve/main/clip-vit-large-patch14-336/pytorch_model.bin 下载到 models/clip_vision/

将https://huggingface.co/MonsterMMORPG/tools/resolve/main/antelopev2.zip 下载并解压到 models/insightface/models/antelopev2/*.onnx

如果部署中出现类似错误：Exception: No module named 'insightface'，直接安装即可：

3. 拓展插件安装（可选）

（1）下载manager管理器

manager 是一个用来加强ComfyUI可用性的扩展，提供了对ComfyUI各种自定义节点的安装、删除、禁用、启用等管理功能。同时还提供了中心功能和便利功能，用来访问 ComfyUI 中各种信息。

cd /ComfyUI/custom_nodes
git clone https://github.com/ltdrdata/ComfyUI-Manager.git

成功安装之后重启界面会出现一个“Manager”如图：

（2）界面汉化插件

git clone https://github.com/AIGODLIKE/AIGODLIKE-ComfyUI-Translation.git

下载文件之后需要重新启动，重启模型之后：

设置一次之后可点击图中框选出的选项进行语言的切换：

（3）中文提示词插件安装

cd /ComfyUI/custom_nodes
git clone https://github.com/thisjam/comfyui-sixgod_prompt.git

然后重启ComfyUI后看到下图的小标志就表示可以了：

使用方法：双击页面，在搜索框中搜索“six”即可出现，点击sixGodPrompts，此时出现的就是提示词的中文输入框可以替代自带的clip输入框，可点击左下角的小标或按“AIT”+“q”打开和隐藏。

使用方法如下：

点击此处，立即体验ComfyUI-Kolors！