用ComfyUI安装可图Kolors大模型做手机壁纸

一、Kolors简介

国内科技公司快手在人工智能领域取得了显著进展，特别推出了「可图 Kolors」这一开源模型，它在图像生成质量上超越了SD3，与Midjourney v6模型相媲美，并支持中文提示词识别与生成中文字符，成为国产AI绘画模型的佼佼者。
在这里插入图片描述

Kolors模型亮点：

基于潜在扩散技术：Kolors在数十亿文本-图像对上训练，擅长生成高质量人像图片。
中文提示词理解：Kolors能准确理解中文提示词，包括复杂对象、颜色和位置关系。
中文字符生成：支持生成多种字体的中文字符，包括黑体、手写、书法等，准确度高。
本土化元素呈现：Kolors对中国元素如长城、故宫等有出色表现，满足本土化需求。
性能评估：在FlagEval模型排行榜中位列第二，仅次于DALL·E 3。

使用Kolors模型：

用户可在Huggingface平台免费体验Kolors的图像生成效果，几秒内即可得到结果。

二、ComfyUI集成Kolors模型：

ComfyUI社区迅速响应，提供了ComfyUI-KwaiKolorsWrapper插件，使Kolors模型在本地得以应用。但需注意，Kolors目前限于学术研究使用，商用需注册。

安装步骤简述：

通过ComfyUI Manager安装KwaiKolorsWrapper插件。
一般直接git clone 可能下载比较慢，如果使用代理安装可能会出现下面的错误。
1. 命令行代理配置：如果您的网络需要通过代理访问互联网，您可以在命令行中设置代理。例如：
```
export HTTPS_PROXY=http://proxyserver:port
export HTTP_PROXY=http://proxyserver:port
git clone https://github.com/kijai/ComfyUI-KwaiKolorsWrapper.git
```
  替换proxyserver和port为您的代理服务器地址和端口。
2. 使用SSH方式克隆：如果 HTTPS 方式有问题，您可以尝试使用 SSH 方式来克隆仓库：
```
git clone git@github.com:kijai/ComfyUI-KwaiKolorsWrapper.git
```
  这需要您在本地配置 SSH 密钥，并将其添加到 GitHub 账户中。
  
  我这里就直接使用第2种安装了。
在 ComfyUI文件夹中地址栏输入cmd打开终端，安装依赖项：

运行 pip install -r requirements.txt。

或者portable安装
```
python_embeded\python.exe -m pip install -r ComfyUI\custom_nodes\ComfyUI-KwaiKolorsWrapper\requirements.txt
```

在这里插入图片描述

安装完成运行run_nvidia_gpu.bat即可

在ComfyUI-KwaiKolorsWrapper\examples文件夹中，导入 kolors_example 工作流到 ComfyUI 中，这个工作流中的节点都是 Kolors 专属的。
工作流打开后，如果点击生成，后台会自动下载所需的各种模型文件，但是容易出错，推荐从我的网盘下载modes下载diffusers\Kolors和vae模型文件，分别放到根目录的 ComfyUI\models 文件夹中即可。
根据显存容量选择合适的模型精度：fp16（13G以上）、8bit（8G以上）或4bit（4G以上）。

模型节点功能：

**(Down)load Kolors Model 😗*加载Kolors模型，选择对应精度加载Kwai-Kolors/Kolors大模型。默认fp16精度
(Down)load ChatGLM3 Model：：加载 ChatGLM3 文本编码器。不同的模型需要选择不同的精度，对应关系为：fp16-fp16；quan8-8bit；quna4-4bit。
**Kolors Text Encode：**提示词输入框，如果在提示词后加上丨小符号，可以隔离提示词，同时生成多张图像；
**Kolors Sampler：**推荐使用 1024 分辨率，其余保持默认即可；
Load VAE：：可以使用 sdxl vae。。

快手的Kolors模型不仅在技术上取得了突破，更在本土化和用户体验上展现了其独特价值。随着官方对Kolors的持续优化和新应用的开发，包括 ControlNet、IP-Adapter 和 LCM 等，我们有理由期待它在AI绘画领域的更多创新与应用。

Kolors模型
ComfyUI Kolors插件

ChatGLM3模型库 git克隆下载更快

git clone https://www.modelscope.cn/AI-ModelScope/ChatGLM3-safetensors.git

国内网络从以上魔搭社区下载，速度更快。

也可以从我的百度网盘整合包地址下载：下载链接

三、实际使用

方案

用户要用可图大模型生成手机壁纸，最直接的有两种方案。

1、直接固定尺寸576 * 1024

2、生成1024 * 1024，然后裁剪成576 * 1024

下面是用第二种方案生成手机壁纸的绘图效果：

在这里插入图片描述

可以看出用可图来替代MJ基本是可行的，成本更低。

生成手机壁纸中的问题

1、中文理解在两种尺寸下会有差异
在用kolors做手机壁纸时，客户说效果不好，有些会变形，缺少重要元素。我测试了一下，确实用9：16生成的效果跟1：1的默认生成图片是有区别的，我用中文生成座山雕，1：1生成的是鸟，而9：16默认生的座山雕这个人。我又测试了几个，没有1:1效果好，然后我把1：1的图片加一个缩放从中间裁剪的成9：16，这样可能会更好一些吧。所以上图是生成1：1的图后，从中间裁剪成9：16，虽然有时候会把关键的元素裁掉，但是这个效果相对来说是比较好的。
在这里插入图片描述
2、生成图片效果会有差异
再画两条金鱼看一下。9：16下，鱼不在水里了，抽卡其他图片，也会有所差异，大家可以试一下。

也用过其他方案处理测试，比如放大后插补等，效果都不太好。暂时先用两台服务器分别使用两种方案绘图，过段时间看看大部分客户绘图的要求是什么样的，再来固定方案。不知道大家有什么更好的方案？