社区版Dify 轻松实文生图,Dify+LLM+ComfyUI
- Dify 安装可参考这里
- ComfyUI 其实 比 WebUI更简单更实用
- Dify+ComfyUI
- Dify+LLM
- 1. Qwen 通义千问大模型系列
- 2. OpenAI大模型系列
- 3. 本地Ollama搭建
- Dify+LLM+ComfyUI
Dify 安装可参考这里
这是一个在Dify上实现 文生图的教程,如果你还没有安装社区版Dify,可以参考我这一篇:Dify安装时会遇到的网络问题,已成功安装
并且欢迎关注我的 社区版 Dify 开发专栏
ComfyUI 其实 比 WebUI更简单更实用
SD 是 当今 非常 流行的文生图主流模型了,在其中,最常用的两个UI是WebUI 和ComfyUI 安装也非常简单,
- Windows 用户可以找 秋叶大神的安装包,在上面有完整的管理,自己找一下,设置下0.0.0.0访问和端口。
- Linux,直接到 ComfyUI github官网的地址按照指示安装环境即可。
PS: 可以创建一个conda 环境的,因此要快速安装,自行先配好国内conda 清华源镜像 就快很多了,如果你有安装过torch 环境,甚至可以直接克隆 conda 环境后 再安装,请参考:
conda create -n env_name --clone exist_env_name
conda activate your_env
cd your path-to-comfyui
pip install -r requirements.txt
简单吗?ComfyUI 就安装好了,如何启动 ?
一般来说,直接:
python main.py
然后输入你的网络地址,就可以本地 127.0.0.1 或者 localhost 调用了,但是,现在是要给到Dify 去调用,ComfyUI 要把网给出去,设置一下0.0.0.0就行。
sudo python main.py --listen 0.0.0.0
Dify+ComfyUI
新手请先熟悉三个东西,即可上手!
这里是 介绍 Dify+LLM+ComfyUI, 我尽量说 完整点,详细 需要自己去找一下。第一个是custom_nodes,这是一个ComfyUI 工作流中的节点调用,如果你需要安装新的节点(实现更加高阶的功能),是在这个文件夹里面存储的。
第二个是models,里面存放的就是你的各种模型文件,新手先熟悉,checkpoints, loras ,很简单,直接下载文件 丢到里面存就行。
第三个,comfyui-manager
这是最重要的一个,之所以我在最后说,是 因为这个东西跟前两个都有关!!请参考 ComfyUI Manger 管理工具安装
这个工具可以直接安装custom_nodes 和 模型文件!!!
好了 ComfyUI 介绍完毕,下面介绍Dify 如何调用LLM 。
Dify+LLM
1. Qwen 通义千问大模型系列
去 阿里云 申请 一个API 接口,然后在设置上配置API 就好 。这种教程很多 ,这里不再多说。
2. OpenAI大模型系列
去 搞 一个API 接口,然后在设置上配置 API 就好 。这种教程很多 ,这里不再多说。
3. 本地Ollama搭建
我觉得本地的大模型比较实在,因为在本地运行,开源免费,Ollama可直接提供 很多大模型给你选择。你需要按照以下步骤来处理:
-
按照Ollama官方的指示,装好ollama
-
然后去Ollama library 官网下载你想拉下 的大模型 ,或者你去找一些GGUF大模型文件,Ollama加载GGUF文件到本地,方法看这里。
-
只需要执行这个就可看到你pull 下来的 模型文件。
ollama list
同理你的ollama 是提供给Dify 来调用的,因此ollama 也要设置为 公网访问 即0.0.0.0。
ollama 配置0.0.0.0详细教程!
sudo vi /etc/systemd/system/ollama.service
在里面加上,也可 换端口:
Environment="OLLAMA_HOST=0.0.0.0:11434"
:wq
我的详细的 ollama.service 文件时这样的,有个地方需要你确认就是,里面的User,和Group怎么写!
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/local/bin/ollama serve
User=用户名(注意如果是ollama 需要 改!!!)
Group=用户分组
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0:11224"
[Install]
WantedBy=default.target
上面的用户名不知道的话请先启动ollama 服务,
ollama serve
然后,
ls -l ~/.ollama/models
会 出现 , 将下面的user 和group 加入到ollama.service文件
drwxr-xr-x 2 User Group 4096 12月 25 17:56 blobs
drwxr-xr-x 3 User Group 4096 12月 25 16:07 manifests
为什么要这样做?因为你安装ollama的时候帮你注册了一个名叫ollama的用户(User),你需要确认你的 service 文件上配置的是 ls -l ~/.ollama/models 的用户!,而不是ollama
否则,会出现你调不出 api的情况。
好了下一步就是,在网页上打开:
http://your_ip_addr:11434/api/tags
出现了你 ollama list 的模型,同步了就是正确的配置好了!
Dify+LLM+ComfyUI
新建一个chatflow 空白工作流。
- LLM 导入,去设置那里填上你的模型文件 ,和API地址就行。
LLM 节点上面写上一些大模型的需求,将它改为英文的promp即可
ComfyUI 的节点,只需要右键新建节点,然后 搜工具 ComfyUI
第一次调用会教你输入API,你需要输入前面的ComfyUI 的地址即可!
http://your_ip_addr:8188
然后这样调 用 里面的SD模型:
让大伙感受下,A800 的SDXL 20 次迭代只需2S !
好了,发布到应用上:
至此,就完成了Dify上的文生图 中文输入教程。工作流 之间的连接 需要自行去学习下,加油。
上面的LLM给你提供了很大的创造的可能,可以自行搭建有趣的应用 !