社区版Dify 轻松实现文生图,Dify+LLM+ComfyUI

社区版Dify 轻松实文生图,Dify+LLM+ComfyUI

    • Dify 安装可参考这里
    • ComfyUI 其实 比 WebUI更简单更实用
    • Dify+ComfyUI
    • Dify+LLM
      • 1. Qwen 通义千问大模型系列
      • 2. OpenAI大模型系列
      • 3. 本地Ollama搭建
    • Dify+LLM+ComfyUI

在这里插入图片描述

Dify 安装可参考这里

这是一个在Dify上实现 文生图的教程,如果你还没有安装社区版Dify,可以参考我这一篇:Dify安装时会遇到的网络问题,已成功安装
并且欢迎关注我的 社区版 Dify 开发专栏

ComfyUI 其实 比 WebUI更简单更实用

SD 是 当今 非常 流行的文生图主流模型了,在其中,最常用的两个UI是WebUI 和ComfyUI 安装也非常简单,

  • Windows 用户可以找 秋叶大神的安装包,在上面有完整的管理,自己找一下,设置下0.0.0.0访问和端口。
  • Linux,直接到 ComfyUI github官网的地址按照指示安装环境即可。
    PS: 可以创建一个conda 环境的,因此要快速安装,自行先配好国内conda 清华源镜像 就快很多了,如果你有安装过torch 环境,甚至可以直接克隆 conda 环境后 再安装,请参考:
conda create -n  env_name  --clone  exist_env_name 
conda activate  your_env
cd your path-to-comfyui
pip install -r requirements.txt

简单吗?ComfyUI 就安装好了,如何启动 ?
一般来说,直接:

python main.py 

然后输入你的网络地址,就可以本地 127.0.0.1 或者 localhost 调用了,但是,现在是要给到Dify 去调用,ComfyUI 要把网给出去,设置一下0.0.0.0就行。

sudo python main.py --listen 0.0.0.0

在这里插入图片描述

Dify+ComfyUI

新手请先熟悉三个东西,即可上手!
在这里插入图片描述
这里是 介绍 Dify+LLM+ComfyUI, 我尽量说 完整点,详细 需要自己去找一下。第一个是custom_nodes,这是一个ComfyUI 工作流中的节点调用,如果你需要安装新的节点(实现更加高阶的功能),是在这个文件夹里面存储的。
第二个是models,里面存放的就是你的各种模型文件,新手先熟悉,checkpoints, loras ,很简单,直接下载文件 丢到里面存就行。
在这里插入图片描述

第三个,comfyui-manager
这是最重要的一个,之所以我在最后说,是 因为这个东西跟前两个都有关!!请参考 ComfyUI Manger 管理工具安装
这个工具可以直接安装custom_nodes 和 模型文件!!!
在这里插入图片描述
好了 ComfyUI 介绍完毕,下面介绍Dify 如何调用LLM 。

Dify+LLM

1. Qwen 通义千问大模型系列

去 阿里云 申请 一个API 接口,然后在设置上配置API 就好 。这种教程很多 ,这里不再多说。
在这里插入图片描述

2. OpenAI大模型系列

去 搞 一个API 接口,然后在设置上配置 API 就好 。这种教程很多 ,这里不再多说。
在这里插入图片描述

3. 本地Ollama搭建

我觉得本地的大模型比较实在,因为在本地运行,开源免费,Ollama可直接提供 很多大模型给你选择。你需要按照以下步骤来处理:

  1. 按照Ollama官方的指示,装好ollama

  2. 然后去Ollama library 官网下载你想拉下 的大模型 ,或者你去找一些GGUF大模型文件,Ollama加载GGUF文件到本地,方法看这里。

  3. 只需要执行这个就可看到你pull 下来的 模型文件。

ollama list

同理你的ollama 是提供给Dify 来调用的,因此ollama 也要设置为 公网访问 即0.0.0.0。
ollama 配置0.0.0.0详细教程!

sudo vi /etc/systemd/system/ollama.service

在里面加上,也可 换端口:

Environment="OLLAMA_HOST=0.0.0.0:11434"
:wq

我的详细的 ollama.service 文件时这样的,有个地方需要你确认就是,里面的User,和Group怎么写!

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=用户名(注意如果是ollama 需要 改!!!)
Group=用户分组
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0:11224"
[Install]
WantedBy=default.target

上面的用户名不知道的话请先启动ollama 服务,

ollama serve

然后,

ls -l ~/.ollama/models

会 出现 , 将下面的user 和group 加入到ollama.service文件

drwxr-xr-x 2 User Group 4096 12月 25 17:56 blobs
drwxr-xr-x 3 User Group 4096 12月 25 16:07 manifests

为什么要这样做?因为你安装ollama的时候帮你注册了一个名叫ollama的用户(User),你需要确认你的 service 文件上配置的是 ls -l ~/.ollama/models 的用户!,而不是ollama
否则,会出现你调不出 api的情况。
好了下一步就是,在网页上打开:

http://your_ip_addr:11434/api/tags

出现了你 ollama list 的模型,同步了就是正确的配置好了!

Dify+LLM+ComfyUI

新建一个chatflow 空白工作流。

  • LLM 导入,去设置那里填上你的模型文件 ,和API地址就行。
    LLM 节点上面写上一些大模型的需求,将它改为英文的promp即可
    在这里插入图片描述
    ComfyUI 的节点,只需要右键新建节点,然后 搜工具 ComfyUI
    在这里插入图片描述
    第一次调用会教你输入API,你需要输入前面的ComfyUI 的地址即可!
http://your_ip_addr:8188

然后这样调 用 里面的SD模型:
在这里插入图片描述
让大伙感受下,A800 的SDXL 20 次迭代只需2S !在这里插入图片描述
好了,发布到应用上:
在这里插入图片描述
至此,就完成了Dify上的文生图 中文输入教程。工作流 之间的连接 需要自行去学习下,加油。
上面的LLM给你提供了很大的创造的可能,可以自行搭建有趣的应用 !

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/943136.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Docker部署Sentinel

一、简介 是什么:面向分布式、多语言异构化服务架构的流量治理组件 能干嘛:从流量路由、流量控制、流量整形、熔断降级、系统自适应过载保护、热点流量防护等多个维度来帮助开发者保障微服务的稳定性 官网地址:https://sentinelguard.io/zh-c…

实用工具推荐----Doxygen使用方法

目录 目录 1 软件介绍 2 Doxygen软件下载方法 3 Doxygen软件配置方法 4 标准注释描述 4.1 块注释 和 特殊描述字符 4.1.1 函数描述示例 4.1.2结构体数组变量示例 特别注意: 4.2单行注释 4.2.1 单个变量注释示例 特别注意: 4.2.2对于枚举变量…

并发编程 - 死锁的产生、排查与解决方案

在多线程编程中,死锁是一种非常常见的问题,稍不留神可能就会产生死锁,今天就和大家分享死锁产生的原因,如何排查,以及解决办法。 线程死锁通常是因为两个或两个以上线程在资源争夺中,形成循环等待&#xf…

云轴科技ZStack获评OpenCloudOS社区2024年度优秀贡献单位

近日,由 OpenCloudOS 社区主办的 2024 OpenCloudOS 年会在北京成功召开。本次大会以“稳建基石,共创新篇”为主题,汇集了业界顶级技术专家与行业领袖,共同探讨下一代操作系统的建设与未来。云轴科技ZStack作为OpenCloudOS 社区的重…

clickhouse解决suspiciously many的异常

1. 问题背景 clickhouse安装在虚拟机上,持续写入日志时,突然关机,然后重启,会出现clickhouse可以正常启动,但是查询sql语句,提示suspiciously many异常,如图所示 2. 问题修复 touch /data/cl…

从零开始k8s-部署篇(未完待续)

从零开始k8s 1.部署k8s-部署篇 1.部署k8s-部署篇 本次部署完全学习于华子的博客点击此处进入华子主页 K8S中文官网:https://kubernetes.io/zh-cn 笔者从零开始部署的k8s,部署前置条件为 1.需要harbor仓库,存放镜像,拉取镜像&am…

Dots 常用操作

游戏中有多个蚂蚁群落,每个蚂蚁属于一个群落,如何设计数据结构? 方法1:为蚂蚁组件添加一个属性 ID,会造成逻辑中大量分支语句,如果分支语句逻辑不平衡可能带来 Job 调度问题,每个蚂蚁会有一份蚂…

如何通过 Kafka 将数据导入 Elasticsearch

作者:来自 Elastic Andre Luiz 将 Apache Kafka 与 Elasticsearch 集成的分步指南,以便使用 Python、Docker Compose 和 Kafka Connect 实现高效的数据提取、索引和可视化。 在本文中,我们将展示如何将 Apache Kafka 与 Elasticsearch 集成以…

深入浅出:AWT的基本组件及其应用

目录 前言 1. AWT简介 2. AWT基本组件 2.1 Button:按钮 2.2 Label:标签 ​编辑 2.3 TextField:文本框 2.4 Checkbox:复选框 2.5 Choice:下拉菜单 2.6 List:列表 综合案例 注意 3. AWT事件处理 …

Go Energy 跨平台框架 v2.5.1 发布

Energy 框架 是Go语言基于CEF 和 LCL 开发的跨平台 GUI 框架, 具体丰富的系统原生 UI 控件集, 丰富的 CEF 功能 API,简化且不失功能的 CEF 功能 API 使用。 特性? 特性描述跨平台支持 Windows, macOS, Linux简单Go语言的简单特性,使用简单…

JS 异步 ( 一、异步概念、Web worker 基本使用 )

文章目录 异步代码异步执行概念ES6 之前的异步 Web worker 异步 代码异步执行概念 通常代码是自上而下同步执行的,既后面的代码必须等待前面的代码执行完才会执行,而异步执行则是将主线程中的某段代码交由子线程去执行,当交给子线程后&…

机器学习(二)-简单线性回归

文章目录 1. 简单线性回归理论2. python通过简单线性回归预测房价2.1 预测数据2.2导入标准库2.3 导入数据2.4 划分数据集2.5 导入线性回归模块2.6 对测试集进行预测2.7 计算均方误差 J2.8 计算参数 w0、w12.9 可视化训练集拟合结果2.10 可视化测试集拟合结果2.11 保存模型2.12 …

Java字符串操作利器:StringBuffer与StringBuilder类详解

在处理字符串变更时,StringBuffer和StringBuilder类是优选工具。与String类不同,StringBuffer和StringBuilder允许对象被多次修改,而不会生成新的未使用对象。 StringBuilder类自Java 5起引入,其与StringBuffer的主要区别在于Stri…

软件确认测试报告的内容和作用简析

软件确认测试报告是对软件确认测试过程及结果的正式记录,是评估软件质量的重要依据。它不仅对开发团队起到反馈作用,更是决策层判断软件是否可以交付的重要参考。 一、软件确认测试报告包括的内容   1、测试目的:明确此次测试的目的和所要…

结构体(初阶)

结构体: 结构体类型的声明 结构体初始化 结构成员访问 结构体传参 1.结构体的声明 1.1结构的基础知识 结构是一些值的集合,这些值称为成员变量。结构的每个成员可以是不同类型的变量。 1.2结构的声明 struct tag { member - list; }variable-lis…

详解VHDL如何编写Testbench

1.概述 仿真测试平台文件(Testbench)是可以用来验证所设计的硬件模型正确性的 VHDL模型,它为所测试的元件提供了激励信号,可以以波形的方式显示仿真结果或把测试结果存储到文件中。这里所说的激励信号可以直接集成在测试平台文件中,也可以从…

React 第二十节 useRef 用途使用技巧注意事项详解

简述 useRef 用于操作不需要在视图上渲染的属性数据,用于访问真实的DOM节点,或者React组件的实例对象,允许直接操作DOM元素或者是组件; 写法 const inpRef useRef(params)参数: useRef(params),接收的 …

SQL子查询和having实例

有2个表如下;一个是站点信息,一个是站点不同时间的访问量, 现在要获取总访问量大于200的网站; 先执行如下sql,不包括having子句看一下,获得的是所有站点的总访问量; 这应是一个子查询&#xf…

【seatunnel】数据同步软件安装

【seatunnel】数据同步软件安装 下载 wget https://dlcdn.apache.org/seatunnel/2.3.8/apache-seatunnel-2.3.8-bin.tar.gz wget https://dlcdn.apache.org/seatunnel/seatunnel-web/1.0.2/apache-seatunnel-web-1.0.2-bin.tar.gz1、安装seatunnel Server 解压 tar zxvf ap…

散斑/横向剪切/迈克尔逊/干涉条纹仿真技术分析

摘要 本博文提供了多种数据类型的干涉条纹仿真,并展示了它们对应的散斑干涉条纹。还分别给出了横向剪切干涉以及剪切散斑干涉条纹的仿真。 一、迈克尔逊干涉与散斑干涉仿真 下图为干涉条纹与对应的散斑干涉条纹的仿真示意图。其中,干涉条纹可认为是源…