【ComfyUI】Stable Diffusion 3 加Controlnet

基于 instantX-research/diffusers_sd3_control: 🤗 Diffusers: State-of-the-art diffusion models for image and audio generation in PyTorch and FLAX. (github.com)

和 

ZHO-ZHO-ZHO/ComfyUI-SD3-Medium-CN-Diffusers: ComfyUI SD3-Medium ControlNet(Diffusers) (github.com)

改的,这两个repo都有些问题,中间看提交记录,有好些人在参与改动,为了能跑的了,我分别fork了这两个分支, 在这里:

prodogape/ComfyUI-SD3-Medium-CN-Diffusers: ComfyUI SD3-Medium ControlNet(Diffusers) (github.com)

prodogape/diffusers_sd3_control: refactor name from "diffusers" to "diffusers_sd3_control" (github.com)

1. 先说怎么装

打开第一个橘色背景的repo:

prodogape/ComfyUI-SD3-Medium-CN-Diffusers: ComfyUI SD3-Medium ControlNet(Diffusers) (github.com)

按照Install这里的步骤安装

时间有限只写了手动安装的步骤,分4步:

(1)git 克隆 comfyui的节点

(2)下载hf的两个仓库的模型(一个controlnet一个sd3)

(3)修改sd3模型文件夹下的文件model_index.json,因为要安装的特殊版本的diffusers我改名为diffusers_sd3_control了

(4)安装diffusers_sd3_control

2. 工作流及效果

这个版本的实现应该还是有些问题的,可能跟control的百分比和control了不太对的部分有关

3. 上图的工作流(非API版本工作流)

{
  "last_node_id": 82,
  "last_link_id": 139,
  "nodes": [
    {
      "id": 77,
      "type": "CannyEdgePreprocessor",
      "pos": [
        -1756,
        -33
      ],
      "size": {
        "0": 315,
        "1": 106
      },
      "flags": {},
      "order": 2,
      "mode": 0,
      "inputs": [
        {
          "name": "image",
          "type": "IMAGE",
          "link": 133
        }
      ],
      "outputs": [
        {
          "name": "IMAGE",
          "type": "IMAGE",
          "links": [
            134,
            139
          ],
          "shape": 3,
          "slot_index": 0
        }
      ],
      "properties": {
        "Node name for S&R": "CannyEdgePreprocessor"
      },
      "widgets_values": [
        100,
        200,
        512
      ]
    },
    {
      "id": 82,
      "type": "PreviewImage",
      "pos": [
        -1753,
        110
      ],
      "size": {
        "0": 299.701171875,
        "1": 326.380859375
      },
      "flags": {},
      "order": 4,
      "mode": 0,
      "inputs": [
        {
          "name": "images",
          "type": "IMAGE",
          "link": 139
        }
      ],
      "properties": {
        "Node name for S&R": "PreviewImage"
      }
    },
    {
      "id": 80,
      "type": "PreviewImage",
      "pos": [
        -970,
        -40
      ],
      "size": {
        "0": 438.1802978515625,
        "1": 471.4967041015625
      },
      "flags": {},
      "order": 5,
      "mode": 0,
      "inputs": [
        {
          "name": "images",
          "type": "IMAGE",
          "link": 137
        }
      ],
      "properties": {
        "Node name for S&R": "PreviewImage"
      }
    },
    {
      "id": 74,
      "type": "LoadImage",
      "pos": [
        -2113,
        -24
      ],
      "size": {
        "0": 349.269775390625,
        "1": 459.3564147949219
      },
      "flags": {},
      "order": 0,
      "mode": 0,
      "outputs": [
        {
          "name": "IMAGE",
          "type": "IMAGE",
          "links": [
            133
          ],
          "shape": 3,
          "slot_index": 0
        },
        {
          "name": "MASK",
          "type": "MASK",
          "links": null,
          "shape": 3
        }
      ],
      "properties": {
        "Node name for S&R": "LoadImage"
      },
      "widgets_values": [
        "IMG_20240617_070212_131.jpeg",
        "image"
      ]
    },
    {
      "id": 76,
      "type": "SD3MCN_BaseModelLoader_Zho",
      "pos": [
        -1424,
        -42
      ],
      "size": {
        "0": 428.3705749511719,
        "1": 95.87933349609375
      },
      "flags": {},
      "order": 1,
      "mode": 0,
      "outputs": [
        {
          "name": "pipe",
          "type": "SD3MMODEL",
          "links": [
            132
          ],
          "shape": 3,
          "slot_index": 0
        }
      ],
      "properties": {
        "Node name for S&R": "SD3MCN_BaseModelLoader_Zho"
      },
      "widgets_values": [
        "stabilityai/stable-diffusion-3-medium-diffusers",
        "InstantX/SD3-Controlnet-Canny"
      ]
    },
    {
      "id": 78,
      "type": "SD3MCN_Generation_Zho",
      "pos": [
        -1436,
        94
      ],
      "size": {
        "0": 444.2547607421875,
        "1": 344.82293701171875
      },
      "flags": {},
      "order": 3,
      "mode": 0,
      "inputs": [
        {
          "name": "pipe",
          "type": "SD3MMODEL",
          "link": 132
        },
        {
          "name": "image",
          "type": "IMAGE",
          "link": 134
        }
      ],
      "outputs": [
        {
          "name": "IMAGE",
          "type": "IMAGE",
          "links": [
            137
          ],
          "shape": 3,
          "slot_index": 0
        }
      ],
      "properties": {
        "Node name for S&R": "SD3MCN_Generation_Zho"
      },
      "widgets_values": [
        "close-up of a young girl, masterpiece, best quality, photo, realistic, very aesthetic",
        "worst quality, low quality, toon",
        512,
        512,
        40,
        9,
        1,
        542410872807786,
        "randomize"
      ]
    }
  ],
  "links": [
    [
      132,
      76,
      0,
      78,
      0,
      "SD3MMODEL"
    ],
    [
      133,
      74,
      0,
      77,
      0,
      "IMAGE"
    ],
    [
      134,
      77,
      0,
      78,
      1,
      "IMAGE"
    ],
    [
      137,
      78,
      0,
      80,
      0,
      "IMAGE"
    ],
    [
      139,
      77,
      0,
      82,
      0,
      "IMAGE"
    ]
  ],
  "groups": [],
  "config": {},
  "extra": {
    "workspace_info": {
      "id": "-gBBQ2xIYibjLVAhj5iML"
    },
    "ds": {
      "scale": 1.3513057093104035,
      "offset": {
        "0": 2165.8774539604974,
        "1": 287.4375476041587
      }
    }
  },
  "version": 0.4
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/718893.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

JRebel-JVMTI [FATAL] Couldn‘t write to C:\Users\中文用户名-完美解决

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 热部署下载参考博客解决第一步第二步第三步:第四步: 热部署下载 下载后启动报错:JRebel-JVMTI [FATAL] Couldn’t write to C:\…

WebSocket实现消息实时通知

参考文档:万字长文,一篇吃透WebSocket:概念、原理、易错常识、动手实践、WebSocket 教程 1 背景 有一个需求,需要实现实时通信的功能,如果有新消息,后端会主动发送请求告知前端有新消息,需要前…

git Fork或者git clone克隆别人的项目到自己的仓库如何保持原仓库同步

一、问题描述 有时候我们会clone别人的项目到自己的仓库来进行二次开发,开发好之后提交到自己的仓库,如有原仓库有更新了,可以选择性的进行同步 二、解决方法 这里以ruoyi-vue-pro得前端项目来进行演示,创建一个目录,在目录下随便创建一个文…

入门Rabbitmq

1、什么是消息队列 消息队列:应用之间传递消息的方式,允许应用程序异步发送和接收消息,不需要连接对方 消息:文本字符串,对象.... 队列:存储数据。先进先出 2、应用场景 ①库存系统挂掉之后 MQ会等待&…

Ubuntuwin11双系统

一、准备工作 win11与ubuntu20.4双系统安装案例教程,先查看引导模式参数不服则不要安装否则会报异常 查看BIOS引导模式 查看磁盘分区格式 下载Ubuntu镜像 所有版本下载地址,我的华为云镜像ubuntu20.4这个版本地址

Hi3861 OpenHarmony嵌入式应用入门--启动流程

目录 BootLoader的启动与运行 Hi3861 RiSC-V boot 启动文件介绍 Loaderboot 启动过程 Flashboot代码介绍 printf串口配置 内核启动任务 BootLoader的启动与运行 Hi3861 RiSC-V boot 启动文件介绍 - Hi3861 的引导程序分为两部分,一部分是在芯片出厂时已经固…

服务器新硬盘分区、格式化和挂载

文章目录 参考文献查看了一下起点现状分区(base) ~ sudo parted /dev/sdcmklabel gpt(设置分区类型)增加分区 格式化需要先退出quit(可以)(base) / sudo mkfs.xfs /dev/sdc/sdc1(失败)sudo mkfs.xfs /dev/s…

Java基础学习-数组

目录 数组定义 注意点: 地址值是数组在内存中实际存储的地址。 案例遍历:遍历数组得到每一个元素,求数组里面所有数据和 案例:定义数组,遍历能被3整除的数字 案例:遍历一个数组,奇数将当前…

基于CentOS的全新Linux机器安装Jenkins并生成Allure报告

目录 一、安装Docker 二、安装Docker Compose 三、准备测试用例 四、配置docker-compose.yml 五、启动Jenkins 六、配置Jenkins和Allure插件 七、创建含pytest的Jenkins任务 一、安装Docker 在CentOS上,首先更新包管理工具并安装所需的包。 sudo yum update…

C++实现简单日历(win11日历)

📇文章目录 🚀实现目标🚀效果🚀计算上一个月的最后一天是周几🚀打印日历函数🚀完整代码 🚀实现目标 我们想要的效果: 1.布局类似 2.键盘按下←或者→会切换到下一个月(这…

Coursera耶鲁大学金融课程:Financial Markets 笔记Week 02

Financial Markets 本文是学习 https://www.coursera.org/learn/financial-markets-global这门课的学习笔记 这门课的老师是耶鲁大学的Robert Shiller https://en.wikipedia.org/wiki/Robert_J._Shiller Robert James Shiller (born March 29, 1946)[4] is an American econom…

Linux-远程访问及控制

一、SSH远程管理 SSH(Secure Shell)是一种安全通道协议,主要用来实现字符界面的远程登录、远程复制等功能。SSH 协议对通信双方的数据传输进行了加密处理,其中包括用户登录时输入的用户口令。与早期的 Telent(远程登录…

【设计模式深度剖析】【10】【行为型】【状态模式】

👈️上一篇:访问者模式 设计模式-专栏👈️ 文章目录 状态模式定义英文定义直译如何理解呢? 状态模式的角色Context(环境类)State(抽象状态类)ConcreteState(具体状态类&#xff09…

EXCEL数据导入HIVE

引言 本文将论述如何将Windows本地的excel表数据,导入到虚拟机Linux系统中的Hadoop生态中的Hive数据仓库中。 实验准备 DBeaver Hive3.1(Hadoop3.1) excel数据表 实验步骤 一、首先打开虚拟机,启动Hadoop,启动h…

71-TCP协议工作原理及实战

一 服务器端 #ifndef MAINWINDOW_H #define MAINWINDOW_H#include <QMainWindow> #include <QTcpServer> // 专门用于建立TCP连接并传输数据信息 #include <QtNetwork> // 此模块提供开发TCP/IP客户端和服务器的类QT_BEGIN_NAMESPACE namespace Ui { class M…

vscode字符多行自动增长插件。

多行字符自动增长插件CharAutoIncre 当你使用shiftalt选中了多行,并输入了’1’,这时这几行都变成了’1’. 这时你可以选中&#xff08;shift左键&#xff09;为’1’的这几行, 接下来按下shiftaltq此时’1’变为了’12345’自增长的样式。 同时本插件支持字符’a-z,A-Z’。 目…

windows环境下,怎么查看本机的IP、MAC地址和端口占用情况

1.输入ipconfig,按回车。即查看了IP地址&#xff0c;子码掩码&#xff0c;网关信息。 2.输入ipconfig/all,按回车。即查看了包含IP地址&#xff0c;子码掩码&#xff0c;网关信息以及MAC地址 3.我们有时在启动应用程序的时候提示端口被占用&#xff0c;如何知道谁占有了我们需要…

「布道师系列文章」宝兰德徐清康解析 Kafka 和 AutoMQ 的监控

作者&#xff5c;北京宝兰德公司解决方案总监徐清康 01 前言 当我们使用一个软件的时候&#xff0c;经常都会问这个软件怎么监控、监控他的哪些指标&#xff1f;Kafka 的监控挺长时间都是一个老大难的问题&#xff0c;社区在监控方面一直没有投入太大的精力。如果要实现一…

深入解析OOM问题与解决方案:一次实战排查经历

近日&#xff0c;公司服务突然出现连续不断的Full GC&#xff08;Full Garbage Collection&#xff0c;全垃圾回收&#xff09;&#xff0c;在短短时间内发生了四次&#xff0c;之后服务竟然自动重启。这一异常情况让我们团队倍感困扰&#xff0c;因为在系统监控中&#xff0c;…

Spring Boot集成vaadin快速入门demo

1.什么是vaadin&#xff1f; Vaadin 是用于构建单页 Web 应用的流行 Java 框架。 它由一家专门从事富 Internet 应用设计和开发的芬兰公司开发。 估计有 15 万开发者使用 Vaadin。 它的开发始于 2002 年。 Vaadin 框架特性 以下是 Vaadin 特性的列表&#xff1a; 这是一个 J…