SDXL1.0大模型安装与使用

img
个人网站:

文章目录

    • 前言
    • 一、模型下载使用(简单体验)
    • 二、模型下载使用(繁琐版)
    • 三、ComfyUI

前言

使用 Stable Diffusion XL,您可以使用较短的提示创建描述性图像,并在图像中生成文字。该模型在图像生成功能方面取得了重大进步,提供了增强的图像合成和面部生成功能,从而产生令人惊叹的视觉效果和逼真的美感。(但是,可能是后续的事)

  • 更高水平的照片级写实能力
  • 图像合成和人脸生成
  • 使用较短的提示来创建描述性图像
  • 生成清晰文本的能力更强
  • 丰富的视觉效果和令人惊叹的美学

img

一、模型下载使用(简单体验)

https://civitai.com/models

img

模型选择SDXL 1.0,现在已经有了一些SDXL 1.0的大模型,LORA等等模型了,选一个大模型

img

再选一个lora

img

还是和原来一样放入到models目录下的stable diffusion和lora目录中

img

启动器更新最新版本就不用多说了,显存优化选择8GB以上,不行往下调,改成4GB

img

启动,选择SDXL模型,VAE看模型是否提示需要下载,不需要说明融入大模型了,VAE选择none

img

不能选择高分辨率放大,没错,图生图也不行,上面只是简单演示一下,下面介绍具体用法

二、模型下载使用(繁琐版)

https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0

img

https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/tree/main

img

先下载SDXL 1.0base和refiner两个模型(vae修复),放到大模型目录下,生图时VAE选择none,

img

对比以前的模型数值翻倍了,参数量随之增加,使用了两个clip模型,以往是先把图像经过编码器变成64x64放入潜空间中,现在128x128,出图的尺寸也翻倍了,所以现在的SDXL 1.0都是基于1024x1024训练的,生图尽量不要尺寸小于这个,对于显卡的要求也越来越高了,得有个16G估计才能舒服的玩耍了,8G以下基本弄不了。

运行流程为先使用base模型在文生图生成图像,发送到图生图,然后在图生图切换为refiner模型,在执行一般,反正是比以前繁琐,效果可能也一般,但是前景大,等那些模型爱好者重新基于SDXL炼制一遍,出图效果肯定比今天好的多,而且各方面也会优化,不用像现在这样切换来切换去。不过可以体验一下,等SDXL起来了再加入。

如果出现精度错误,记得把Unet精度关闭半精度优化,可能SDXL不支持半精度。

img

三、ComfyUI

https://github.com/comfyanonymous/ComfyUI

此 UI 将允许您使用基于图形/节点/流程图的界面设计和执行高级稳定扩散管道。它集合webui启动器文生图和图生图的功能,可以理解为之前是在webui上操作,现在在流程图里操作,虽然复杂点,但是生成速度各方面也优化了。而且适用于SD 1.0, 2.0,XL

安装直接在启动器搜索安装就行,重启

img

然后点击它,默认安装地址(插件扩展地址),或者自己填写安装地址,点击安装,重启

img

这就是简化流程图,使用方法最好自己探索下,我会放模版的,直接加载就行不用担心。

img

简单介绍使用流程,把你文生图和图生图的流程过一遍,安装流程搭建,譬如建立group,选择大模型,vae,clip,然后是采样器等等,按照顺序搭建,看看我给的模版学学别人怎么搭建的。不学也没事,反正一个模版通用了。workflow下载,解压load就行。

反正体验下来就是卡,不管是内存还是显存都在极限边缘疯狂试探,我的是12G显存,16G内存,感觉内存条需要再加一个8G应该没问题,显存的话16G估计没问题,只能期待模型的优化了,毕竟才刚起步。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/75381.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

vue自定义穿梭框支持远程滚动加载

分享-2023年资深前端进阶:前端登顶之巅-最全面的前端知识点梳理总结,前端之巅 *分享一个使用比较久的🪜 技术框架公司的选型(老项目):vue2 iview-ui 方案的实现思路是共性的,展现UI样式需要你们自定义进行更改&#…

【Unity每日一记】向量操作摄像机的移动(向量加减)

👨‍💻个人主页:元宇宙-秩沅 👨‍💻 hallo 欢迎 点赞👍 收藏⭐ 留言📝 加关注✅! 👨‍💻 本文由 秩沅 原创 👨‍💻 收录于专栏:uni…

Linux知识点 -- 进程概念(补充)

Linux知识点 – 进程概念(补充) 文章目录 Linux知识点 -- 进程概念(补充)一、进程地址空间的堆区二、虚拟地址到物理地址之间的转化三、虚拟地址到物理地址之间的映射 一、进程地址空间的堆区 在用户每次使用malloc等函数在进程的…

【设计模式——学习笔记】23种设计模式——策略模式Strategy(原理讲解+应用场景介绍+案例介绍+Java代码实现)

文章目录 案例引入传统方案实现实现分析 介绍基本介绍登场角色 案例实现案例一类图实现 案例二类图实现问答 策略模式在JDK源码中的使用总结文章说明 案例引入 有各种鸭子,比如野鸭、北京鸭、水鸭等。 鸭子有各种行为,比如走路、叫、飞行等。不同鸭子的…

[NLP]LLM 训练时GPU显存耗用量估计

以LLM中最常见的Adam fp16混合精度训练为例,分析其显存占用有以下四个部分: GPT-2含有1.5B个参数,如果用fp16格式,只需要1.5G*2Byte3GB显存, 但是模型状态实际上需要耗费1.5B*1624GB. 比如说有一个模型参数量是1M,在…

k8s 自身原理之 Service

好不容易,终于来到 k8s 自身的原理之 关于 Service 的一部分了 前面我们用 2 个简图展示了 pod 之间和 pod 与 node 之间是如何通信息的,且通信的数据包是不会经过 NAT 网络地址转换的 那么 Service 又是如何实现呢? Service 我们知道是用…

Flask-SQLAlchemy

认识Flask-SQLAlchemy Flask-SQLAlchemy 是一个为 Flask 应用增加 SQLAlchemy 支持的扩展。它致力于简化在 Flask 中 SQLAlchemy 的使用。SQLAlchemy 是目前python中最强大的 ORM框架, 功能全面, 使用简单。 ORM优缺点 优点 有语法提示, 省去自己拼写SQL,保证SQL…

Unity游戏源码分享-俄罗斯方块unity2017

Unity游戏源码分享-俄罗斯方块unity2017 工程地址: https://download.csdn.net/download/Highning0007/88204011

【Linux初阶】system V - 共享内存

文章目录 前言一、共享内存初识1.共享内存的原理2.理解共享内存3.共享的内存的概念 二、共享内存函数1.shmget函数2.shmat函数3.shmdt函数4.shmctl函数 三、共享内存的查看方法及其特征四、共享内存的代码实现五、共享内存优缺点分析1.共享内存的优点2.共享内存的缺点 六、共享…

【Nacos2.24持久化到Postgres数据库适配——详细版】

Nacos2.24持久化到Postgres数据库适配 前言步骤拉取源码添加依赖修改源码编译打包修改配置测试运行 参考 前言 公司基于springboot实现了一套单体框架,目前我负责搭建SpringCloud微服务框架,需要用到nacos,但是由于公司特殊性,na…

1022.从根到叶的二进制之和

目录 一、题目 二、代码 一、题目 二、代码 /*** Definition for a binary tree node.* struct TreeNode {* int val;* TreeNode *left;* TreeNode *right;* TreeNode() : val(0), left(nullptr), right(nullptr) {}* TreeNode(int x) : val(x), left(nu…

玩转 VS code 之下载篇

VSCode 简介 Visual Studio Code (简称 VS Code / VSC),是2015 年由微软公司推出的一款免费开源的现代化轻量级代码编辑器,支持几乎所有主流的开发语言的语法高亮、智能代码补全、GIT 等特性,支持插件扩展等等 可用于 Windows,ma…

等保测评标准和规范有哪些?

等保测评标准和规范的出现,为我国信息安全等级保护制度的建立和健全提供了重要的保障。 作为信息安全领域的重要评估标准,等保测评旨在通过对信息系统、网络安全设备和安全产品等的安全性能、安全功能、安全管理、安全控制和安全审计等方面的要求进行检查…

【golang】怎样判断一个变量的类型?

怎样判断一个变量的类型? package mainimport "fmt"var container []string{"zero", "one", "two"} func main() {container : map[int]string{0: "zero", 1: "one", 2: "two"}fmt.Printf…

AWS中Lambda集成SNS

1.创建Lambda 在Lambda中,创建名为AWSSNSDemo的函数 use strict console.log(loading function); var aws require(aws-sdk); var docClient new aws.DynamoDB.DocumentClient(); aws.config.regionap-southeast-1;exports.handler function(event,context,cal…

stop job is running for Advanced key-value store

今天虚拟机磁盘撑满了,本来还能凑合运行,结果重启了下,就报了这个 stop job is running for Advanced key-value store (1min 59s / no limit) 解决方式很简单, 1、虚拟机关电源,任务管理器,关闭VM&#x…

LeetCode_03Java_1572. 矩阵对角线元素的和

给你一个正方形矩阵 mat,请你返回矩阵对角线元素的和。 请你返回在矩阵主对角线上的元素和副对角线上且不在主对角线上元素的和。 输入:mat [[1,2,3],[4,5,6],[7,8,9]] 输出:25 解释:对角线的和为:1 5 9 3 7 2…

我们为什么需要API管理系统?

我们为什么需要API管理系统? 随着web技术的发展,前后端分离成为越来越多互联网公司构建应用的方式。前后端分离的优势是一套Api可被多个客户端复用,分工和协作被细化,大大提高了编码效率,但同时也带来一些“副作用”:…

前端接口修改工具 Requestly具体操作

更新于2023年8月12日18:17:56,插件版本可能会变,界面可能会有所变化 插件下载地址:https://chrome.google.com/webstore/detail/requestly-open-source-htt/mdnleldcmiljblolnjhpnblkcekpdkpa 注意,必须用谷歌浏览器,…

Python-OpenCV中的图像处理-模板匹配

Python-OpenCV中的图像处理-模板匹配 模板匹配单对象的模板匹配多对象的模板匹配 模板匹配 使用模板匹配可以在一幅图像中查找目标函数: cv2.matchTemplate(), cv2.minMaxLoc()模板匹配是用来在一副大图中搜寻查找模版图像位置的方法。 OpenCV 为我们提…