Stable Diffusion 系列教程 | 打破模型壁垒

目录

1.模型基本分类

1.1 CheckPoint 大模型/底模型/主模型

1.2 VAE美化模型/变分自编码器

1.3 HyperNetwork 超网络

1.4 embeddings(/Textual Inversion) 嵌入式向量

1.5 loRa 低秩适应模型

2. 下载途径和渠道

2.1 C站

2.1.1 如何筛选到自己需要的模型

2.1.2 使用技巧

2.1.3 学习他人作品

2.2 HuggingFace


想要做出好的AI绘画,模型是最重要的,他相当于AI绘画的大脑,决定了AI绘画质量的上限,所以了解AI绘画的各种模型非常重要

相比于Midjourney,Stable Diffusion最大的优势就是开源

因而SD则每时每刻都有人在世界各地训练自己的模型并免费公开共享给全世界的使用者。当然我们也可以训练自己的专属模型

提示词+模型+参数设置

全能型赛博画手

首先我们来了解一下模型的基本分类

1.模型基本分类

具体模型类型有checkpoint、Textual lnversion、Hypernetwork、Aesthetic Gradient、LoRA、LyCORIS、Controlnet、Poses、wildcards等等

常用的有checkpoint

哇塞,这么多,那么这些究竟都是什么意思呢?

1.1 CheckPoint 大模型/底模型/主模型

检查点,常玩游戏的朋友肯定不陌生,一般会在一些节点存档

一个大的模型训练起来是非常费力的,如果每次迭代我们都从头训练那可真实个灾难,因而训练到一定程度我们就给模型存档,生成一个关键点Checkpoint模型,

常见文件后缀:后缀ckpt、safetensors(如果都有提供的话建议下载safetensors,下同)

存放路径: 根目录\models\Stable-diffusion

占用存储: 模型较大,占用3-7GB

我们这里的根目录都是指我们webui的最外层的那个文件夹,比如我这里的是stable-diffusion-webui

使用方法 将模型移动到根目录\models\Stable-diffusion后,在webui界面点击刷新按钮,再点下拉就可以看到了

 

模型推荐

二次元模型

menia mix 生成动漫

AbyssOrangeMix 深源橘

counter-feit v2.5 动漫模型

dream Shper v5 模型 肖像画 梦幻的插画风格

真实系模型

realistic vision v2.0 现实模型

Delibe-rate 比较全能的一个模型

在本章第二节可以看到如何利用其他网站来筛选自己需要的模型

1.2 VAE美化模型/变分自编码器

从使用来看,我们可以把他粗略的理解为“调色滤镜” 有些时候不加载VAE的情况下,出图就会发灰发白

有很多比较新的大模型是会将VAE整合到内部的,比如Chilloutmix。如果再加VAE则可能画面效果不会更好,甚至适得其反

而有的大模型则会有自己适配的VAE,如深渊橘,这里看模型网站上作者的推荐就好

也有一些适用于大多数模型的VAE

二次元风格:kf-f8-anime

写实风格:840000

常见文件后缀:后缀ckpt、pt

存放路径: 根目录/models/VAE

占用存储: 模型较小,占用0-1个GB

使用方法 将模型移动到根目录\models\VAE后,在VAE选项点击刷新按钮,再点下拉就可以看到了

1.3 HyperNetwork 超网络

hypernetworks是一个附加到stable diffusion model上的小型网络,用于微调,和embedings类似,不过现在用的也不是很多了,因为它的功能基本可以被smbeddings替代了

常见文件后缀: 后缀pt

存放路径: 根目录/models/hypernetworks

占用存储: 模型较小,占用几百MB

使用方法 注意HyperNetwork,embeddings这种微调网络和大模型使用方法不同

(1)将模型放到 根目录/models/hypernetworks

(2)首先点击生成按钮下的从左往右数的第三个,然后点击超网络,再点击需要用到的超网络模型,就会在提示词中添加相应的尖括号内容,如本例中的<hypernet>

 

1.4 embeddings(/Textual Inversion) 嵌入式向量

(1)优化画风,

(2)通过仅使用的几张图像,向模型教授新的概念,比如AI不知道奥特曼,通过embeddigns就可以让AI知道奥特曼长什么样子

(3)减少提示词的输入,比如EasyNegative这个Embeddings,里面包含了大量的负面词,可以减少你每次打一堆负面词的痛苦,解决AI绘画痛点,如画手等等

常见文件后缀: 后缀pt

存放路径: 根目录/embeddings

模型的切换通过文件名称来触发

占用存储: 模型很小,占用几十kB到几百kB

使用方法:

(1)将模型放到 根目录/embeddings目录下

(2)同HyperNetwork超网络,首先点击生成按钮下的从左往右数的第三个,然后点击嵌式入,再点击需要用到的嵌入式模型,就会在提示词中添加相应的尖括号内容

1.5 loRa 低秩适应模型

进行人物模型的微调,

让AI学习到一些新的人物概念

常见文件后缀: 后缀safesensors

存放路径: 根目录/embeddings

占用存储: 模型较小,10-200 MB。必须与checkpoint模型一起使用。

使用方法:

(1)将模型放到 根目录/models/Lora

(2)同HyperNetwork超网络,首先点击生成按钮下的从左往右数的第三个,然后点击Lora,再点击需要用到的Lora模型,就会在提示词中添加相应的尖括号内容

除了这些以外还有DreamBooth模型,LyCORIS模型等等,这些模型在模型的进阶用法给大家介绍

2. 下载途径和渠道

SD官方会发布模型

但是官方这个模型出图风格比较单一,因而我们现在下载使用的大多是私人训练的

主流下载网站

2.1 C站

需要科学上网 C站是最主流的一个AI绘画模型网站了,对于模型都是图像化展示,非常便捷

 

2.1.1 如何筛选到自己需要的模型

1 通过模型生成内容区分查找 模型栏目上边有一排可以选择的

2 利用我们第一节讲到的模型类型区分

 

 

2.1.2 使用技巧

注意模型的各种信息,包括作者推荐的VAE,分辨率设置,采样方式等等

如我们点击进入ReV Animated这个模型的下载界面,在模型的介绍界面里有show More

 

然后就可以看到作者推荐的VAE啦,提示词prompting啦之类的

 

初学可以使用别人推荐的一些大模型

stable diffusion 常用大模型解释和推荐(持续更新ing) - 知乎 (zhihu.com)

2.1.3 学习他人作品

C站除了优秀的模型以外,还会有很多优秀的作品,我们可以学习他们的模型搭配,提示词等等

点击C站的Images

点进去以后就可以看到详细的图片生成信息,模型搭配,提示词,采样方式,种子等等

 

2.2 HuggingFace

不需要科学上网,网速较快

 

Hugging Face – The AI community building the future.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/90968.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【docker】运行registry

registry简介 Docker registry是docker镜像仓库的服务,用于存储和分发docker镜像。 Docker registry主要特点和功能: 存储docker镜像:提供持久化存储docker镜像的功能,存储镜像的各个layer。 分发镜像:拉取和推送镜像的去中心化存储和分发服务。 支持版本管理:给镜像打标签…

离谱事件解决方法2 无法定位程序输入点XXX于动态链接库XXX.dll

事情经过&#xff1a; 本人一只acmer&#xff0c;使用sublime编写代码&#xff0c;但是前两天在打开cpp类型的文件的时候显示报错如下&#xff1a; 这里的dll文件就是动态链接库&#xff0c;它并不是一个可执行文件&#xff0c;里面存放的是程序的函数实现过程&#xff08;公用…

【面试题】MVC、MVP与MVVM模式是什么?

MVC模式 MVC是应用最广泛的软件架构之一&#xff0c;一般MVC分为&#xff1a; Model&#xff08; 模型 &#xff09;、Controller&#xff08; 控制器 &#xff09;、View&#xff08; 视图 &#xff09;。 这主要是基于分层的目的&#xff0c;让彼此的职责分开。View 一般…

EWM是什么

EWM是SAP的一个模块&#xff0c;代表扩展仓库管理&#xff08;Extended Warehouse Management&#xff09;&#xff0c;是SAP企业资源计划&#xff08;ERP&#xff09;的一部分。它提供了一个完整的、高级的仓库管理解决方案&#xff0c;支持企业在全球范围内的仓库管理、订单管…

帮助中心应该用什么工具做?

在线帮助中心是指一个位于互联网上的资源平台&#xff0c;提供给用户获取产品或服务相关信息、解决问题以及获取技术支持的渠道。它通常包含了组织化的知识库、常见问题解答&#xff08;FAQ&#xff09;、操作指南、教程视频、用户手册等内容。在线帮助中心的主要目标是为用户提…

SQL Server、MySQL和Oracle数据库分页查询的区别与联系

摘要&#xff1a;本文将通过一个现实例子&#xff0c;详细解释SQL Server、MySQL和Oracle这三种常见关系型数据库在分页查询方面的区别与联系。我们将提供具体场景下的SQL语句示例&#xff0c;并解释每个数据库的分页查询用法以及优化方法&#xff0c;帮助读者更好地选择适合自…

LeetCode-227-基本计算器Ⅱ

题目描述&#xff1a; 给你一个字符串表达式 s &#xff0c;请你实现一个基本计算器来计算并返回它的值。 整数除法仅保留整数部分。 你可以假设给定的表达式总是有效的。所有中间结果将在 [-231, 231 - 1] 的范围内。 注意&#xff1a;不允许使用任何将字符串作为数学表达式计…

DevOps中的持续测试优势和工具

持续测试 DevOps中的持续测试是一种软件测试类型&#xff0c;它涉及在软件开发生命周期的每个阶段测试软件。持续测试的目标是通过早期测试和经常测试来评估持续交付过程的每一步的软件质量。 DevOps中的持续测试流程涉及开发人员、DevOps、QA和操作系统等利益相关者。 持续…

JVM及垃圾回收机制

文章目录 1、JVM组成&#xff1f;各部分作用&#xff1f;1.1 类加载器&#xff08;Class Loaders&#xff09;1.2 运行时数据区&#xff08;Runtime Data Area&#xff09;1.3 执行引擎&#xff08;Execution Engine&#xff09;1.4 本地方法接口&#xff08;Native Interface&…

【PHP】数据类型运算符位运算

文章目录 数据类型简单&#xff08;基本&#xff09;数据类型&#xff1a;4个小类复合数据类型&#xff1a;2个小类特殊数据类型&#xff1a;2个小类类型转换类型判断整数类型浮点类型布尔类型 运算符赋值运算符算术运算符比较运算符逻辑运算符连接运算符错误抑制符三目运算符自…

基于CH552G主控的开源九键小键盘(资料齐全)

Content 1. 前言2. CH55X Arduino平台环境搭建2.1 常规安装2.2 HFS挂载本地服务器安装 3. 例程使用3.1 工程下载及编译3.2 程序烧录 1. 前言 芯片选型&#xff1a;CH552G 本文主要解决Arduino下CH552G芯片包的环境配置问题 开源地址&#xff1a;CV键盘有线小键盘 - 嘉立创ED…

2023泉城杯 easy_log的解题

压缩包解压里面是一个 access.log 日志文件。 捋数据 进行过远程命令执行 这个后续没啥用 可疑字符串 可疑字符串/upload/ma.php?logvar_dump(%27cGFzc3dvcmQ6IHNAZncjdiVmOQ%27);这个首先就判断是不是base64编码&#xff08;英文大小写、数字和、/&#xff09;以及用作后缀…

Little Kernel代码学习笔记

目录 虚拟地址转换为物理地址内核启动Multiboot头部结构启动时的寄存器状态real_start段选择子初始化BSS段 页表转换设置CR4、CR3、EFER寄存器设置页表映射 初始化IDT&#xff0c;执行lk_main 虚拟地址转换为物理地址 // start.S#define PHYS_LOAD_ADDRESS (MEMBASE KERNEL_L…

基于MATLAB开发AUTOSAR软件应用层Code mapping专题-part 6 Data Transfers标签页介绍

这篇文章我们介绍下Data Transfers页的配置,这里边包含的内容是IRV,我之前的文章里有讲解过IRV就是 Inter-Runnable Variables,内部runnable的之间传递数据的变量,在讲解Data Store memory的文章里我们提到了,irv也可以使用Data Store memory的方式来实现,我们先看下IRV如何…

【Java 高阶】一文精通 Spring MVC - 转发重定向(四)

&#x1f449;博主介绍&#xff1a; 博主从事应用安全和大数据领域&#xff0c;有8年研发经验&#xff0c;5年面试官经验&#xff0c;Java技术专家&#xff0c;WEB架构师&#xff0c;阿里云专家博主&#xff0c;华为云云享专家&#xff0c;51CTO 专家博主 ⛪️ 个人社区&#x…

百望云华为云共建零售数字化新生态 聚焦数智新消费升级

零售业是一个充满活力和创新的行业&#xff0c;但也是当前面临很大新挑战和新机遇的行业。数智新消费时代&#xff0c;数字化转型已经成为零售企业必须面对的重要课题。 8 月 20 日-21日&#xff0c;以“云上创新 韧性增长”为主题的华为云数智新消费创新峰会2023在成都隆重召…

HTML总结1【转】

以下内容转载和参考自&#xff1a;w3school的HTML学习内容&#xff0c;HTML 简介 。 一、概述 HTML不是一种编程语言&#xff0c;它是超文本标记语言 (Hyper Text Markup Language)&#xff0c;使用标记标签来描述网页内容。HTML标签是由尖括号包围的关键词&#xff0c;标签通…

Springboot开发所遇问题(持续更新)

SpringBoot特征&#xff1a; 1. SpringBoot Starter&#xff1a;他将常用的依赖分组进行了整合&#xff0c;将其合并到一个依赖中&#xff0c;这样就可以一次性添加到项目的Maven或Gradle构建中。 2,使编码变得简单&#xff0c;SpringBoot采用 JavaConfig的方式对Spring进行配置…

【mysql是怎样运行的】-EXPLAIN详解

文章目录 1.基本语法2. EXPLAIN各列作用1. table2. id3. select_type4. partitions5. type 1.基本语法 EXPLAIN SELECT select_options #或者 DESCRIBE SELECT select_optionsEXPLAIN 语句输出的各个列的作用如下&#xff1a; 列名描述id在一个大的查询语句中每个SELECT关键…

二叉树的层序遍历及完全二叉树的判断

文章目录 1.二叉树层序遍历 2.完全二叉树的判断 文章内容 1.二叉树层序遍历 二叉树的层序遍历需要一个队列来帮助实现。 我们在队列中存储的是节点的地址&#xff0c;所以我们要对队列结构体的数据域重定义&#xff0c; 以上代码 从逻辑上来讲就是1入队&#xff0c;1出队&am…