Stable Diffusion WebUI 使用 LoRA 调整风格——详细教程

lora_1.jpg

本文收录于《AI绘画从入门到精通》专栏,专栏总目录:点这里,订阅后可阅读专栏内所有文章。

大家好,我是水滴~~
本教程旨在深入探讨 LoRA 模型的奥秘,涵盖其基本概念、独特作用以及实操指南。我们将从下载和使用LoRA的步骤出发,进而探讨在使用 LoRA 模型时需要注意的细节,从而生成精美的图片。
文章内容包含大量的图例,希望能够帮助新手同学快速入门。

文章目录

  • 一、LoRA 是什么
  • 二、LoRA 有什么作用
  • 三、怎么下载 LoRA 模型
  • 四、LoRA 模型放到哪里
  • 五、如何使用 LoRA
    • 5.1 语法
    • 5.2 触发词
    • 5.3 简单用法
  • 六、使用 LoRA 的注意事项
    • 6.1 大模型的选择
    • 6.2 参数设置
    • 6.3 触发词
    • 6.4 LoRA 的名字
    • 6.5 LoRA 的权重


一、LoRA 是什么

LoRA(Low-Rank Adaptation)本身是一种用于微调稳定扩散模型的训练技术。LoRA 模型是一种轻量级的扩散模型,用于对标准的 Checkpoint 模型进行微调。它的文件大小通常比Checkpoint 模型小 10 到 100倍(约为 2~200 MB),而且训练的门槛也比较低,这使得它非常受欢迎。

LoRA 模型不能独立运行,必须与 Checkpoint 模型一起使用。LoRA 会对该 Checkpoint 模型进行细微调整来达到风格上的变化。

随着 SDXL 的发布,StabilityAI 预计在 SDXL v1.0 基础模型上运用 LoRA 来增强图像的做法,将会成为一种流行的方式。

二、LoRA 有什么作用

LoRA 作为一种“微调”模型,它可以指导 AI 生成固定的角色、服饰、表情和动作,还可以调整画面的风格、光线和细节等等。

下图案例中使用了《IU》LoRA 模型,并通过四个不同模型分别生成了四张图片。每一张都精准捕捉到了爱豆李知恩的神韵与魅力:
lora_1.jpg
下图案例中使用了《hanfu 汉服》LoRA 模型,并通过四个不同模型分别生成了四张图片。可以看到,每一张图片中的小姐姐都穿上了汉服:
lora_2.jpg
下图案例中使用了《Bloodstained - Vector / illustrative》LoRA 模型,并通过四个不同模型分别生成了四张图片。下面每一张图片的配色方案都偏向于黑色和红色:
lora_3.jpg
这里我们公公展示了三个案例,还有很多 LoRA 模型供我们使用,每一个模型都有独特的地方,值得我们去探索。

三、怎么下载 LoRA 模型

我们通常在C站上下载 LoRA 模型,找到左上角带“LoRA”字样的模型:
image.png
或者在过滤器中,直接筛选出所有“LoRA”模型:
image.png
然后点击一个 LoRA 模型,进入详情页,再点击“下载”按钮即可:
image.png

四、LoRA 模型放到哪里

下载的 LoRA 模型,我们放到 stable-diffusion-webui\models\Lora 目录下:
image.png
这样,我们就可以在 Stable Diffusion WebUI 主界面的“LoRA”选项卡中找到了,附上同名的图片,在这里还可以显示预览图:

在这里插入图片描述

五、如何使用 LoRA

那么我们该如何使用 LoRA 模型呢?下面我们继续学习。

5.1 语法

LoRA 的使用比较简单,只需要在“提示词”中输入即可,下面是语法:<lora: name: weight>

  • lora:LoRA 的标志;
  • name:LoRA 模型的名称,最好使用文件名;
  • weight:使用 LoRA 的权重,与提示词权重类似。默认值为1,设为0表示不生效。

例如:
image.png
还可以同时使用多个 LoRA,不过要调整好使用的权重:
image.png

5.2 触发词

有些 LoRA 模型必须写上“触发词”才能生效,通常会在下载页能找到:
image.png
使用的时候,将“触发词”一并写上:
image.png

5.3 简单用法

在 Stable Diffusion WebUI 中还有简单的用法,我们只需要在 “LoRA” 界面,点击一下 LoRA 模型,就可以将该 LoRA 自动添加到提示词中了:

在这里插入图片描述

我们还可以点击模型的“编辑”按钮,来修改默认值:

在这里插入图片描述

编辑页面可以添加“触发词”,还可以修改默认权重等信息:
image.png
这样,我们再点击模型的时候,就将修改的内容一并带出来了:

在这里插入图片描述

六、使用 LoRA 的注意事项

初次使用 LoRA 模型时,你可能会发现生成的图像与预期有所偏差,显得有些奇特。这种现象并非偶然,而是因为在使用 LoRA 时,有一些关键的注意事项需要我们细心遵守。

6.1 大模型的选择

LoRA 通常是基于大模型来训练的,所以我们使用时如果能保持大模型一致,那么生成的效果肯定是最好的。
那么,我们怎么知道作者使用的哪个大模型呢?
(1)一般作者都会在 LoRA 介绍页面里给出推荐的大模型;
(2)还可以从示例图的生成信息里找到:
image.png

6.2 参数设置

有时对生成参数也会影响 LoRA 的使用,作者在介绍页里一般会给出推荐的参数;或者与示例图的参数信息保持一致。

6.3 触发词

有些 LoRA 模型需要使用“触发词”才能够生效,可以在介绍页面找到。为了便于使用,我们将“触发词”附加到本地的 LoRA 信息中,以免忘记。
image.png

6.4 LoRA 的名字

在使用 LoRA 时(<lora: name: weight>),我们通常将 name 设置的与 LoRA 模型的文件名相同,否则也会不生效。

6.5 LoRA 的权重

在使用 LoRA 时(<lora: name: weight>),weight 为权重,该值越大代表 LoRA 对生成的结果影响就越大。但权重过高也会产生不好的效果,通常不要超过1,设置在 0.8~0.9 即可。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/568989.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Laravel 6 - 第十五章 验证器

​ 文章目录 Laravel 6 - 第一章 简介 Laravel 6 - 第二章 项目搭建 Laravel 6 - 第三章 文件夹结构 Laravel 6 - 第四章 生命周期 Laravel 6 - 第五章 控制反转和依赖注入 Laravel 6 - 第六章 服务容器 Laravel 6 - 第七章 服务提供者 Laravel 6 - 第八章 门面 Laravel 6 - …

微信小程序实时日志使用,setFilterMsg用法

实时日志 背景 为帮助小程序开发者快捷地排查小程序漏洞、定位问题&#xff0c;我们推出了实时日志功能。开发者可通过提供的接口打印日志&#xff0c;日志汇聚并实时上报到小程序后台。开发者可从We分析“性能质量->实时日志->小程序日志”进入小程序端日志查询页面&am…

【八股】计算机网络篇

网络模型 应用层【HTTP&#x1f449;报文/消息】 传输层【TCP或UDP&#x1f449;段&#x1f449;MSS】网络层【IP、寻址和路由&#x1f449;MTU】 ①IP&#xff08;Internet Protocol&#xff0c;网际协议&#xff09;主要作用是定义数据包的格式、对数据包进行路由和寻址&…

【Linux-14】进程地址空间&虚拟空间&页表——原理&知识点详解

前言 大家好吖&#xff0c;欢迎来到 YY 滴 系列 &#xff0c;热烈欢迎&#xff01; 本章主要内容面向接触过Linux的老铁 主要内容含&#xff1a; 欢迎订阅 YY滴C专栏&#xff01;更多干货持续更新&#xff01;以下是传送门&#xff01; YY的《C》专栏YY的《C11》专栏YY的《Lin…

STM32的GPIO输入和输出函数详解

系列文章目录 STM32单片机系列专栏 C语言术语和结构总结专栏 文章目录 1. GPIO模式 2. GPIO输出 2.1 RCC 2.2 GPIO 3. 代码示例 3.1 RCC时钟 3.2 GPIO初始化 3.3 GPIO输出函数 3.4 推挽输出和开漏输出 4. GPIO输入 4.1 输入模式 4.2 数据读取函数 5. C语言语法 1…

2024免费最好用的苹果电脑mac虚拟机工具Parallels Desktop19中文版下载

一、软件概述 Parallels Desktop是一款专为Mac设计的虚拟机软件&#xff0c;它允许用户在Mac上同时运行Windows、Linux等多个操作系统&#xff0c;而无需额外的硬件设备。通过Parallels Desktop&#xff0c;Mac用户可以轻松地在同一台电脑上体验不同操作系统的功能和应用程序。…

Burpsuite CA证书导入浏览器、导入本地

前言 为什么要导入证书&#xff0c;因为要获得浏览器的信任、本地的信任&#xff1b;才能抓包 导入浏览器 1.从bp导出证书 然后打开火狐浏览器 打开bp,设置好代理 火狐浏览器foxyproxy开启代理 访问https://www.baidu.com 可以抓到https的包 本地导入CA证书 可能某一天你要…

AIGC实战——基于Transformer实现音乐生成

AIGC实战——基于Transformer实现音乐生成 0. 前言1. 音乐生成的挑战2. MuseNet3. 音乐数据3.1 巴赫大提琴组曲数据集3.2 解析 MIDI 文件3.3 分词3.4 创建训练数据集 4. MuseNet 模型4.1 正弦位置编码4.2 多输入/输出 5. 音乐生成 Transformer 的分析6. 多声部音乐分词6.1 网格…

牛客NC195 二叉树的直径【simple DFS C++ / Java /Go/ PHP】

题目 题目链接&#xff1a; https://www.nowcoder.com/practice/15f977cedc5a4ffa8f03a3433d18650d 思路 最长路径有两种情况&#xff1a; 1.最长条路径经过根节点&#xff0c;那么只需要找出根节点的左右两棵子树的最大深度然后相加即可。 2.最长路径没有经过根节点&#xf…

JavaSE——常用API进阶二(8/8)-Arrays、Comparable、Comparator(Arrays类提供的的常见方法、用法示例)

目录 Arrays Arrays类提供的的常见方法 用法示例 Comparable、Comparator Comparable Comparator 本篇学习Arrays&#xff0c;不算作是重点知识&#xff0c;但是为学习后面的Lambda表达式打一个基础&#xff0c;或者说&#xff0c;作为铺垫。 Arrays 用来操作数组的一个…

初见-响应式编程-002

&#x1f917; ApiHug {Postman|Swagger|Api...} 快↑ 准√ 省↓ GitHub - apihug/apihug.com: All abou the Apihug apihug.com: 有爱&#xff0c;有温度&#xff0c;有质量&#xff0c;有信任ApiHug - API design Copilot - IntelliJ IDEs Plugin | Marketplace #Reacti…

lnmp架构

目录 环境 步骤 下载nginx源码包&#xff0c;并解压 安装依赖包 进行预编译 、编译安装 安装php、设置开机自启 配置nginx让其支持php服务 浏览器测试 安装mariadb 部署discuz论坛 简介 LNMP架构是一种常见的Web服务器架构&#xff0c;由Linux、Nginx、MySQL和PHP组成。它…

高级数据结构—线段树(一)

学线段树的原因是因为cf的一道题目始终想不出来怎么优化&#xff0c;后来知道区间查询和修改要用到线段树。。。 原题&#xff1a;Iva & Pav 线段树的作用 区间最值查询&#xff1a;可以高效地找到给定区间内的最大值、最小值等。 区间和查询&#xff1a;可以高效地计算…

Leetcode算法训练日记 | day34

专题九 贪心算法 一、K次取反后最大化的数组和 1.题目 Leetcode&#xff1a;第 1005 题 给你一个整数数组 nums 和一个整数 k &#xff0c;按以下方法修改该数组&#xff1a; 选择某个下标 i 并将 nums[i] 替换为 -nums[i] 。 重复这个过程恰好 k 次。可以多次选择同一个…

关于Spring事务管理之默认事务间调用问题

由事务的传播行为我们知道, 如果将方法配置为默认事务REQUIRED在执行过程中Spring会为其新启事务REQUIRES_NEW, 作为一个独立事务来执行. 由此存在一个问题。 如果使用不慎, 会引发org.springframework.transaction.UnexpectedRollbackException: Transaction rolled back bec…

ACE框架学习

目录 ACE库编译 ACE Reactor框架 ACE_Time_Value类 ACE_Event_Handler类 ACE定时器队列类 ACE_Reator类 ACE Reactor实现 ACE_Select_Reactor类 ACE_TP_Reactor类 ACE_WFMO_Reactor类 ACE库编译 首先去ACE官网下载安装包&#xff0c;通过vs2017或者2019进行编译&#x…

【洛谷 P8605】[蓝桥杯 2013 国 AC] 网络寻路 题解(图论+无向图+组合数学)

[蓝桥杯 2013 国 AC] 网络寻路 题目描述 X X X 国的一个网络使用若干条线路连接若干个节点。节点间的通信是双向的。某重要数据包&#xff0c;为了安全起见&#xff0c;必须恰好被转发两次到达目的地。该包可能在任意一个节点产生&#xff0c;我们需要知道该网络中一共有多少种…

10.接口自动化测试学习-Pytest框架(2)

1.mark标签 如果在每一个模块&#xff0c;每一个类&#xff0c;每一个方法和用例之前都加上mark标签&#xff0c;那么在pytest运行时就可以只运行带有该mark标签的模块、类、接口。 这样可以方便我们执行自动化时&#xff0c;自主选择执行全部用例、某个模块用例、某个流程用…

数据分析专家能力模型

招式&#xff1a;懂商业&#xff08;业务能力&#xff09; 外功更偏重于技能&#xff0c;首先需要懂招式&#xff0c;即懂商业&#xff0c;数据分析最终是为业务服务的&#xff0c;无论是互联网企业准求的用户增长和UJM分解&#xff0c;还是传统企业追求的降本增效和精细化运营…

appium相关的知识

>adb shell dumpsys window | findstr mCurrentFocus adb devices # 实例化字典 desired_caps = dict() desired_caps[platformName] = Android desired_caps[platformVersion] = 9 # devices desired_caps[deviceName] = emulator-5554 # 包名 desired_caps[appPackage] …