Stable Diffusion教程|图生图原理和实战

Stable Diffusion凭借其卓越的图生图功能,极大地提升了图像生成的可控性与输出品质,赋予用户前所未有的个性化创作风格表达能力。这一革新特性使得Stable Diffusion不仅能精准地捕捉用户的艺术愿景,更能以数字化手段孕育出新颖且极具创意的画作。本篇教程将深入剖析图生图的原理,聚焦于Stable Diffusion的图生图AI绘画技巧,助力您在创作独特数字艺术作品时拓宽灵感源泉,精进技艺。

- 一、图生图原理

1. 扩散模型

      Stable    Diffusion的核心是基于扩散模型的框架。扩散模型是一种深度学习模型,它模仿物理过程中的分子扩散现象,将图像从纯噪声逐渐演化为清晰图像。这个过程分为两个相反的阶段:扩散(增加噪声)和逆扩散(去除噪声并恢复结构)。在图生图场景中,逆扩散阶段被用来根据用户提供的输入图片和提示词,逐步生成目标图像。

2. 条件输入

      不同于纯粹的文生图,图生图不仅接受文字提示,还接受一张源图片作为额外条件。源图片的信息被编码为隐空间中的向量表示,与文字提示共同作为逆扩散过程的起点。模型在更新图像状态时,既参考了源图片的结构特征,又受到文字提示的语义指导,从而生成与源图相关联且符合提示要求的新图像。

3. 提示词与反向提示词

      提示词是用户为指导生成过程提供的关键词或短语,它们描述了期望的风格、氛围、元素或主题。反向提示词则用于指定不希望出现在生成结果中的内容。两者结合使用,能够更精确地约束模型的生成行为,确保输出图像既包含了期望的变化,又避免了不必要的元素。

二、图生图实战

1. 准备工作

      安装Stable Diffusion环境和相关插件。
      前几篇已讲过了,还没学习的同学,请到文章末尾查看往期教程,进行学习。
      SD Web UI 切换到图生图界面:    ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/d5494c708f5b480cbb6f2a9a6c6a3b60.png)
      图生图功能的主要特点:
      1、基于原始图像作为参照,生成新图像时确保关键的视觉样式与布局得以忠实保留。
      2、运用文本指令,精准指引图像生成的个性化路径,涵盖风格重塑、细节强化等多元需求。
      3、运用分布渲染技术递进式提升与细化图像品质,步步雕琢至理想状态。
      4、借力于原图固有的视觉元素,显著提升生成图像的契合度与可控性,确保结果贴合预期。
      5、轻松驾驭多种艺术流派的模拟演绎,只需借助精准的文字描述即可实现风格的无缝切换。
      6、具备高效批处理能力,可一次性自动化处理大量图片,无缝完成整体优化与定制化修正。

2. 重要参数

      step1 选择一个写实的大模型,再上传源图片:选择一张清晰、主题明确的源图片作为改造基础。注意,图片质量和内容直接影响生成结果。
      ![**在这里插入图片描述**](https://img-blog.csdnimg.cn/direct/6c858cc398a24812bd342ad5470cafbb.png)

step2 缩放模式:(拉伸/剪裁/填充/直接缩放)
拉伸:自动调整大小,当宽高比例不正确时,主体被拉伸
剪裁:自动调整图像大小,剪裁多余部分
填充:用图像的颜色自动填充空白区域
直接缩放(放大潜变量) 在这里插入图片描述
step3 图片尺寸,点击小三角会自动保持与原图尺寸一致或自定义尺寸。如:512*512。
在这里插入图片描述
step4 编写提示词:构思简洁而准确的提示词,描述期望的生成效果。例如,“a hummingbird”。

      step5 设置重绘幅度0~1 和 采样方法,点击“生成”按钮。    ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/0ca01b03a1834957ade3762109f91276.png)

重绘幅度低于0.5更接近原图,大于0.7AI创作力度变大。

3. 真人转二次元 step1

  下载一个二次元的大模型:AWPainting 下载地址:https://www.liblib.art/modelinfo/1fd281cf6bcf01b95033c03b471d8fd8

下载存放文件路径:
在这里插入图片描述
step2 使用AWPainting模型,上传图片真人照片,设置尺寸512*768,重绘幅度0.6,采样器DPM++ 2M
Karras,提示词“animation style,a cute girl,”(你可随意发挥)。
在这里插入图片描述
小技巧:你可以把重绘幅度设置0.2,循环生成图片,逐步转换二次元效果,最后通视频编辑软件把图片制作转场动画。

4、制作头像 step1

       上传大头照512*512,使用AWPainting模型,设置同尺寸1024*1024,重绘幅度0.6,采样器DPM++ 2M   

Karras。
在这里插入图片描述
step2 提示词"futuristic sci-fi themed girl,set against a high-tech
cityscape at night,CG rendered,metallic sheen,cool special
effects,seductive smile,",生成图像。
在这里插入图片描述

总结:

篇幅有限,这里就不一一展示了,有需要的朋友可以点击下方的卡片进行领取!

请添加图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/614768.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

论文 学习 Transformer : Attention Is All You Need

目录 概述: 对摘要的理解: 框架解析 按比例缩放的点积注意力 多头注意力机制 前馈神经网络与位置编码 概述: transformer 是一个encoder ——decoder 结构的用于处理序列到序列转换任务的框架,是第一个完全依赖自注意力机制…

写了 1000 条 Prompt 之后,我总结出了这 9 个框架【建议收藏】

如果你对于写 Prompt 有点无从下手,那么,本文将为你带来 9 个快速编写 Prompt 的框架,你可以根据自己的需求,选择任意一个框架,填入指定的内容,即可以得到一段高效的 Prompt,让 LLM 给你准确满意…

再谈毕业论文设计投机取巧之IVR自动语音服务系统设计(信息与通信工程A+其实不难)

目录 举个IVR例子格局打开,万物皆能IVR IVR系统其实可盐可甜。还能可圈可点。 戎马一生,归来依然IVR。 举个IVR例子 以下是IVR系统的一个例子。 当您拨打电话进入IVR系统。 首先检验是否为工作时间。 如是,您将被送入ivr-lang阶段&#xff0…

python3如何安装bs4

在python官网找到beautifulsoup模块的下载页面,点击"downloap"将该模块的安装包下载到本地。 将该安装包解压,然后在打开cmd,并通过cmd进入到该安装包解压后的文件夹目录下。 在该文件目录下输入"python install setup.py&quo…

程序人生 | 人生如棋,落子无悔

人生的开始,始于哭声,浮浮沉沉几十年。终了,一声长叹,在一片哭声中撒手离去。 人生的道路虽然漫长,但是关键就是那么几次机会的选择,可以决定此后几十年的光阴。 有个故事讲:古代有个人去砍柴…

搭建一个Xx431?

搭建一个Xx431? 嘿uu们!刚结束了一周六天班感觉如何? 我的状态倒还行,工作生活总能找到乐子,本周整活就是用纸巾和蛋糕托做的油灯,另外想制冷片做个温水冷水可调的杯托,但我还不会搞3d,希望今年能搞起来. 题外话就说到这,这个选题也是因为实际遇到的问题需要这玩意,下班路…

基于Matplotlib的模型性能可视化工作

一、项目简介 本项目是科技考古墓葬识别工作的中间过程,因为需要大量复用所以另起一章好了。 主要涉及到数据读取、数据可视化和少量的数据处理过程。 二、相关知识 PandasMatplotlib 三、实验过程 1. 数据探索性分析 1.1 准备工作–导入模块 import pandas…

【Python系列】Python中列表属性提取

💝💝💝欢迎来到我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…

【Java orm 框架比较】十一 新增 原生jdbc对比

迁移到(https://gitee.com/wujiawei1207537021/spring-orm-integration-compare) orm框架使用性能比较 比较mybatis-plus、lazy、sqltoy、mybatis-flex、easy-query、mybatis-mp、jpa、dbvisitor、beetlsql、dream_orm、wood、hammer_sql_db、原生jdbc…

OpenCv中cv2.subtract(image,blurred)与(image-blurred)的区别

目录 一、cv2.subtract()函数二、cv2.subtract(image,blurred)和(image-blurred)处理效果对比2.1 代码2.2 输出结果 三、总结 一、cv2.subtract()函数 cv2.subtract是OpenCV库中的一个函数,用于进行图像减法运算。它可以很方便地进行两个图像…

LeetCode/NowCoder-链表经典算法OJ练习1

目录 说在前面 题目一:移除链表元素 题目二:反转链表 题目三:合并两个有序链表 题目四:链表的中间节点 SUMUP结尾 说在前面 dear朋友们大家好!💖💖💖数据结构的学习离不开刷题…

【C/C++笔试练习】DNS设置文件、应用层、Dos攻击、DNS服务、DNS、子网划分、http状态、路由设置、TCP连接、HTTP状态码、剪花布条、客似云来

文章目录 C/C笔试练习选择部分(1)DNS设置文件(2)应用层(3)Dos攻击(4)DNS服务(5)DNS(6)子网划分(7)http状态&am…

网络运维故障排错思路!!!!!(稳了!!!)

1 网络排错的必备条件 为什么要先讲必备条件?因为这里所讲的网络排错并不仅仅是停留在某一个小小命令的使用上,而是一套系统的方法,如果没有这些条件,我真的不能保证下面讲的这些你可以听得懂,并且能运用到实际当中&a…

Navicat 17:先睹为快

官方声明:Navicat 17(英文版)目前处于测试阶段中,并计划 5 月 13 日发布! 如果你觉得 Navicat 16 已经推出很多令人兴奋的新功能,那么这次你可能要好好看看 Navicat 17,本次升级涵盖了更多的内容…

ASP.NET WebApi 如何使用 OAuth2.0 认证

前言 OAuth 2.0 是一种开放标准的授权框架,用于授权第三方应用程序访问受保护资源的流程。 OAuth 2.0 认证是指在这个框架下进行的身份验证和授权过程。 在 OAuth 2.0 认证中,涉及以下主要参与方: 资源所有者(Resource Owner&…

【算法】动态规划之背包DP问题(2024.5.11)

前言: 本系列是学习了董晓老师所讲的知识点做的笔记 董晓算法的个人空间-董晓算法个人主页-哔哩哔哩视频 (bilibili.com) 动态规划系列 【算法】动态规划之线性DP问题-CSDN博客 01背包 步骤: 分析容量j与w[i]的关系,然后分析是否要放…

iLogtail 社区开源之夏活动来了!

作者:玄飏 在这个充满活力的夏日,随着阳光一同灿烂的是开源精神的光辉与创新的火花。iLogtail 社区高兴地宣布,我们正式加入开源之夏 2024 的行列,诚邀每一位怀揣梦想与激情的学生开发者,共同开启一场探索技术前沿、贡…

WP All Import Pro插件下载 - 一键导入,无限可能

在当今快节奏的数字时代,网站内容的更新和管理是每个网站管理员和开发者的日常工作。但是,传统的手动更新方法不仅耗时,而且容易出错。现在,有了WP All Import Pro,这一切都将改变。 WP All Import Pro 是一款专为Wor…

完美撤离暗区突围测试资格获取指南 超简单的暗区突围资格申请

完美撤离!暗区突围测试资格获取指南 超简单的暗区突围资格申请! 最近游戏圈关注度最高的一件事莫过于暗区突围国际服的上线,随着暗区突围PC端的上线,这款游戏的测试资格申请成为了玩家们心头的一个大问题,许多玩家爱不…

SpringBoot实现统一返回值+全局异常处理

在这里首先感谢的就是程序员老罗&#xff0c;从他的项目里面学到了这些东西。 首先就是去创建一个SpringBoot项目&#xff0c;这里我就不多做赘述了 封装一个统一返回对象 package com.example.demo.vo;public class ResponseVO<T> {private String status;private In…