一键把二次元老婆拉进现实(Stable Diffusion进阶:ControlNet LineArt模型)

大家好我是极客菌!!!

操作,就能将二次元老婆拉进现实,成为你的专属女友。本文将带你深入了解ControlNet LineArt模型的使用方法,助你轻松实现这一梦想。

ControlNet LineArt模型是Stable Diffusion的最新进阶版本,它能够将二次元动漫人物以LineArt的形式生成现实中的照片。这一功能的出现,让二次元老婆瞬间变得触手可及,成为现实中的女友。
在这里插入图片描述

其实在很早之前我曾和我的爸妈说过我找了一个喜欢玩cos的女朋友,并借此申请了一些经费用于购买服饰啥的。

当然我没有说谎,我真的拿去买新衣服了,也是买给我的老婆“们”的。

我也用了一些Stable Diffusion的小技巧画出了一张张cos图,虽然每张图片长得都有丢丢不太一样不过好在我爸妈那边是过关了。

当然后续还是得学习一下怎么炼模型好让自己的图片产出不要差别太大,但是这个不是今天的主题。

前段时间可能大伙都听过了海贼王的真人版开播

有很多人觉得这是难得的真人比较符合动漫形象的漫改,而在更早期就有人用AI制作出了他们心目中海贼王在现实里的形象。

大部分是利用类似于Lora不断地喂养素材,让AI能够更好地画出一个“coser”而不是本人。

而今天的内容则是学习如何利用ControlNet LineArt模型及其应用原理,从而实现真人化转绘、线稿填色、三维渲染等以前我想都不敢想的操作。

看到这里相信各位都已经迫不及待准备将“老婆们”带进三次元世界,那我也就不卖关子让我们开始今天的学习吧!


图生图转绘

到目前为止学会的知识点中直接用图生图功能进行三次元转绘是最简单的方法,也就相当于AI在原图的基础上进行关键元素的抽取,然后根据这些元素再进行重绘。

而像是一些模型例如我比较喜欢的majic

这类模型都会喂养大量的真实人物图片,AI就可以根据这些图片绘画出十分贴近现实的人物图像了。

当然这步骤也很简单,只需要跟着我操作就行。

第一步:挑选一张合适的角色原图

将这张图导入图生图中,这个时候可以自己填写提示词或者利用DeepBooru反推功能进行提示词的反推。

又或者可以用WD1.4 标签器这个插件进行提示词反推,不过记得删改那些觉得不合适的提示词。

第二步:选择合适的模型

  • 像是MajicMix Realistic适合东亚面孔以及年轻的女性,就很适合绝大部分符合东南亚审美的角色。

  • 而Realistic Vision则适合西方面孔以及男性角色,会显得比较硬朗的那种。

  • A-Zovya Photoreal则适合非亚洲面孔以及一些少数族裔面孔。

第三部:参数的调整

因为是重绘,所以下方的重绘幅度不适合过高(小于0.5),之后点击生成就可以得到一份“三次元”写真了!

这么看下来效果其实还ok,不过图生图这么用还是有些不足的地方,最直观的就是图片清晰度不够从而细节方面有些对不上号。

例如这个椅子、发夹、胸前的头发等,如果想要让生成的结果更符合预期,那么还得给AI来点猛的。

ControlNet LineArt

ControlNet这东西蛮早就学习过了,在后续其他知识点的学习运用中也不止一次地出现,究其原因还是太好用了。

ControlNet可以将图像中人物的姿势、画面细节等东西提炼出来塞给AI,目前的ControlNet有着18种控制类型以及数不清的新模型和预处理器。

而这篇文章的主力也就是之前提起过的老朋友-LineArt线稿,这功能本质上是一种基于边缘萧条的图像控制引导。

也就是将一幅画的人物轮廓等画成一张线稿图,然后在根据这幅线稿图重新绘画,这样就起到了固定形体和细节特征。

来到下方的ControlNet后选择启用,在图生图中不需要再单独上传图像,如果需要的话也可以上传。

选择Lineart线稿并且选择动漫线稿提取,其余的参数就不变动了,直接点击生成。

在有了线条的指引之后可以看出AI绘画的图片更加接近原作的效果。

而在上面选择了动漫线稿的预处理器可以看出其绘画出来的效果是这样的:

点击下方预处理器右边爆炸的按钮

而不同逻辑的预处理器识别线条也会有所差异,二次元转真人选择lineart_anime就对了,选择去噪的那个则会让线条更精细些。

如果是从真实照片中提取线条就选择Realistic,这一般用于真人转动漫的绘画。

Standard和Invert一般用于真正的白底黑线“线稿图”,这两个起到反色的作用,将白底黑线的线稿图转化为AI可以识别的黑底白线。

而Coarse则是可以让AI有更多创作空间,因为这个选项会让线稿没那么细致,AI就可以自己发挥了。

IP-Adapter

如果就到此结束今天的内容就有点少了,对于二次元角色而言有着多套衣服是很正常的事情,而这个全新的IP-Adapter控制模型也就是这一部分内容的主角。

这个IP-Adapter是由腾讯AI实验室开发的图片生成项目

在以往的学习中往往只能通过提示词的方式来向AI传递一些内容方面的信息,图生图功能严格意义上来说更像是复制色彩上的相似性。

而IP-Adapter则会真正地去理解这张图片的含义,并用学习到的东西去微调输出的结果,从而让结果无论是色彩、形象上都更像输入的那张参考图。

当IP-Adapter与其他模型组合起来的时候就可以起到“画风迁移”的效果,接下来看一下演示的效果就知道了。

第一步:进入到文生图,在ControlNet的第一个窗口中导入想要制定的风格参考图

控制权重和引导终止时机一般设置在0.8会比较好,这样AI就不会过度发挥

第二步:打开第二个ControlNet Unit将角色原图导入进去

第二个Unit还是选择LineArt就可以了

第三步:选择与原图画风相似的模型

大部分二次元模型都可以,这个看自己选图的结果。

第四步:输入提示词,然后点击生成。

提示词中可以适当补充与该灵感相关的描述,例如我上面例图中绿色,白毛等等。

这里我借用原教程作者演示的图片,我发现目前而言LineArt与IP-Adapter结合的话像是作者例图的纯白背景人物图会比较不容易出错。

也就是白色的背景加上色调没那么杂乱的类似于人物设定图的比较好生成,而我尝试了几次用的图颜色都比较丰富并且结果也不稳定,当然也可能是我自己操作漏了或者什么情况,这个还需要我再研究研究。

看到这里可以发现其实IP-Adapter像是一个一键换肤的功能,可以帮助二次元角色进行风格的更换:

今天的内容就到这里结束啦!

主要是一个LineArt和IP-Adapter的学习使用,当然后面还有一小部分我放在下篇文章中去学习。

在LineArt将二次元图像转换为三次元之后就可以拿去超分放大,这样一来细节不足的地方也就可以弥补上了。

那么大伙下篇笔记见,拜了个拜!

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述
在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/762916.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

AI大模型日报#0701:Meta发布LLM Compiler、扒一扒Sora两带头人博士论文

导读:AI大模型日报,爬虫LLM自动生成,一文览尽每日AI大模型要点资讯!目前采用“文心一言”(ERNIE-4.0-8K-latest)生成了今日要点以及每条资讯的摘要。欢迎阅读!《AI大模型日报》今日要点&#xf…

32.哀家要长脑子了!

1.299. 猜数字游戏 - 力扣(LeetCode) 公牛还是挺好数的,奶牛。。。妈呀,一朝打回解放前 抓本质抓本质,有多少位非公牛数可以通过重新排列转换公牛数字,意思就是,当这个数不是公牛数字时&#x…

控制器方法执行流程和 @InitBinder【Spring源码学习】

控制器方法执行流程 InitBinder 加在ControllerAdvice中 首先说明ControllerAdvice和aop没有任何关系! 加在ControllerAdvice中只对所有控制器都生效 全局的在开始时就会保存到handlerMappingAdapter中的cache中; 加在Controller中 加在controller中只对…

TS---typescript的安装和tsc命令使用

什么是TS---typescript? (TypeScript是Microsoft公司注册商标) TypeScript具有类型系统,且是JavaScript的超集, 它可以编译成普通的JavaScript代码。TypeScript支持任意浏览器,任意环境,任意系…

仓库管理系统24--统计报表

原创不易,打字不易,截图不易,多多点赞,送人玫瑰,留有余香,财务自由明日实现 1、引用LiveCharts 2、创建LiveChartViewModel using GalaSoft.MvvmLight; using LiveCharts.Wpf; using LiveCharts; using Sy…

手把手搞定报名亚马逊科技认证

引言 亚马逊云科技认证考试为我们这些技术从业者提供了提升专业技能的机会。无论选择线上还是线下考试,每种方式都有其独特的优势和挑战。选择合适的考试方式将帮助我们更好地展示自己的技术水平。以下是我对不同考试方式的优缺点介绍,以及各科目的考试…

Java案例抢红包

目录 一:题目要求: 二:思路分析:(遇见问题先想出完整的思路逻辑再去动手事半功倍) 三:具体代码: 一:题目要求: 二:思路分析:&#x…

基于隐马尔可夫模型的股票预测【HMM】

基于机器学习方法的股票预测系列文章目录 一、基于强化学习DQN的股票预测【股票交易】 二、基于CNN的股票预测方法【卷积神经网络】 三、基于隐马尔可夫模型的股票预测【HMM】 文章目录 基于机器学习方法的股票预测系列文章目录一、HMM模型简介(1)前向后…

Python容器 之 列表--下标和切片

列表的切片 得到是 新的列表字符串的切片 得到是 新的字符串 如果下标 不存在会报错 list1 [1, 3.14, "hello", False] print(list1)# 获取 列表中 第一个数据 print(list1[0]) # 1# 获取列表中的最后一个数据 print(list1[-1]) # [False]# 获取中间两个数 即 3.1…

面经-数据库

1.MySQL 1.1什么是MySQL? MySQL 是⼀种关系型数据库,在 Java 企业级开发中⾮常常⽤,因为 MySQL 是开源免费的,并 且⽅便扩展。阿⾥巴巴数据库系统也⼤量⽤到了 MySQL ,因此它的稳定性是有保障的。 MySQL 是开放源代码的&…

VuePress介绍

从本文开始,动手搭建自己的博客!希望读者能跟着一起动手,这样才能真正掌握。 ‍ VuePress 是什么 VuePress 是由 Vue 作者带领团队开发的,非常火,使用的人很多;Vue 框架官网也是用了 VuePress 搭建的。即…

一、安全完善度等级SIL(Safety Integrity Level)介绍

目录 一、背景 二、定义 2.1 相关概念介绍如下: 2.2 扩展 2.3 注意事项 一、背景 在轨道交通行业中,安全完善度等级(SIL,Safety Integrity Level)是一个至关重要的概念,它用于评估安全相关系统&#x…

昇思25天学习打卡营第13天|基于MobileNetV2的垃圾分类

MobileNetv2模型原理介绍 相比于传统的卷积神经网络,MobileNet网络使用深度可分离卷积(Depthwise Separable Convolution)的思想在准确率小幅度降低的前提下,大大减小了模型参数与运算量。并引入宽度系数α和分辨率系数β使模型满…

头文件没有string.h ----- 怎么统计字符串的长度?

字符串的逆序&#xff08;看收藏里面的题&#xff09; 第一种方式&#xff1a; #include <stdio.h> void f(char *p);int main() {char s[1000];gets(s);f(s);printf("%s",s);return 0; }void f(char *p) {int i0;int q,k0;while(p[i]!\0){i;}while(k<i){…

js修改scss变量

style.scss $color : var(--color,#ccc); // 默认值 #ccc .color{background: $color; } 定义了一个scss变量&#xff08;$color&#xff09;&#xff0c;用普通的css变量&#xff08;--color&#xff09;给他赋值&#xff0c;这里需要一个默认值&#xff0c;此时css变量(--co…

python 中的 下划线_ 是啥意思

在 Python 中&#xff0c;_&#xff08;下划线&#xff09;通常用作占位符&#xff0c;表示一个变量名&#xff0c;但程序中不会实际使用这个变量的值。 目录 忽略循环变量&#xff1a;忽略函数返回值&#xff1a;在解释器中使用&#xff1a;举例子1. 忽略循环变量2. 忽略不需…

001 SpringMVC介绍

文章目录 基础概念介绍BS和CS开发架构应用系统三层架构MVC设计模式 SpringMVC介绍SpringMVC是什么SpringMVC与Spring的联系为什么要学习SpringMVC 六大组件介绍六大组件(MVC组件其他三大组件)说明 基础概念介绍 BS和CS开发架构 一种是C/S架构&#xff0c;也就是客户端/服务器…

依托天拓四方工业智能网关实现CNC数控机床的远程运维

随着工业4.0时代的到来&#xff0c;智能制造和工业互联网成为了推动制造业转型升级的重要力量。CNC数控机床作为制造业的核心设备&#xff0c;其运行效率与稳定性直接关系到企业的生产效益。因此&#xff0c;实现CNC数控机床的远程运维&#xff0c;对于提升企业竞争力、降低运营…

使用systemd管理Linux下的frps服务:安装、配置及自动化操作指南

在 Linux 系统下&#xff0c;使用 systemd 可以方便地控制 frps 服务端的启动、停止、配置后台运行以及开机自启动。以下是具体的操作步骤&#xff1a; 1. 安装 systemd 如果您的 Linux 服务器上尚未安装 systemd&#xff0c;可以使用包管理器如 yum&#xff08;适用于 Cent…

K8S学习教程(一):使用PetaExpress云服务器安装Minikube 集群题

什么是Minikube Minikube是一款工具&#xff0c;主要用于在本地运行 Kubernetes 集群。Kubernetes 开源的平台&#xff0c;用于自动化容器化应用的部署、扩展和管理&#xff0c;而Minikube 使得开发人员能够在本地机器上轻松创建一个单节点的 Kubernetes 集群&#xff0c;从而…