CSGO: Content-Style Composition in Text-to-Image Generation(代码的复现)

文章目录

  • CSGO简介
  • 论文的代码部署
    • 需要下载的模型权重:
    • 复现中存在的一些问题
  • 推理代码
  • 生成结果示意图

CSGO简介

CSGO: Content-Style Composition in Text-to-Image Generation(风格迁移)
本文是一篇风格迁移的论文:将内容参考图像和风格参考图像分别投影,然后注入到内容模块和风格模块,同时采用controlnet的方法将内容参考图像注入unet的上采样块当中。
在这里插入图片描述
github中项目的地址

论文的代码部署

需要下载的模型权重:

我们的方法与 SDXL、VAE、ControlNet 和图像编码器完全兼容。请下载它们并将它们放在 ./base_models 文件夹中。
按照readme里面的指引,下载到如下文件夹里面:

在这里插入图片描述

复现中存在的一些问题

①需要保证如下包的版本与readme一致

diffusers==0.25.1
torch==2.0.1
torchaudio==2.0.2
torchvision==0.15.2
transformers==4.40.2

② NotImplementedError: Cannot copy out of meta tensor; no data!
参考知乎这篇
大语言模型调用踩坑点记录
数据在显存和内存中切换,导致出问题(显存不够)
在这里插入图片描述
部分参数从gpu拷贝到cpu会报错,将改成low_cpu_mem_usage=False,可以正常推理

pipe = StableDiffusionXLControlNetPipeline.from_pretrained(
    base_model_path,
    controlnet=controlnet,
    torch_dtype=torch.float16,
    add_watermarker=False,
    use_safetensors=True,
    vae=vae,
    revision="fp16",
	##这个参数
    low_cpu_mem_usage=False

)

③模型加载的问题
由于下载的模型权重都是fp16的格式的,然而这里模型的加载方式的参数是统一在最外面控制的,导致不同模型加载时,识别不了对应的模型文件:
加载模型是一些参数的设定

pipe = StableDiffusionXLControlNetPipeline.from_pretrained(
    base_model_path,
    controlnet=controlnet,
    torch_dtype=torch.float16,
    add_watermarker=False,
    #用safetensors格式的权重文件
    use_safetensors=True,
    vae=vae,
    revision="fp16",
    #device_map="auto"
    low_cpu_mem_usage=False

)
#这两个参数同时为fp16才会去读fp16的文件
 revision="fp16"
 variant= "fp16"

④需要统一数据的数据类型
由于之前的文本编码器的权重读取的是fp32,导致后续出现数据的类型不相同不能做运算的情况。
将pipe = StableDiffusionXLControlNetPipeline.from_pretrained(
base_model_path,
controlnet=controlnet,
torch_dtype=torch.float16,
add_watermarker=False,
use_safetensors=True,
vae=vae,
revision=“fp16”,
#device_map=“auto”
low_cpu_mem_usage=False

)中的.from_pretrained函数(这个函数在pipeline_utils.py文件夹里)进行修改,当模型是文本编码器时,修改传入的一些参数

 if name == "text_encoder":
 					#如果是文本编码器,将varient设置为fp16
                    variant = "fp16"
                    if variant is not None:
                        # for folder in os.listdir(cached_folder):
                        folder_path = os.path.join(cached_folder, "text_encoder")
                        is_folder = os.path.isdir(folder_path) and "text_encoder" in config_dict
                        variant_exists = is_folder and any(
                            p.split(".")[1].startswith(variant) for p in os.listdir(folder_path)
                        )
                        if variant_exists:
                            model_variants["text_encoder"] = variant
                if name == "text_encoder_2":
                    variant = "fp16"
                    if variant is not None:
                        # for folder in os.listdir(cached_folder):
                        folder_path = os.path.join(cached_folder, "text_encoder_2")
                        is_folder = os.path.isdir(folder_path) and "text_encoder_2" in config_dict
                        variant_exists = is_folder and any(
                            p.split(".")[1].startswith(variant) for p in os.listdir(folder_path)
                        )
                        if variant_exists:
                            model_variants["text_encoder_2"] = variant
                            
                loaded_sub_model = load_sub_model(
                    library_name=library_name,
                    class_name=class_name,
                    importable_classes=importable_classes,
                    pipelines=pipelines,
                    is_pipeline_module=is_pipeline_module,
                    pipeline_class=pipeline_class,
                    torch_dtype=torch_dtype,
                    provider=provider,
                    sess_options=sess_options,
                    device_map=device_map,
                    max_memory=max_memory,
                    offload_folder=offload_folder,
                    offload_state_dict=offload_state_dict,
                    model_variants=model_variants,
                    name=name,
                    from_flax=from_flax,
                    variant=variant,
                    low_cpu_mem_usage=low_cpu_mem_usage,
                    cached_folder=cached_folder,
                    revision=revision,
                )
                logger.info(
                    f"Loaded {name} as {class_name} from `{name}` subfolder of {pretrained_model_name_or_path}."
                )
               

⑤推理代码中的风格图像和内容图像都要是两个图像,而给的代码中是一个文本,一个图像

## 注意这里的两个图片都要转化为图片的格式,论文给的推理代码一个是文本,另一个是
style_image = Image.open("/mnt/CSGO-main/assets/{}".format(style_name)).convert('RGB')
content_image = Image.open('/mnt/test/image/{}'.format(content_name)).convert('RGB')

推理代码

import random

import torch
from ip_adapter.utils import BLOCKS as BLOCKS
from ip_adapter.utils import controlnet_BLOCKS as controlnet_BLOCKS
from PIL import Image
from diffusers import (
    AutoencoderKL,
    ControlNetModel,
    StableDiffusionXLControlNetPipeline,

)
from ip_adapter import CSGO


#device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")

device = 'cuda:0'

base_model_path =  "./base_models/stable-diffusion-xl-base-1.0"  
image_encoder_path = "./base_models/IP-Adapter/sdxl_models/image_encoder"
csgo_ckpt = "./CSGO/csgo4_32.bin"
pretrained_vae_name_or_path ='./base_models/vae'
controlnet_path = "./base_models/TTPLanet_SDXL_Controlnet_Tile_Realistic"
weight_dtype = torch.float16
weight_dtype = torch.float16


vae = AutoencoderKL.from_pretrained(pretrained_vae_name_or_path,torch_dtype=torch.float16)
controlnet = ControlNetModel.from_pretrained(controlnet_path, torch_dtype=torch.float16,use_safetensors=True)

def get_device_map():
    return 'cuda' if torch.cuda.is_available() else 'cpu'

device = get_device_map()

pipe = StableDiffusionXLControlNetPipeline.from_pretrained(
    base_model_path,
    controlnet=controlnet,
    torch_dtype=torch.float16,
    add_watermarker=False,
    use_safetensors=True,
    vae=vae,
    revision="fp16",
    ## 这里要加这个代码,不然会报错,因为显存不够,然后导致数据在显存和内存之间转换,报错
    low_cpu_mem_usage=False
)
pipe.enable_vae_tiling()

target_content_blocks = BLOCKS['content']
target_style_blocks = BLOCKS['style']
controlnet_target_content_blocks = controlnet_BLOCKS['content']
controlnet_target_style_blocks = controlnet_BLOCKS['style']


csgo = CSGO(pipe, image_encoder_path, csgo_ckpt, device, num_content_tokens=4,num_style_tokens=32,
                          target_content_blocks=target_content_blocks, target_style_blocks=target_style_blocks,controlnet_adapter=True,
                              controlnet_target_content_blocks=controlnet_target_content_blocks,
                              controlnet_target_style_blocks=controlnet_target_style_blocks,
                              content_model_resampler=True,
                              style_model_resampler=True,


                              )

style_name = 'img_0.png'
content_name = 's_01_e_26_shot_005126_005200.png'

## 注意这里的两个图片都要转化为图片的格式,论文给的推理代码一个是文本,另一个是
style_image = Image.open("/mnt/CSGO-main/assets/{}".format(style_name)).convert('RGB')
content_image = Image.open('/mnt/test/image/{}'.format(content_name)).convert('RGB')

num_sample=1
caption = ''
#写个循环,看看各个参数对生成图片的影响
while True:
    tem = 0
    for ccs in range(5, 11, 1):
        ccs = ccs * 0.1
        content_scale = random.uniform(0.6, 1.5)
        style_scale = random.uniform(0.5, 1)
        images = csgo.generate(pil_content_image= content_image, pil_style_image=style_image,
                                   prompt=caption,
                                   negative_prompt= "text, watermark, lowres, low quality, worst quality, deformed, glitch, low contrast, noisy, saturation, blurry",
                                   content_scale=1.0,
                                   style_scale=1.0,
                                   guidance_scale=10,
                                   num_images_per_prompt=num_sample,
                                   num_samples=1,
                                   num_inference_steps=50,
                                   seed=42,
                                   image=content_image.convert('RGB'),
                                   controlnet_conditioning_scale=0.6,
                                  )
        formatted_ccs = "{:.2f}".format(ccs)
        formatted_content_scale = "{:.2f}".format(content_scale)
        formatted_style_scale = "{:.2f}".format(style_scale)
        images[0].save(f"inference/ccs:{formatted_ccs}-cs:{formatted_content_scale}-ss:{formatted_style_scale}.png")

    tem = tem + 1
    if tem >= 100:
        break

生成结果示意图

风格参考图像
在这里插入图片描述

文本: a cat

生成的图像
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/906132.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Excel重新踩坑4:快捷键;逻辑函数;文本函数;日期相关函数;查找与引用函数;统计类函数;数组公式

0、excel常用快捷键 基础快捷键: alt:快速区域求和; ★ altenter:强制换行(因为在excel单元格中没法用enter换行);altj:强制换行符的替换删除,这里altj就是在替换中输入…

【JavaEE初阶 — 多线程】认识线程

目录 认识线程(Thread) 1 线程是什么? 2 为什么要有线程 3 进程和线程的区别 区别一 区别二 区别三 区别四 4. Java的线程和操作系统线程的关系 5.创建第一个多线程程序 引入Thread类 重写run() start()与run()区别 降低多线程对CPU的占用…

链栈的引用

链栈&#xff0c;自己实现一遍&#xff0c;但是节点存储不是整数&#xff0c;存储学生信息&#xff08;年龄&#xff0c;分数&#xff0c;姓名&#xff09;三级引用。 1、建立学生信息结构体&#xff0c;将data改为学生信息结构体类型。 2、循环入栈和出栈。 #include<m…

Games101笔记-三维Transform变换(三)

1、二维矩阵转化为三维 1、将3x3的变换矩阵升维到4x4的变换矩阵即可 2、缩放及平移 3、旋转 2、视图变换 1、MVP变换&#xff1a;模型&#xff08;场景&#xff09;视图&#xff08;相机&#xff09;投影&#xff08;正交/透视&#xff09; 2、正交投影和透视投影区别 …

树莓派开发相关知识六 -串口通讯

1、uart串口通信 uart串口通信协议&#xff0c;使用txd&#xff0c;rxd双引脚实行异步数据传输&#xff0c;其中txd为传输口&#xff0c;rxd为接收口。 其协议如上图&#xff0c;由起始位有效数据位奇偶校验位(*可选)&#xff0c;停止位(*宽度可调)&#xff0c;空闲位组成&…

qt QCheckBox详解

QCheckBox 是 Qt 框架中的一个控件&#xff0c;用于创建复选框&#xff0c;允许用户进行选择和取消选择。它通常用于表单、设置界面和任何需要用户选择的场景。 QCheckBox继承自QAbstractButton类&#xff0c;因此继承了按钮的特性。它表示一个复选框&#xff0c;用户可以通过…

计算机网络(Ⅴ)网络核心

电路交换 为源主机分配了独享的线路。有资源浪费是缺点。 优点是保障了性能&#xff0c;但是资源共享的能力较差&#xff08;计算机的通讯不是持续的&#xff0c;具有突发性&#xff0c;不适用于电路交换&#xff09; 频分&#xff08;FDM&#xff09;&#xff1a;交换节点与交…

漫途焊机安全生产监管方案,提升安全生产管理水平!

随着智能制造时代的到来&#xff0c;企业安全生产管理的重要性日益凸显。特别是在现代工厂中&#xff0c;焊机的安全生产监管成为了一个不容忽视的重要环节。传统的焊机安全生产监管方式存在诸多不足&#xff0c;如人工巡检频率低、数据延迟、安全隐患发现不及时等问题。因此&a…

下划线命名转驼峰

转小驼峰 //下划线对小驼峰命名转换 public class UnderlineToCamelCase {public static String underlineToCamel(String underlineStr) {String[] words underlineStr.split("_");StringBuilder result new StringBuilder(words[0]);// 从第二个单词开始&#x…

ICPC区域赛成都站【赛后回顾+总结】

传送门 前言赛后总结赛后回顾赛后感悟 前言 首先&#xff0c;这是本人本赛季第一场XCPC区域赛&#xff0c;也是本人算竞生涯中第一场XCPC区域赛&#xff08;之前只打过邀请赛和省赛&#xff09;。 赛后总结 然后赛后总结一下&#xff1a;我队天崩开局&#xff0c;我队出师不利…

小红书笔记详情API接口系列(概述到示例案例)

小红书笔记详情数据API接口是小红书开放平台提供的一项服务&#xff0c;允许开发者获取小红书上的笔记详情数据。以下是对该接口及其使用方法的详细介绍&#xff1a; 一、接口概述 小红书笔记详情数据API接口提供了一系列的接口&#xff0c;允许开发者获取笔记的标题、正文、标…

如何有效提升MySQL大表分页查询效率(本文以一张900万条数据体量的表为例进行详细解读)

文章目录 1、提出问题1.1 问题测试 2、解决问题&#xff08;三种方案&#xff09;2.1、方案一&#xff1a;查询的时候&#xff0c;只返回主键 ID2.2、方案二&#xff1a;查询的时候&#xff0c;通过主键 ID 过滤2.3、方案三&#xff1a;采用 elasticSearch 作为搜索引擎 3、总结…

整车功能架构 --- 智能座舱

我是穿拖鞋的汉子&#xff0c;魔都中坚持长期主义的汽车电子工程师。 老规矩&#xff0c;分享一段喜欢的文字&#xff0c;避免自己成为高知识低文化的工程师&#xff1a; 所有人的看法和评价都是暂时的&#xff0c;只有自己的经历是伴随一生的&#xff0c;几乎所有的担忧和畏惧…

「C/C++」C/C++ 之 动态内存分配

✨博客主页何曾参静谧的博客&#x1f4cc;文章专栏「C/C」C/C程序设计&#x1f4da;全部专栏「VS」Visual Studio「C/C」C/C程序设计「UG/NX」BlockUI集合「Win」Windows程序设计「DSA」数据结构与算法「UG/NX」NX二次开发「QT」QT5程序设计「File」数据文件格式「PK」Parasoli…

WSGI、uwsgi、uWSGI与Nginx

一、写在前 WSGI、uwsgi与uWSGI WSGI (web server gateway interface 网络服务网关接口) 只能用于python&#xff0c;是一个接口标准协议&#xff0c;django、flask自带有uwsgi 是WSGI的通信协议uWSGI是实现了uwsgi协议和WSGI服务的web服务器 他们是为了将web服务器与web框架…

【element ui系列】分享几种实现el-table表格单选的方法

在实际的开发中&#xff0c;经常会用到从表格中选择一条记录的情况&#xff0c;虽然官方给出的例子&#xff0c;但是给人感觉看起来不明显&#xff0c;于是&#xff0c;在此基础上做了改进。接下来&#xff0c;介绍两种常见的实现方法&#xff1a; 1、采用复选框(checkbox)实现…

nodejs批量修改word文档目录样式

工作中遇到一个需求:写个nodejs脚本,对word文档(1000+个)的目录页面进行美化。实现过程遇到不少麻烦,在此分享下。 整体思路 众所周知,Docx格式的Word文档其实是个以xml文件为主的zip压缩包,所以,页面美化整体思路是:先将文档后缀名改为zip并解压到本地,然后将关键的…

信息安全数学基础(40)同态

一、定义 设R和S是两个环&#xff08;或群等其他代数结构&#xff09;&#xff0c;如果存在一个映射σ&#xff1a;R→S&#xff0c;使得对于R中的任意元素a和b&#xff0c;都满足σ(ab)σ(a)σ(b)和σ(ab)σ(a)σ(b)&#xff08;在群的情况下&#xff0c;则满足σ(a*b)σ(a)σ…

【笔面试常见题:三门问题】用条件概率、全概率和贝叶斯推导

1. 问题介绍 三门问题&#xff0c;又叫蒙提霍尔问题&#xff08;Monty Hall problem&#xff09;&#xff0c;以下是蒙提霍尔问题的一个著名的叙述&#xff0c;来自Craig F. Whitaker于1990年寄给《展示杂志》&#xff08;Parade Magazine&#xff09;玛丽莲沃斯莎凡特&#x…

反向代购企业如何精准出击高需求国家——以俄罗斯市场为例

在全球化贸易的浪潮中&#xff0c;中国凭借其强大的工业生产能力、优越的地缘优势以及与俄罗斯日益紧密的双边关系&#xff0c;已成为俄罗斯不可或缺的贸易伙伴。中国制造的商品&#xff0c;从衣食住行到各类消费品&#xff0c;已深深渗透到俄罗斯民众的日常生活中。 据数据统计…