最强的AI视频去码图片修复模型：CodeFormer

1 CodeFormer介绍

1.1 CodeFormer解决的问题

CodeFormer是由南洋理工大学-商汤科技联合研究中心S-Lab在NeurIPS 2022上提出的一种基于VQGAN+Transformer的人脸复原模型。该方法基于预训练VQGAN离散码本空间，改变复原任务的固有范式，将人脸复原任务转成Code序列的预测任务，大幅度降低了复原任务映射的不确定性，同时VQGAN的码本先验也为复原任务提供了丰富的人脸细节。最后，通过Transformer全局建模，进一步增加了模型对严重退化的鲁棒性，使得复原的人脸更加真实。

  • 论文地址：https://arxiv.org/pdf/2206.11253.pdf
  • 代码地址：https://github.com/sczhou/CodeFormer

主要用途：

  • 老照片修复与增强
  • 面部修复
  • 面部颜色增强和修复
  • 马赛克还原

 1.2 人脸复原的挑战

人脸复原任务面临的诸多挑战：

图片复原任务中的共性问题：高度不适定性。

低清图像（LQ）和潜在的高清图像（HQ）存在多对多的映射关系，如下图所示。这种多解的映射使得网络在学习过程中产生疑惑，无法获得一个高质量的输出，且退化越严重，这种不适应性就会越大。“如何才能降低这种映射的不确定性”是其挑战之一。

纹理细节丢失

从上图可以看出，真实场景的低清人脸图片中往往会引入各种退化，包括噪声、JPEG压缩伪影、模糊、下采样等。这些退化不同程度地损害了原有人脸纹理细节，造成信息丢失。“如何更好地补充真实高清纹理”也一直是人脸复原的一大难题。

人脸身份丢失

以上两点都会导致人脸复原的结果很难保持身份的一致性。然而现实应用中又往往对输出人脸的身份一致性有着很高的要求，在输出高清人脸细节的同时，又要与低清人脸的身份保持一致，这无疑增加了复原过程的难度。

1.3 方法动机

我们首先引入了VQGAN的离散码本空间来缓解以上 (1)、(2) 两个问题。有限且离散的映射空间大大降低了复原任务映射的不适定性 (1)。通过VQGAN的自重建训练，码本先验保存了丰富的高清人脸纹理信息，帮助复原任务补充真实的人脸纹理细节 (2)。

如下图所示，相比连续先验空间 (d、e)，离散码本空间 (f、g) 可以输出更高质量的结果 (没有伪影)，保持完好脸庞轮廓的同时，也展现出更真实、细致的纹理。

如何更准确地得到Code序列呢？我们对比分析了两种不同Code序列的查找方式：最近邻特征查找 (f) 和基于Transformer预测 (g)，我们发现基于Transformer预测 (g)会得到更准确的Code序列，即生成更高质量的人脸图像且保持更好的身份一致性，如上图所示。

我们进一步发现，基于VQGAN最近邻特征查找的Code序列查询方式并不适用于低清图像。通过对高清 (HQ) 和低清 (LQ) 特征进行聚类可视化，我们分析了原因，如上图所示。

由于VQGAN的码本通过存储HQ的Code来重建高清人脸图，HQ特征分布在准确的Code簇附近，因此HQ特征可以通过最近邻来进行Code查找。然而，LQ特征丢失了大量的纹理信息，导致其分布到错误的Code簇中 (即便Finetune过Encoder)。

由此得出，最近邻Code查找对于LQ特征并不是最优的解决方案，我们通过Transformer进行全局人脸建模，缓解了局部特征最近邻查找带来的不准确性，从而找到更准确的Code序列，使得模型对严重细节损失更为鲁棒，复原的人脸图片也更加自然。

虽然Transformer可以缓解身份不一致的问题 (3)，但由于VQGAN的码本空间并不能100%完美地重建出任意人脸，比如个人特有面部特征或首饰，因此引入可调节特征融合模块来控制对输入LQ人脸的依赖。

当输入LQ图像退化轻微时，LQ特征很好地保留了个人的身份信息，因此该模块倾向于融合更多的输入信息，使得模型输出和输入图保持身份一致；当输入LQ图像退化严重时，LQ特征中个人的身份信息已经严重损坏且包含了大量的退化噪声，无法对输出身份一致性提供太大的帮助，因此该模块倾向于融合较少的输入信息，从而降低退化对输出质量的影响。

1.4 模型实现

了解本文动机后，这里简单介绍一下本文方法，实现细节请查看原文和代码。

该方法分为3个训练过程：

Stage I：Codebook Learning

首先通过高清人脸自我重建学习，训练VQGAN，从而得到HQ码本空间作为本文的离散人脸先验。为了降低LQ-HQ映射之间的不确定性，我们设计尽量小的码本空间和尽量短的Code序列作为人脸的离散表达。因此，我们采用了大的压缩比 (32倍)，即将原来的人脸图片压缩为的离散Code序列。该设计使得码本中Code具有更丰富的上下文信息，有助于提升网络表达能力以及鲁棒性。

Stage II：Codebook Lookup Transformer Learning

基于得到的码本空间，我们在原来Encoder后又嵌入一个Transformer模块对特征全局建模，以达成更好的Code序列预测。该阶段固定Decoder和Codebook，只需学习Transformer模块并微调Encoder。将原本的复原任务转变为离散Code序列预测任务，改变了复原任务的固有范式，这也是本文的主要贡献之一。

Stage III：Controllable Feature Transformation

尽管Stage II已经实现非常好的人脸复原，我们还希望在人脸复原的质量和保真方面达成更灵活的权衡。因此，该阶段引入可控特征融合模块 (CFT) 来控制Encoder特征和Decode特征 的融合，即：

从而达到：当调小，模型输出质量更高；当调大，模型输出能保持更好的身份一致性。如下图示例，随着 变大，输出人脸身份越来越像输入图，个人特征 (如眉中痔) 也逐渐恢复。

1.5 实验结果 

CodeFormer在人脸复原、人脸颜色增强以及人脸补全三个任务上均表现出了优势，此处只展示输出结果，和其他方法的对比和消融实验请查看原文。

  • 人脸复原

  • 人脸补全

  • 人脸颜色增强

  • AI生成人脸校正

  • 老照片修复

2 CodeFormer部署与运行

2.1 conda环境安装

conda环境准备详见：annoconda

2.2 运行环境构建

git clone https://github.com/sczhou/CodeFormer
cd CodeFormer

conda create -n codeformer python=3.9
conda activate codeformer

pip install -r requirements.txt 
python basicsr/setup.py develop

conda install ffmpeg
pip install ffmpy

2.3 模型下载

python scripts/download_pretrained_models.py facelib

python scripts/download_pretrained_models.py CodeFormer

parsing_parsenet 下载模型存储到weights/facelib/目录下

codeformer_colorization下载模型存储到weights/CodeFormer/目录下

codeformer_inpainting下载模型存储到weights/CodeFormer/目录下

RealESRGAN_x2plus下载模型存储到weights/realesrgan/目录下

 2.4 运行

2.4.1 人脸复原

python inference_codeformer.py -w 0.5 --has_aligned --input_path inputs/cropped_faces/0143.png

2.4.2 全图片增强

python inference_codeformer.py -w 0.7 --input_path inputs/whole_imgs/03.jpg

2.4.3 人脸颜色增强

python inference_colorization.py --input_path inputs/cropped_faces/0368.png

2.4.4 人脸补全

python inference_inpainting.py --input_path inputs/masked_faces/00105.png

2.4.5 视频增强

python inference_codeformer.py --bg_upsampler realesrgan --face_upsample -w 1.0 --input_path inputs/test.mp4

3 安装问题定位与解决

3.1 安装错误描述

安装依赖过程中出现如下错误：

ERROR: HTTP error 404 while getting https://pypi.doubanio.com/packages/66/9a/b6d21ad7d69ce6f78d57bf4cb6382c2121811deeb128c57da22b042fe147/tb_nightly-2.15.0a20230902-py3-none-any.whl#sha256=11ed86269422f5fe48208c732956ac5633b9b76eed5bfed587a0621ce39275b1 (from https://pypi.doubanio.com/simple/tb-nightly/) (requires-python:>=3.9)
ERROR: Could not install requirement tb-nightly from https://pypi.doubanio.com/packages/66/9a/b6d21ad7d69ce6f78d57bf4cb6382c2121811deeb128c57da22b042fe147/tb_nightly-2.15.0a20230902-py3-none-any.whl#sha256=11ed86269422f5fe48208c732956ac5633b9b76eed5bfed587a0621ce39275b1 (from -r requirements.txt (line 11)) because of HTTP error 404 Client Error: Not Found for url: https://mirrors.cloud.tencent.com/pypi/packages/66/9a/b6d21ad7d69ce6f78d57bf4cb6382c2121811deeb128c57da22b042fe147/tb_nightly-2.15.0a20230902-py3-none-any.whl for URL https://pypi.doubanio.com/packages/66/9a/b6d21ad7d69ce6f78d57bf4cb6382c2121811deeb128c57da22b042fe147/tb_nightly-2.15.0a20230902-py3-none-any.whl#sha256=11ed86269422f5fe48208c732956ac5633b9b76eed5bfed587a0621ce39275b1 (from https://pypi.doubanio.com/simple/tb-nightly/) (requires-python:>=3.9)

3.2 问题分析

从错误信息可知，doubanio源中没有tb-nightly这个包

3.3 问题解决

指定aliyun镜像安装tb_nightly

pip install tb_nightly==2.15.0a20230902 -i https://mirrors.aliyun.com/pypi/simple

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/260502.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Zookeeper-集群架构

Zookeeper-集群架构

Zookeeper集群架构 集群角色 Leader： 领导者 事务请求（写操作）的唯一调度者和处理者，保证集群事务处理的顺序性；集群内部各个服务器的调度者。对于create、setData、delete等有写操作的请求，则要统一转发…
阅读更多...
Leetcode—46.全排列【中等】

Leetcode—46.全排列【中等】

2023每日刷题（六十六） Leetcode—46.全排列 算法思想 对于排列来说，我们需要考虑数字之间的相对顺序，不同的相对顺序会产生不同的排列方式。此外，序列中的每个数字一定存在于每个排列当中。因此，不能依次…
阅读更多...
【学习笔记】Java函数式编程02——Stream流

【学习笔记】Java函数式编程02——Stream流

文章目录 三、Stream流3.1 概述3.2 快速入门3.2.1 数据准备3.2.2 场景练习3.2.2.1 场景一、遍历所有作家并打印:star:使用stream()流的forEach方法 3.2.2.2 场景二、打印所以年龄小于18的作家名字，并且注意去重:star:distinct()方法:star:filter()方法 3.2.2.3 场景…
阅读更多...
【数据结构和算法】定长子串中元音的最大数目

【数据结构和算法】定长子串中元音的最大数目

其他系列文章导航 Java基础合集数据结构与算法合集 设计模式合集 多线程合集 分布式合集 ES合集 文章目录 其他系列文章导航 文章目录 前言 一、题目描述 二、题解 2.1 方法一：滑动窗口 2.2 方法二：滑动窗口优化版 三、代码 3.1 方法一&#xf…
阅读更多...
Python-基于fastapi实现SSE流式返回（类似GPT）

Python-基于fastapi实现SSE流式返回（类似GPT）

最近在做大模型对话相关功能，需要将对话内容流式返回给前端页面（类似GPT的效果）。下面直接说下如何实现： 1.首先导入fastapi和sse流式返回所需要的包 from fastapi import APIRouter, Response, status from sse_starlette.sse …
阅读更多...
【数据结构和算法】子数组最大平均数 I

【数据结构和算法】子数组最大平均数 I

其他系列文章导航 Java基础合集数据结构与算法合集 设计模式合集 多线程合集 分布式合集 ES合集 文章目录 其他系列文章导航 文章目录 前言 一、题目描述 二、题解 2.1 滑动窗口含义 2.2 滑动窗口一般解法 2.3 方法一：滑动窗口 三、代码 3.1 方法一&#…
阅读更多...
数据挖掘体系介绍

数据挖掘体系介绍

数据挖掘是什么？ 简而言之，对数据进行挖掘，从中提取出有效的信息。一般我们会把这种信息通过概念、规则、规律、模式等有组织的方式展示出来，形成所谓的知识。特别是在这个大数据时代，当数据多到一定程度，…
阅读更多...
Jenkins 执行远程脚本的插件—SSH2 Easy

Jenkins 执行远程脚本的插件—SSH2 Easy

SSH2 Easy 是什么？ SSH2 Easy 是一个 Jenkins 插件，它用于在 Jenkins 构建过程中通过 SSH2 协议与远程服务器进行交互。通过该插件，用户可以在 Jenkins 的构建过程中执行远程命令、上传或下载文件、管理远程服务器等操作。 以下是 SSH2 Eas…
阅读更多...
用户管理第2节课--idea 2023.2 后端--实现基本数据库操作(操作user表)

用户管理第2节课--idea 2023.2 后端--实现基本数据库操作(操作user表)

一、模型user对象>和数据库的字段关联 & 自动生成 【其中涉及删除表数据，一切又从零开始】 二、模型user对象>和数据库的字段关联 2.1在model文件夹下，新建 user对象 2.1.1 概念 大家可以想象我们现在的数据是存储在数据库里的&…
阅读更多...
HOT 100 最难的题居然是游戏厂的最爱

HOT 100 最难的题居然是游戏厂的最爱

写在前面 翻看 网易 历年笔面题单的时候，发现一道有意思的题目。 该题评论区，网易 的踪影很少，反而被那些在 4399 笔试中遇到的同学所攻陷： 好嘛，所以这道题还是「游戏厂」的最爱？！&#x1f923…
阅读更多...
Ubuntu 常用命令之 fdisk 命令用法介绍

Ubuntu 常用命令之 fdisk 命令用法介绍

fdisk 是一个用于处理磁盘分区的命令行工具，它在 Linux 系统中广泛使用。fdisk 命令可以创建、删除、更改、复制和显示硬盘分区，以及更改硬盘的分区 ID。 fdisk 命令的常用参数如下 -l：列出所有分区表-b：设置扇区大小，如果不设置，默认为 512 字节-u：改变显示/输入单位-…
阅读更多...
亚马逊鲲鹏系统引爆广告点击率提升秘籍

亚马逊鲲鹏系统引爆广告点击率提升秘籍

在竞争激烈的电商市场，提高广告点击率成为各大卖家争相追求的目标。而如今，亚马逊鲲鹏系统的强大功能再次为卖家们打开了广告优化的新大门。其中，搜索广告功能更是成为提高关键词排名的利器。本文将详细介绍如何通过亚马逊鲲鹏系统实现点击广…
阅读更多...
全球知名的五款JavaScript混淆加密工具详解

全球知名的五款JavaScript混淆加密工具详解

​ 现在市场上有很多好用的混淆加密工具，其中一些比较流行且受欢迎的工具包括： 1、UglifyJS（罗马尼亚）：UglifyJS是一个非常流行的 JavaScript工具库，它可以压缩、混淆、美化和格式化 JavaScript 代码。使用…
阅读更多...
A01、关于jvm执行子系统

A01、关于jvm执行子系统

1、Class 类文件结构 1.1、Java跨平台的基础 各种不同平台的虚拟机与所有平台都统一使用的程序存储格式——字节码（ByteCode）是构成平台无关性的基石，也是语言无关性的基础。Java虚拟机不和包括Java在内的任何语言绑定，它只与 “…
阅读更多...
新三板炒股开户需要满足哪些条件？交易规则有哪些？

新三板炒股开户需要满足哪些条件？交易规则有哪些？

新三板是全国中小企业股份转让系统，属于场外市场，不能满足在主板上市的中小企业就可以申请在新三板挂牌交易。 一、新三板开通条件 新三板分为2个层级： 创新层：开通前10个交易日日均资产100万及以上，两年的股票交易经…
阅读更多...
Jenkins 构建触发器指南

Jenkins 构建触发器指南

目录 触发远程构建 (例如，使用脚本) 描述 配置步骤 安全令牌 在其他项目构建完成后触发构建 描述 配置步骤 定时触发构建 描述 配置步骤 GitHub钩子触发GITScm轮询 描述 配置步骤 Poll SCM - 轮询版本控制系统 描述 触发远程构建 (例如，使…
阅读更多...
基于SSM的双减后初小教育课外学习生活活动平台的设计与实现

基于SSM的双减后初小教育课外学习生活活动平台的设计与实现

末尾获取源码 开发语言：Java Java开发工具：JDK1.8 后端框架：SSM 前端：Vue 数据库：MySQL5.7和Navicat管理工具结合 服务器：Tomcat8.5 开发软件：IDEA / Eclipse 是否Maven项目：是 目录…
阅读更多...
基于EasyDarwin、ffmpeg实现rtsp推流

基于EasyDarwin、ffmpeg实现rtsp推流

目录 1 安装EasyDarwin 2 编译安装ffmpeg 3 启动EasyDarwin 4 ffmepg推流 5 百度网盘备份 某项目中测试时需要用到推流，于是用EasyDarwin、ffmpeg实现了RTSP推流，简单记录下过程， 1 安装EasyDarwin 这个可以去官网下载：Eas…
阅读更多...
SearchWP WordPress高级网站内容搜索插件

SearchWP WordPress高级网站内容搜索插件

点击阅读SearchWP WordPress高级网站内容搜索插件原文 SearchWP WordPress高级网站内容搜索插件是一个非常强大的工具，可以显着增强您网站的搜索功能。通过向网站访问者提供高度相关和精确的搜索结果，它可以有效地简化他们的搜索过程，促进发…
阅读更多...
快速能访问服务器的文件

快速能访问服务器的文件

1、背景 访问ubuntu上的文件 2、方法 python3 -m http.server 8081 --directory /home/ NAS 共享访问协议 — NFS、SMB、FTP、WebDAV 各有何优势？http://1 Ubuntu 搭建文件服务器（Nginx）
阅读更多...
最新文章

Copyright @ 2022~2023