政安晨【零基础玩转各类开源AI项目】基于Ubuntu系统部署Hallo ：针对肖像图像动画的分层音频驱动视觉合成

目录

背景介绍 

训练与推理

训练

推理

开始部署

1. 把项目源码下载到本地

2. 创建 conda 环境

3. 使用 pip 安装软件包

4. 下载预训练模型

5. 准备推理数据

6. 运行推理

关于训练

为训练准备数据

训练

政安晨的个人主页：政安晨

欢迎 👍点赞✍评论⭐收藏

希望政安晨的博客能够对您有所裨益，如有不足之处，欢迎在评论区提出指正！

本文目标：在Ubuntu系统上部署Hallo，实现训练和推理

背景介绍 

由语音音频输入驱动的肖像图像动画领域在生成逼真的动态肖像方面取得了重大进展。

这项研究深入探讨了同步面部运动的复杂性，以及在基于扩散的方法框架内创建视觉上吸引人、时间上一致的动画。

我们的创新方法摒弃了依赖参数模型进行中间面部表征的传统模式，采用了端到端扩散模式，并引入了分层音频驱动视觉合成模块，以提高音频输入和视觉输出（包括嘴唇、表情和姿势运动）之间的对齐精度。 我们提出的网络架构无缝集成了基于扩散的生成模型、基于 UNet 的去噪器、时序对齐技术和参考网络。 所提出的分层音频驱动视觉合成技术可对表情和姿势多样性进行自适应控制，从而更有效地实现针对不同身份的个性化定制。

通过结合定性和定量分析的综合评估，我们的方法在图像和视频质量、嘴唇同步精度和动作多样性方面都有明显的提升。

项目地址为：

https://github.com/fudan-generative-vision/halloicon-default.png?t=N7T8https://github.com/fudan-generative-vision/hallo

本方法所提议的流程概览如下：

具体而言，我们将包含肖像的参考图像与相应的音频输入整合，并用于驱动肖像动画。

可选的视觉合成权重可用于平衡嘴唇、表情和姿势权重。

ReferenceNet编码全局视觉纹理信息，用于实现一致且可控的角色动画。

人脸和音频编码器分别生成高保真的肖像身份特征和将音频编码为动作信息。

层次化音频驱动的视觉合成模块建立了音频和视觉组件（嘴唇、表情、姿势）之间的关系，并在扩散过程中使用UNet降噪器。

音频驱动的层次视觉合成的可视化及原始全方法与我们提出的层次音频-视觉交叉注意力之间的比较分析。

训练与推理

训练

训练过程包括两个不同的阶段：

(1) 在第一阶段的训练中，利用参考图像和目标视频帧对生成单个视频帧。

VAE编码器和解码器的参数以及面部图像编码器被固定，同时允许优化ReferenceNet和去噪UNet的空间交叉注意力模块的权重，以提高单帧生成能力。提取包含14帧的视频片段作为输入数据，从面部视频片段中随机选择一帧作为参考帧，从同一个视频中选择另一帧作为目标图像。

(2) 在第二阶段的训练中，使用参考图像、输入音频和目标视频数据进行视频序列训练。

ReferenceNet和去噪UNet的空间模块保持静态，专注于增强视频序列生成能力。这个阶段主要侧重于训练层次化的音频-视觉交叉注意力，建立音频作为运动指导和嘴唇、表情和姿势的视觉信息之间的关系。

此外，引入运动模块来改善模型的时间连贯性和平滑性，该模块使用来自AnimateDiff 的预设权重进行初始化。在这个阶段，从视频剪辑中随机选择一个帧作为参考图像。

与现有的肖像图像动画方法在HDTF数据集上的定量比较。本框架提出的方法在生成高质量、时间上连贯的说话头像动画以及优越的嘴唇同步性能方面表现出色。

上图为：在HDTF数据集上与现有方法的定性比较。

推理

在推理阶段，网络以一张参考图像和驾驶音频作为输入，根据相应的音频生成一个动画化的视频序列。为了产生视觉上一致的长视频，我们利用上一个视频片段的最后2帧作为下一个片段的初始k帧，实现逐步递增的视频片段生成。

开始部署

1. 把项目源码下载到本地

git clone git@github.com:fudan-generative-vision/hallo.git

2. 创建 conda 环境

  conda create -n hallo python=3.10
  conda activate hallo

 

3. 使用 pip 安装软件包

（此外，还需要 ffmpeg：sudo apt-get install ffmpeg, 如果没有安装的话可以在系统中安装一下）

4. 下载预训练模型

您可以从该项目的 HuggingFace 软件仓库轻松获取推理所需的所有预训练模型。

通过下面的 cmd 将预训练模型克隆到 ${PROJECT_ROOT}/pretrained_models 目录中：

git lfs install
git clone https://huggingface.co/fudan-generative-ai/hallo pretrained_models

 

 

 

 

最后，这些预训练模型的组织结构如下：

./pretrained_models/
|-- audio_separator/
|   |-- download_checks.json
|   |-- mdx_model_data.json
|   |-- vr_model_data.json
|   `-- Kim_Vocal_2.onnx
|-- face_analysis/
|   `-- models/
|       |-- face_landmarker_v2_with_blendshapes.task  # face landmarker model from mediapipe
|       |-- 1k3d68.onnx
|       |-- 2d106det.onnx
|       |-- genderage.onnx
|       |-- glintr100.onnx
|       `-- scrfd_10g_bnkps.onnx
|-- motion_module/
|   `-- mm_sd_v15_v2.ckpt
|-- sd-vae-ft-mse/
|   |-- config.json
|   `-- diffusion_pytorch_model.safetensors
|-- stable-diffusion-v1-5/
|   `-- unet/
|       |-- config.json
|       `-- diffusion_pytorch_model.safetensors
`-- wav2vec/
    `-- wav2vec2-base-960h/
        |-- config.json
        |-- feature_extractor_config.json
        |-- model.safetensors
        |-- preprocessor_config.json
        |-- special_tokens_map.json
        |-- tokenizer_config.json
        `-- vocab.json

5. 准备推理数据

Hallo 对输入数据有几个简单的要求：

源图像：

1. 应裁剪成正方形。

2. 人脸应是主要焦点，占图像的 50%-70%。

3. 人脸应朝向前方，旋转角度小于 30°（无侧面轮廓）。

驱动音频：

1. 必须是 WAV 格式。

2. 必须是英语，因为我们的训练数据集仅使用英语。

3. 确保人声清晰，背景音乐也可接受。 

项目提供了一些样本供您参考（文件在项目源码中，小伙伴们自行获取 -- 政安晨）。

6. 运行推理

只需运行 scripts/inference.py，并将 source_image 和 driving_audio 作为输入即可：

python scripts/inference.py --source_image examples/reference_images/1.jpg --driving_audio examples/driving_audios/1.wav

动画结果默认保存为 ${PROJECT_ROOT}/.cache/output.mp4。 你可以通过 --output 来指定输出文件名。 您可以在 examples 文件夹中找到更多推理示例。

在使用推理的过程中，您可能会遇到问题，比如提示xformers不可用，重新安装xformers等。

按照提示地址打开xformers官网重新安装：

conda install xformers -c xformers

之后，再重新按照上述方式在miniconda虚拟环境中重装依赖。

接下来，就可以正常操作了，我的示例如下：

python scripts/inference.py --source_image examples/YDBaba/2.jpg --driving_audio examples/YDBaba/1.wav

更多操作说明如下：

usage: inference.py [-h] [-c CONFIG] [--source_image SOURCE_IMAGE] [--driving_audio DRIVING_AUDIO] [--output OUTPUT] [--pose_weight POSE_WEIGHT]
                    [--face_weight FACE_WEIGHT] [--lip_weight LIP_WEIGHT] [--face_expand_ratio FACE_EXPAND_RATIO]

options:
  -h, --help            show this help message and exit
  -c CONFIG, --config CONFIG
  --source_image SOURCE_IMAGE
                        source image
  --driving_audio DRIVING_AUDIO
                        driving audio
  --output OUTPUT       output video file name
  --pose_weight POSE_WEIGHT
                        weight of pose
  --face_weight FACE_WEIGHT
                        weight of face
  --lip_weight LIP_WEIGHT
                        weight of lip
  --face_expand_ratio FACE_EXPAND_RATIO
                        face region

关于训练

为训练准备数据

训练数据使用了一些与推理所用源图像类似的会说话的人脸视频，也需要满足以下要求：

1. 照片应裁剪成正方形。

2. 面部应是主要焦点，占画面的 50%-70%。

3. 面部应朝向前方，旋转角度小于 30°（无侧面轮廓）。

将原始视频整理到以下目录结构中：

dataset_name/
|-- videos/
|   |-- 0001.mp4
|   |-- 0002.mp4
|   |-- 0003.mp4
|   `-- 0004.mp4

您可以使用任何数据集名称，但要确保视频目录的名称如上所示。

接下来，使用以下命令处理视频：

python -m scripts.data_preprocess --input_dir dataset_name/videos --step 1
python -m scripts.data_preprocess --input_dir dataset_name/videos --step 2

注：由于步骤 1 和步骤 2 执行不同的任务，因此应按顺序执行。

步骤 1 将视频转换为帧，从每个视频中提取音频，并生成必要的掩码。

步骤 2 使用 InsightFace 生成人脸嵌入，使用 Wav2Vec 生成音频嵌入，需要 GPU。 要进行并行处理，可使用 -p 和 -r 参数。 -p参数指定要启动的实例总数，将数据分成 p 部分。 -r参数指定当前进程应处理的部分。 您需要使用不同的 -r 值手动启动多个实例。

使用以下命令生成元数据 JSON 文件：

python scripts/extract_meta_info_stage1.py -r path/to/dataset -n dataset_name
python scripts/extract_meta_info_stage2.py -r path/to/dataset -n dataset_name

将 path/to/dataset 替换为视频父目录的路径，例如上例中的 dataset_name。 这将在 ./data 目录中生成 dataset_name_stage1.json 和 dataset_name_stage2.json。

训练

更新配置 YAML 文件 configs/train/stage1.yaml 和 configs/train/stage2.yaml 中的数据元路径设置：

#stage1.yaml
data:
  meta_paths:
    - ./data/dataset_name_stage1.json

#stage2.yaml
data:
  meta_paths:
    - ./data/dataset_name_stage2.json

使用以下命令开始训练：

accelerate launch -m \
  --config_file accelerate_config.yaml \
  --machine_rank 0 \
  --main_process_ip 0.0.0.0 \
  --main_process_port 20055 \
  --num_machines 1 \
  --num_processes 8 \
  scripts.train_stage1 --config ./configs/train/stage1.yaml

加速使用说明

加速启动命令用于以分布式设置启动训练过程。

accelerate launch [arguments] {training_script} --{training_script-argument-1} --{training_script-argument-2} ...

支持加速的理由

  • -m, --module: 将启动脚本解释为 Python 模块。
  • --config_file: 抱脸加速的配置文件。
  • --machine_rank: 多节点设置中当前机器的等级。
  • --main_process_ip: 主节点的 IP 地址。
  • --main_process_port: 主节点的端口。
  • --num_machines: 参与训练的节点总数。
  • --num_processes: 训练进程总数，与所有机器的 GPU 总数相匹配。

训练论据

  • {training_script}: The training script, such as scripts.train_stage1 or scripts.train_stage2.
  • --{training_script-argument-1}: Arguments specific to the training script. Our training scripts accept one argument, --config, to specify the training configuration file.

对于多节点训练，需要在每个节点上分别手动运行不同机器等级的命令。

训练细节后续会继续为大家展示。—— 政安晨

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/843494.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

操作系统（3）——内存管理

操作系统（3）——内存管理

目录 小程一言专栏链接: [link](http://t.csdnimg.cn/6grrU)内存管理无存储器抽象存储器抽象实现以下几方面小结 虚拟内存实现以下方面总结 页面置换算法概述常见的页面置换算法先进先出（FIFO）算法最近最少使用（LRU）算法总结 小程…
阅读更多...
list（链表）容器的规则及list的高级排序案例

list（链表）容器的规则及list的高级排序案例

1.list的基本概念： 功能：将数据进行链式存储 list（链表）是一种物理存储单元上非连续的存储结构，数据元素的逻辑顺序是通过链表中的指针链接实现的 链表是由一系列节点组成，节点的组成包含存储数据元素的…
阅读更多...
【保卫花果山】游戏

【保卫花果山】游戏

游戏介绍 拯救花果山是一款玩家能够进行趣味闯关的休闲类游戏。拯救花果山中玩家需要保护花果山的猴子，利用各种道具来防御妖魔鬼怪的入侵，游戏中玩家需要面对的场景非常的多样，要找到各种应对敌人的方法。拯救花果山里玩家可以不断的进行闯…
阅读更多...
huawei USG6001v1学习----NAT和智能选路

huawei USG6001v1学习----NAT和智能选路

目录 1.NAT的分类 2.智能选路 1.就近选路 2.策略路由 3.智能选路 NAT:（Network Address Translation，网络地址转换） 指网络地址转换，1994年提出的。NAT是用于在本地网络中使用私有地址，在连接互联网时转而使用全局…
阅读更多...
在win10上通过WSL和docker安装Ubuntu子系统，并配置Ubuntu可成功使用宿主机GPU

在win10上通过WSL和docker安装Ubuntu子系统，并配置Ubuntu可成功使用宿主机GPU

本文主要记录win10系统上，通过WSL的Ubuntu系统以及Docker使用GPU的全部过程。 文章目录 1、 启用hyper-v2、 安装docker3、 安装WSL3.1 安装WSL23.1.1 检查是否安装了WSL23.1.1 安装和配置 WSL 23.2 安装Ubuntu 子系统3.3 检查并修改WSL版本4、docker配置ubuntu20.04 LTS5、下…
阅读更多...
C语言函数：编程世界的魔法钥匙（2）-学习笔记

C语言函数：编程世界的魔法钥匙（2）-学习笔记

引言 注：由于这部分内容比较抽象，而小编我又是一个刚刚进入编程世界的计算机小白，所以我的介绍可能会有点让人啼笑皆非。希望大家多多包涵！万分感谢！待到小编我学有所成，一定会把这块知识点重新介绍一遍&a…
阅读更多...
零基础STM32单片机编程入门(十五) DHT11温湿度传感器模块实战含源码

零基础STM32单片机编程入门(十五) DHT11温湿度传感器模块实战含源码

文章目录 一.概要二.DHT11主要性能参数三.DHT11温度传感器内部框图四.DTH11模块原理图五.DHT11模块跟单片机板子接线和通讯时序1.单片机跟DHT11模块连接示意图2.单片机跟DHT11模块通讯流程与时序 六.STM32单片机DHT11温度传感器实验七.CubeMX工程源代码下载八.小结 一.概要 DH…
阅读更多...
ubuntu20.04支持win10远程桌面连接

ubuntu20.04支持win10远程桌面连接

1. 安装xrdp sudo apt install xrdp 2. 检查xrdp状态 sudo systemctl status xrdp 要处于running状态 3.（若为Ubuntu 20）添加xrdp至ssl-cert sudo adduser xrdp ssl-cert 4. 重启服务 sudo systemctl restart xrdp 5. window 远程桌面连接&am…
阅读更多...
“信息科技风险管理”和“IT审计智能辅助”两个大模块的部分功能详细介绍：

“信息科技风险管理”和“IT审计智能辅助”两个大模块的部分功能详细介绍：

数字风险赋能中心简介 数字风险赋能中心简介 ，时长05:13 大家好！我是AI主播安欣，我给大家介绍一下数字风险赋能中心。 大家都知道当前我国政企机构的数字化转型已经进入深水区，数字化转型在给我们带来大量创新红利的同时&#xf…
阅读更多...
【BUG】已解决：requests.exceptions.ProxyError: HTTPSConnectionPool

【BUG】已解决：requests.exceptions.ProxyError: HTTPSConnectionPool

已解决：requests.exceptions.ProxyError: HTTPSConnectionPool 目录 已解决：requests.exceptions.ProxyError: HTTPSConnectionPool 【常见模块错误】 原因分析 解决方案 欢迎来到英杰社区https://bbs.csdn.net/topics/617804998 欢迎来到我的主页&am…
阅读更多...
PostgreSQL创建表和自增序列

PostgreSQL创建表和自增序列

一、创建表： 注意： 1、在mysql没有序列的概念，id自增通过auto_increment实现； 2、pgsql没有auto_increment的概念，如何实现id自增？有两种方式： 方式一：创建序列，绑定…
阅读更多...
Flink HA

Flink HA

目录 Flink HA集群规划 环境变量配置 masters配置 flink-conf.yaml配置 测试 Flink HA集群规划 FLink HA集群规划如下： IP地址主机名称Flink角色ZooKeeper角色192.168.128.111bigdata111masterQuorumPeerMain192.168.128.112bigdata112worker、masterQuorumPee…
阅读更多...
Django 请求和响应

Django 请求和响应

1、请求 &#xff08;1&#xff09;get请求 用户直接在浏览器输入网址&#xff0c;参数直接在url中携带 http://127.0.0.1:8000/login/?a1&b%221243%22 &#xff08;2&#xff09;post请求 在html使用post,login.html <!DOCTYPE html> <html lang"en&…
阅读更多...
SpringBoot框架学习笔记（三）：Lombok 和 Spring Initailizr

SpringBoot框架学习笔记（三）：Lombok 和 Spring Initailizr

1 Lombok 1.1 Lombok 介绍 &#xff08;1&#xff09;Lombok 作用 简化JavaBean开发&#xff0c;可以使用Lombok的注解让代码更加简洁Java项目中&#xff0c;很多没有技术含量又必须存在的代码&#xff1a;POJO的getter/setter/toString&#xff1b;异常处理&#xff1b;I/O…
阅读更多...
java学习---小项目---租房系统

java学习---小项目---租房系统

package com.project.House_rental.HouseApp;import com.project.House_rental.HouseView.HouseView; //主界面 public class HouseApp {public static void main(String[] args) {new HouseView().List_();System.out.println("------已退出----------");} }package…
阅读更多...
PostgreSQL 中如何解决因大量并发删除和插入操作导致的索引抖动？

PostgreSQL 中如何解决因大量并发删除和插入操作导致的索引抖动？

&#x1f345;关注博主&#x1f397;️ 带你畅游技术世界&#xff0c;不错过每一次成长机会&#xff01;&#x1f4da;领书&#xff1a;PostgreSQL 入门到精通.pdf 文章目录 PostgreSQL 中如何解决因大量并发删除和插入操作导致的索引抖动一、理解索引抖动二、索引抖动的影响三…
阅读更多...
Postgresql主键自增的方法

Postgresql主键自增的方法

Postgresql主键自增的方法 一.方法&#xff08;一&#xff09; 使用 serial PRIMARY KEY 插入数据 二.方法&#xff08;二&#xff09; &#x1f388;边走、边悟&#x1f388;迟早会好 一.方法&#xff08;一&#xff09; 使用 serial PRIMARY KEY 建表语句如下&#xf…
阅读更多...
react中组件间的通信

react中组件间的通信

一、父传子 1.代码展示 import React, { useState } from react;function SonPage(props){ // 子组件const {msg} propsreturn (<div>我是子组件 {msg}</div>) }function App() { // 父组件const [msgText,setMsgText] useState(父传子)return (<div classN…
阅读更多...
没有GPU就运行不了了吗？为什么生成的小游戏中什么都没有呀？

没有GPU就运行不了了吗？为什么生成的小游戏中什么都没有呀？

原来报错说是没有cuda&#xff0c;于是使用了GPU版本的tensorflow1.15&#xff0c;在主函数中加了下面的语句。 但但是还是 怎么办&#xff1f;
阅读更多...
73、Flink 的 DataStream API 生产实践总结

73、Flink 的 DataStream API 生产实践总结

0、汇总 1.可以使用 Maven 命令、CURL 命令、IDEA 手动创建 Flink 项目&#xff1b;2.可以使用 Maven Shade 插件将必需的依赖项打包进应用程序 jar 中&#xff1b;3.应该在 Flink 集群的 lib 文件夹内配置需要的&#xff08;核心&#xff09;依赖项&#xff1b;4.应该将程序中…
阅读更多...
最新文章

Copyright @ 2022~2023