模型简介

Video-Retalking 模型是一种基于深度学习的视频再谈话技术，它通过分析视频中的音频和图像信息，实现视频角色口型、表情乃至肢体动作的精准控制与合成。这一技术的实现依赖于强大的技术架构和核心算法，特别是生成对抗网络（GAN）等先进算法的应用。

一、在算家云搭建

1.选择模型实例

在应用社区中搜索或找到“video-retalking”模型

或者在“视频生成”选项功能中单击选择“视频配音”

2.创建模型实例

在video-retalking模型界面页面中单击“创建应用”

选择GPU资源项选择RTX 3090后单击”立即创建“

3.使用模型

单击webSSH进入终端：

使用下列命令运行项目

conda activate video_retalking
cd video-retalking
python webUI.py

返回项目实例页面点击video-retalking项目开放端口

打开一个新的网页，将得到网址进行粘贴，模型界面成功打开：

二、本地部署教程

系统：Ubuntu22.04 系统，显卡：3090，显存：24G

1.查看系统是否有 Miniconda3 的虚拟环境

conda -V
如果输入命令没有显示 Conda 版本号，则需要安装。

安装教程可查看：

2.更新系统命令

输入下列命令将系统更新及系统缺失命令下载

apt-get update 
apt-get upgrade 
apt-get install -y vim wget unzip lsof net-tools openssh-server git git-lfs gcc cmake build-essential

3.创建虚拟 Python 环境

• 创建一个名为"Video-Retalking"的虚拟镜像，python 版本为 3.10

conda create -n video_retalking python=3.10

• 进入"video_retalking"虚拟环境

conda activate video_retalking

4.下载模型

输入下列命令对 video_retalking 模型进行下载

git clone https://gitclone.com/github.com/AILab-CVC/VideoCrafter.gitls
cd VideoCrafter

5.下载 pytorch

输入下列命令：

pip install torch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1

耐心等待直到”Successfully“出现：

6.下载模型依赖包

先输入下载 tb-nightly 包避免下载其他依赖包报错：

pip install tb-nightly -i https://mirrors.aliyun.com/pypi/simple

再输入下列命令：

pip install -r requirements.txt

耐心等待直到”Successfully“出现

最后安装 ffmpeg：

conda install ffmpeg

7.添加模型文件

先创建一个名为 checkpoints

mkdir checkpoints
cd checkpoints

下载权重文件：

git lfs install
git clone https://hf-mirror.com/yachty66/video_retalking

8.推理

输入下列命令：

python3 inference.py
--face examples/face/1.mp4
--audio examples/audio/1.wav
--outfile results/1_3.mp4

9.web 界面展示

输入下列命令启动界面：

python webUI.py

此时系统会自动下载缺失权重文件

复制网址打开页面：

以上就是在算家云搭建以及本地部署的详细教程。进入算家云-AI-应用社区|模型社区|镜像社区一键使用，快来体验吧~

算家云——简单、高效、便宜