1 通过Wav2Lip同步嘴型
这里我是用的云GPU,选择的恒通云,下面是我的套餐信息
比较注意的是选择的镜像必须选择拥有python3.6的镜像,因为Wav2Lip需要的环境就是python3.6
开始进入系统执行下面操作
克隆源码:
git clone https://github.com/Rudrabha/Wav2Lip.git
ffmpeg安装:
sudo apt-get install ffmpeg
编译:
cd Wav2Lip &&sudo pip install -r requirements.txt
开始生成嘴型同步的视频:
python inference.py --checkpoint_path checkpoints/wav2lip.pth --face data/John思维认知.mp4 --audio data/jingxin.mp3
2 通过facefusion脸部视频高清化
这个我在恒通云上操作网速太慢了,没登了,直接用的colab的
facefusion.ipynb - Colaboratory (google.com)
直接跟着步骤执行就行了,最后会监听一个端口开启web服务,colab这里给出一个80端口公共网址
通过上传视频然后执行得到结果
3 结果对比
通过wav2lip.pth和wav2lip_gan.pth生成的视频感觉差不多,通过facefusion高清化视频后,效果很明显,但是下巴的一个 透明形状依然存在
错误解决
Traceback (most recent call last):
File "inference.py", line 3, in <module>
import scipy, cv2, os, sys, argparse, audio
File "/usr/local/lib/python3.6/dist-packages/cv2/__init__.py", line 3, in <module>
from .cv2 import *
ImportError: libgthread-2.0.so.0: cannot open shared object file: No such file or directory
解决:
sudo apt-get install libglib2.0-dev