目录
服务器环境
环境准备
1.下载源码
2.安装Ancoda环境
3.安装cudatoolkit
4.安装cuDNN
5.安装pytorch
6.安装requirements
7.安装tensorflow
8.安装pytorch3d
9.gcc安装
训练准备
训练
1.处理视屏
2.准备眨眼数据
3.头部训练
4.嘴唇
5.身体
6.生成推理音频
7.推理
最近安装er-nerf，安装了很久，各种报错，我都快疯了，好不容易本地电脑安装成功，去服务器又不成功。故记录下，本次服务器安装详情步骤。
组合：
python:3.9 - portch:11.8 -- 失败
python:3.10 - portch:11.8 --成功
python:3.10 - portch:11.7 --成功
python:3.10 - portch:12.1 --失败
服务器环境
显卡：N-A10
windows10服务器
环境准备
1.下载源码
git clone https://github.com/Fictionarry/ER-NeRF.git2.安装Ancoda环境
conda create --name ernerf python=3.10
conda activate ernerf3.安装cudatoolkit
注意版本对应关系，本机最高支持12.2的，我选择下载11.8，
下载地址：CUDA Toolkit Archive | NVIDIA Developer
下载完成，配置环境变量，可能自动配置好了，检查下。
CUDA_PATH:
CUDA_PATH_V11_8
PATH
安装完成，查看下：nvcc -V
4.安装cuDNN
cuDNN地址如下，
https://developer.nvidia.com/rdp/cudnn-download
然后将解压后的文件放入之前cmd找到的cuda路径下，
解压之后，
lib里的文件放到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\lib
bin里的文件放到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\bin
include 里的文件放到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\include
5.安装pytorch
不要装最新的。地址：
https://pytorch.org/get-started/previous-versions/
conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.8 -c pytorch -c nvidia
6.安装requirements
pip install -r requirements.txt7.安装tensorflow
pip install tensorflow-gpu==2.8.08.安装pytorch3d
注意版本。我这里的pytorch是2.0.1，那么需要安装0.7.4的
wget https://github.com/facebookresearch/pytorch3d/releases/tag/v0.7.4
//解压到ernerf文件夹里面
cd pytorch3d
python setup.py install我这里安装是没有问题的，如果有问题，参考：pytorch3D Windows下安装经验总结_windows安装pytorch3d-CSDN博客
9.gcc安装
MinGW-w64 官方网站的地址是：http://mingw-w64.org
点击红框中的“Downloads”超链接，进入 MinGW-w64 下载详情页面。
解压，然后把bin配置到环境变量path。
到这里环境基本好了。
训练准备
准备人脸解析模型。
wget https://github.com/YudongGuo/AD-NeRF/blob/master/data_util/face_parsing/79999_iter.pth?raw=true -O data_utils/face_parsing/79999_iter.pth准备用于头部姿态估计的 3DMM 模型。
wget https://github.com/YudongGuo/AD-NeRF/blob/master/data_util/face_tracking/3DMM/exp_info.npy?raw=true -O data_utils/face_tracking/3DMM/exp_info.npy
wget https://github.com/YudongGuo/AD-NeRF/blob/master/data_util/face_tracking/3DMM/keys_info.npy?raw=true -O data_utils/face_tracking/3DMM/keys_info.npy
wget https://github.com/YudongGuo/AD-NeRF/blob/master/data_util/face_tracking/3DMM/sub_mesh.obj?raw=true -O data_utils/face_tracking/3DMM/sub_mesh.obj
wget https://github.com/YudongGuo/AD-NeRF/blob/master/data_util/face_tracking/3DMM/topology_info.npy?raw=true -O data_utils/face_tracking/3DMM/topology_info.npy从Basel Face Model 3下载2009DMM模型：faces.dmi.unibas.ch/bfm/main.php?nav=1-1-0&id=details
# 1.
copy 01_MorphableModel.mat to data_util/face_tracking/3DMM/
# 2.
cd data_utils/face_tracking
python convert_BFM.py下载这四个模型放到到用户目录xxx.cache\torch\hub\checkpoints下，如果没有这个目录，自己创建出来，如果不先下载，运行再下载的话可能会很慢或者下载不了。
https://download.pytorch.org/models/resnet18-5c106cde.pth
https://www.adrianbulat.com/downloads/python-fan/s3fd-619a316812.pth
https://www.adrianbulat.com/downloads/python-fan/2DFAN4-cd938726ad.zip
https://download.pytorch.org/models/alexnet-owt-7be5be79.pth
语音特征提取模型
下载deepspeech-0_1_0-b90017e8.pb放到.tensorflow\models目录
训练
后面就按照git上操作了。很晚了，休息了，有空再补上。
------大家都起来这么早啊，做完12：30写完，早晨就有380多的访问量，继续写---抄官网------
1.处理视屏
在data目录下放一个mp4，最好裁减512*512，25fps，大概1-5分钟
这里最好一步步处理，报错了可以一步步解决。大概率第二步会报错，按照提示安装依赖，活着降低依赖版本吧。
python data_utils/process.py data/hegen512/hegen512.mp4 --task 1
python data_utils/process.py data/hegen512/hegen512.mp4 --task 2
python data_utils/process.py data/hegen512/hegen512.mp4 --task 3
python data_utils/process.py data/hegen512/hegen512.mp4 --task 4
python data_utils/process.py data/hegen512/hegen512.mp4 --task 5
python data_utils/process.py data/hegen512/hegen512.mp4 --task 6
python data_utils/process.py data/hegen512/hegen512.mp4 --task 7
python data_utils/process.py data/hegen512/hegen512.mp4 --task 8
python data_utils/process.py data/hegen512/hegen512.mp4 --task 92.准备眨眼数据
使用OpenFace制作具体步骤：
1).点击OpenFaceOffline
2).这里选择au
3).最终文件会在processed文件夹
4).眨眼数据复制到ernerf/data/hegen512目录，重新命名成au.csv，把原本的aud.npy重新命名成aud_ds.npy。
3.头部训练
python main.py data/hegen512/ --workspace trial_hegen512/ -O --iters 100000 --asr_model wav2vec/ deepspeech4.嘴唇
python main.py data/hegen512/ --workspace trial_hegen512/ -O --iters 125000 --finetune_lips --patch_size 325.身体
python main.py data/hegen512/ --workspace trial_hegen512_torso/ -O --torso --head_ckpt trial_hegen512/checkpoints/ngp_ep0228.pth --iters 2000006.生成推理音频特征
python data_utils/process.py data/hegen512/hegen512.mp4 --task 1
python data_utils/process.py data/hegen512/hegen512.mp4 --task 2
