仓库地址：GitHub - chaojie/ComfyUI-AniPortrait

往期学习资料

整理AI学习资料库

需要的模型如下

工作流如下：

首先把上面的sd-vae-ft-mse、wav2vec2-base-960h模型放到下面的目录，如下

其他模型放到哪里都行，反正是自定义模型路径的，如下

或者你全部模型都放到下面的pretrained_model目录下面也是可以的，反正指定模型路径的时候是手动设置的，放在哪里都可以。

到时我就指定这些模型的路径分别如下：

D:\硬盘备份\stable diffusion\其他模型\AniPortrait节点所需模型\stable-diffusion-v1-5

D:\硬盘备份\stable diffusion\其他模型\AniPortrait节点所需模型\sd-vae-ft-mse

D:\硬盘备份\stable diffusion\其他模型\AniPortrait节点所需模型\sd-image-variations-diffusers\image_encoder

D:\硬盘备份\stable diffusion\其他模型\AniPortrait节点所需模型\wav2vec2-base-960h

D:\硬盘备份\stable diffusion\其他模型\AniPortrait节点所需模型\AniPortrait/audio2mesh.pt

D:\硬盘备份\stable diffusion\其他模型\AniPortrait节点所需模型\AniPortrait/motion_module.pth

D:\硬盘备份\stable diffusion\其他模型\AniPortrait节点所需模型\AniPortrait/denoising_unet.pth

D:\硬盘备份\stable diffusion\其他模型\AniPortrait节点所需模型\AniPortrait/reference_unet.pth

D:\硬盘备份\stable diffusion\其他模型\AniPortrait节点所需模型\AniPortrait/pose_guider.pth

然后设置视频路径，如下

然后设置音频文件路径，如下

或者你直接设置为视频的路径也是可以的，如下

然后上传图片，如下

然后下面的模型位置也改改，如下

我本地改为如下：

D:\硬盘备份\stable diffusion\其他模型\AniPortrait节点所需模型\wav2vec2-base-960h

这样就行了，看看生成的视频怎样的，如下

我们打开看看，如下

效果就是生成的视频人物是我们上传的图片，视频里面人物说的话就是我们上传的音频，也就是它生成的视频是有声音的，是对口型的，然后视频里面的人物动作是根据我们上传的视频里面的人物决定的，也就是下面的视频，如下

其实下面这种视频也可以，如下

也就是openpose预处理后的视频，如上

然后视频的长度也是根据上传的视频决定的。

你可以上传动漫图片，然后上传的视频是写实类型的视频，如下

上传了一张18号图片，视频上传的是一个蓝头发女生唱歌的视频，那么生成的视频效果就是18号在唱歌，而且动作表情啥的跟蓝头发女生是一致的。

更多好玩且实用AIGC技术

星球号：32767063

往期学习资料

整理AI学习资料库