Hallo2 是由复旦大学 (Fudan University)、百度公司 (Baidu Inc) 和南京大学 (Nanjing University) 于 2024 年联合开发的一项先进技术，旨在生成长时间、高质量的唇形视频。该技术在原有的 Hallo 模型基础上进行了多项创新和改进，使其能够应对长时间视频生成中的挑战，并实现高分辨率的视觉效果。Hallo2 不仅能生成高质量的唇形视频，还能修复输入视频中的人脸模糊问题。通过先进的图像处理技术，模型能够在生成过程中自动修复人脸的不清晰部分，提升最终视频的视觉效果。

教程链接：https://go.openbayes.com/c9fv8

使用云平台：OpenBayes

http://openbayes.com/console/signup?r=sony_0m6v

登录到 OpenBayes 平台后，打开「公共教程」，找到「Hallo2 高清长时音频驱动图像生成 Demo」的教程。

进入到教程界面后，点击右上角「克隆」。

平台在克隆过程中以自动为我们配置好了模型文件，直接进入到选择算力界面。平台会自动选择合适的算力资源和镜像版本，按照需求选择「按量付费」或「包日/周/月」。这里使用的是英伟达 RTX 4090 的算力和 PyTorch 的镜像，点击「继续执行」。可以使用文章开头的邀请链接，获得 RTX 4090 使用时长！

稍等片刻，待系统分配好资源，状态栏显示为「运行中」后，点击「打开工作空间」进入模型。

1.安装虚拟环境及相关依赖

进入到工作空间后，我们新建一个「终端」，然后运行「chmod +x setup_environment.sh」，为配置环境的脚本添加可执行权限。

之后运行「./setup_environment.sh 」，以安装运行配置环境的脚本。当提示出「All steps completed successfully.」时表示安装完成。

接着运行「conda activate hallo」来激活虚拟环境。看到左边的（base）变为了（hallo）则代表虚拟环境成功激活了。

最后运行「pip install --upgrade gradio」更新 gradio 包。

2.模型运行

在终端中输入并运行「python app.py」，待出现 8080 端口后，点击「API 地址」的箭头处即可前往 gradio 界面。进入 API 地址需要先进行实名认证~

该模型拥有两个功能：唇形生成功能和高分辨率人脸修复功能。

点击「Generate Video」，这里我们上传了一段嬛嬛的语音和一张图片，点击「Generate Video」生成。

点击「Video Super Resolution」，我们上传一段视频，点击「Run Super Resolution」进行高分辨率人脸修复。