一、介绍

Video-Retalking模型是一种基于深度学习的视频再谈话技术，它通过分析视频中的音频和图像信息，实现视频角色口型、表情乃至肢体动作的精准控制与合成。这一技术的实现依赖于强大的技术架构和核心算法，特别是生成对抗网络（GAN）等先进算法的应用。

---

🚀️ 🚀️ 系统：Ubuntu22.04系统，显卡：3090，显存：24G🚀️ 🚀️

二、基础环境

1.查看系统是否有Miniconda3的虚拟环境

conda -V
如果输入命令没有显示Conda版本号，则需要安装。

安装教程可查看：

2.更新系统命令

输入下列命令将系统更新及系统缺失命令下载

apt-get update 
apt-get upgrade 
apt-get install -y vim wget unzip lsof net-tools openssh-server git git-lfs gcc cmake build-essential

3.创建虚拟Python环境

• 创建一个名为"Video-Retalking"的虚拟镜像，python版本为3.10

conda create -n video_retalking python=3.10

• 进入"video_retalking"虚拟环境

conda activate video_retalking

4.下载模型

输入下列命令对video_retalking模型进行下载

git clone https://gitclone.com/github.com/AILab-CVC/VideoCrafter.gitls
cd VideoCrafter

5.下载pytorch

输入下列命令：

pip install torch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1

耐心等待直到”Successfully“出现：

6.下载模型依赖包

先输入下载tb-nightly包避免下载其他依赖包报错：

pip install tb-nightly -i https://mirrors.aliyun.com/pypi/simple

再输入下列命令：

pip install -r requirements.txt

耐心等待直到”Successfully“出现

最后安装ffmpeg：

conda install ffmpeg

7.添加模型文件

先创建一个名为checkpoints

mkdir checkpoints
cd checkpoints

下载权重文件：

git lfs install
git clone https://hf-mirror.com/yachty66/video_retalking

8.推理

输入下列命令：

python3 inference.py
--face examples/face/1.mp4
--audio examples/audio/1.wav
--outfile results/1_3.mp4

三、web界面展示

输入下列命令启动界面：

python webUI.py

此时系统会自动下载缺失权重文件

复制网址打开页面：

点击此处，立即体验video-retalking！