SadTalker:风格化音频驱动的说话头像视频生成系统

定义

论文指出,通过一张人脸图像和一段语音音频生成说话头像视频仍然存在许多挑战。论文提出 SadTalker,一个通过隐式 3D 系数调制实现的风格化音频驱动说话头像视频生成系统。论文称,SadTalker 根据音频生成 3DMM 的 3D 运动系数(头部姿态、表情),并隐式调制一个新颖的 3D 感知人脸渲染器,用于说话头像生成。

论文将 3DMM 的运动系数作为中间表示,并把任务划分为两个主要部分。论文提出观察:3D 人脸模型包含高度解耦的表示,可用于单独学习每一种运动。

一图看懂

论文称,其运动系数(70 个)只包含表情(64 个)和头部姿态(6 个)。

论文首先从原始图像中提取系数。
论文提出 ExpNet,通过蒸馏系数和 3D 渲染人脸,从音频中学习准确的面部表情。
论文通过条件 VAE 设计 PoseVAE,以合成不同风格的头部运动。
生成的 3D 运动系数被映射到所提出的人脸渲染器的无监督 3D 关键点空间,最终视频随之合成。
论文单独训练表情生成、头部姿态生成和人脸渲染器这些子网络中的每一个,其系统可以以端到端的方式进行推理。
论文称,所提出的 SadTalker 能根据输入音频和单张参考图像生成多样、逼真、同步的说话视频。

原文没有明确这些要点的先后顺序，因此按要点列出，不画先后箭头。

工作原理

论文还指出,显式使用 3D 信息同样存在表情僵硬和视频不连贯的问题。论文的 mappingNet 由若干 1D 卷积层构建而成。论文称,PoseVAE 的编码器和解码器都包含若干线性层。

训练时,论文首先以自监督方式训练 face-vid2vid,如原论文所述。随后,论文在真值视频的 3DMM 系数上以重建方式训练 mapping net。ExpNet 使用连续 5 帧进行学习。

PoseVAE 通过连续 32 帧进行学习。论文指出,先前的工作主要关注生成唇部运动,因为唇部运动与语音有很强的联系。论文称,PC-AVS 使用隐式潜在编码解耦头部姿态和表情,而 Audio2Head 只能生成正面的说话人脸。

例子

论文使用 VoxCeleb 数据集进行训练,该数据集包含超过 100k 个视频,涉及 1251 个对象。论文称,它在用户研究中总共生成 20 个视频作为测试。论文称,它进行了大量实验,以证明其方法在运动和视频质量方面的优越性。

论文称,实验表明其方法在运动同步和视频质量方面达到最先进的性能。论文指出,由于 3DMM 不对眼睛和牙齿的变化建模,其人脸渲染器中的 mappingNet 在某些情况下也难以合成真实的牙齿。论文指出,其工作的另一个局限是只关注唇部运动和眨眼,而不关注其他面部表情,例如情绪和视线方向,因此生成的视频情绪固定,这也降低了生成内容的真实感。

论文称,可见和不可见的视频水印都将被插入生成的视频中,用于生成内容标识。

本站已收录的相关工具。