Stable Video Diffusion 中的图生视频

定义

论文提出 Stable Video Diffusion,一种用于高分辨率文生视频和图生视频生成的潜在视频扩散模型。论文把图生视频描述为:模型根据单张条件图像预测一个帧序列。论文表明,其基础模型为图生视频生成等下游任务提供了强大的运动表示,并能适配相机运动专用的 LoRA 模块。

论文识别并评估了成功训练视频 LDM 的各个阶段:文生图预训练、视频预训练和高质量视频微调。论文论证了精心整理的预训练数据集对生成高质量视频是必要的,并提出了包含标注与过滤策略的系统化数据整理流程,用于训练强基础模型。

一图看懂

论文以预训练的图像扩散模型 Stable Diffusion 2.1 作为其初始模型的基础,以获得较强的视觉表示。论文沿用 Blattmann 等人提出的架构,在每个空间卷积层和注意力层之后插入时间卷积层和注意力层。

论文中的 Stage I 是图像预训练,即 2D 文生图扩散模型。
论文中的 Stage II 是视频预训练,在大量视频上训练。
论文中的 Stage III 是视频微调,在更高分辨率下用一小部分高质量视频优化模型。
论文可以将其基础文生视频模型微调用于图生视频任务。
论文不使用文本条件,而是把送入基础模型的文本嵌入替换为条件帧的 CLIP 图像嵌入。
论文把条件帧经噪声增强后的版本沿通道拼接到 UNet 的输入上。
论文训练了两个版本:一个生成 14 帧,另一个生成 25 帧。

原文没有明确这些要点的先后顺序，因此按要点列出，不画先后箭头。

工作原理

论文对基础模型进行微调以实现图生视频生成,此时视频模型接收一张静态输入图像作为条件。论文没有使用掩码技术,只是把该帧沿时间轴复制。论文发现,标准的普通无分类器引导偶尔会产生伪影:引导过小可能导致与条件帧不一致,引导过大则可能导致过饱和。

论文没有使用恒定的引导尺度,而是沿帧轴由小到大线性增加引导尺度。论文微调了两个图生视频模型,一个预测 14 帧,另一个预测 25 帧。论文称,最终检查点是结合目视检查与人工评估选出的。

训练期间,论文的基础模型与其高分辨率 Text/Image-to-Video 模型都以输入视频的帧率和运动分数为条件。论文称,这种条件设置使其能够在推理时调节生成视频中的运动量。论文背景部分指出,Video-LDM 在计算复杂度降低的潜在空间中训练主生成模型,而论文微调完整模型,不同于只训练时间层或完全无需训练的工作。

论文的局限性部分指出,用其方法生成的视频有时运动过少,并且视频扩散模型通常采样缓慢、显存需求高,其模型也不例外。