VBench：视频生成模型基准套件

核心信息

以下信息由程序从官方接口读取，不经模型改写。

仓库地址: https://github.com/Vchitect/VBench
许可证: Apache-2.0
语言: Python
维护方: Vchitect
主页: https://vchitect.github.io/VBench-project/
核验日期: 2026-10-31

它是什么

该仓库提供 VBench 系列工作的统一实现,项目称其支持在多种能力和设置下对视频生成模型进行全面评测。作者提出了 VBench,一个面向视频生成模型的综合基准套件。VBench++ 在 VBench 基础上扩展,加入用于图生视频的 VBench-I2V、用于长视频的 VBench-Long,以及涵盖公平性、偏见和安全的 VBench-Trustworthiness。VBench-2.0 扩展了 VBench,用于评测内在忠实度。

主要能力

VBench 项目称，它设计了全面且分层的评测维度套件，把“视频生成质量”分解为多个定义明确的维度，以便进行其所称的细粒度、客观评测。
VBench 项目称，针对每个评测维度，其评测方法套件采用精心设计的方法或指定流程进行自动客观评测。
VBench++ 不仅评测技术质量,也评测生成模型的可信度。
VBench-2.0 引入了结构化评测套件,包含五个大类和 18 个细粒度能力维度。

怎么上手

使用 VBench 可以评测视频以及视频生成模型。
用 VBench 评测你自己的视频时，只需提供视频文件的路径，或包含视频的文件夹的路径。
用 VBench 评测你自己的视频时，对视频的名称没有要求。
Detectron2 仅适用于 CUDA 12.1 或 11.X。
评测时间闪烁维度之前,需要先过滤掉静态视频。

摘自 README

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 # or any other PyTorch version with CUDA<=12.1
pip install vbench

摘自 README

   pip install detectron2@git+https://github.com/facebookresearch/detectron2.git

摘自 README

python evaluate.py \
    --dimension $DIMENSION \
    --videos_path /path/to/folder_or_video/ \
    --mode=custom_input

摘自 README · bash

vbench evaluate --videos_path $VIDEO_PATH --dimension $DIMENSION

摘自 README · python

from vbench import VBench
my_VBench = VBench(device, <path/to/VBench_full_info.json>, <path/to/save/dir>)
my_VBench.evaluate(
    videos_path = <video_path>,
    name = <name>,
    dimension_list = [<dimension>, <dimension>, ...],
)