EN

VLMEvalKit:大型视觉语言模型评测工具包

VLMEvalKit 是大型视觉语言模型(LVLMs)的开源评测工具包,Python 包名为 vlmeval。

核验日期

核心信息

以下信息由程序从官方接口读取，不经模型改写。

许可证
Apache-2.0
语言
Python
维护方
open-compass
核验日期

它是什么

VLMEvalKit(Python 包名为 vlmeval)是大型视觉语言模型(LVLMs)的开源评测工具包。VLMEvalKit 支持在多种基准上对 LVLMs 进行一条命令的评测,没有在多个代码仓库下准备数据的繁重工作量。在 VLMEvalKit 中,所有 LVLMs 均采用基于生成的评测,并提供精确匹配与基于 LLM 的答案提取两种方式得到的评测结果。VLMEvalKit 对所有 VLMs 使用基于生成的评测,并可选地配合基于 LLM 的答案提取。

主要能力

  1. VLMEvalKit 现在可以将预测文件保存为 TSV 格式。

  2. VLMEvalKit 支持多节点分布式推理,可使用 LMDeploy(支持 InternVL Series、QwenVL Series、LLaMa4)或 VLLM(支持 QwenVL Series、LLaMa4)。

  3. VLMEvalKit 所支持的图像与视频基准数量为 70+。

  4. VLMEvalKit 所支持的 LMMs 包括商业 API、开源模型等(200+)。

  5. VLMEvalKit 支持的模型包括 InternVL3 Series、Gemini-2.5-Pro、Kimi-VL 和 LLaMA4 等。

  6. VLMEvalKit 支持的基准包括 MMMU-Pro、WeMath、3DSRBench、LogicVista、VL-RewardBench、CC-OCR、CG-Bench、CMMMU 和 WorldSense。

怎么上手

  1. 对于 Qwen3.5 series,项目建议使用 5.2.0 或更高版本的 transformers。

  2. 对于 Moondream series 和 Aria,项目建议使用 0.16 或更高版本的 torchvision。

  3. 对于 Moondream1,项目建议使用 4.36.2 版本的 transformers。

  4. 对于 AKI,项目建议使用 4.42.0 版本的 transformers。

  5. 对于 Aria,项目建议使用 4.45.0 版本的 transformers。

  6. 对于 Moondream2 和 H2OVL series,项目建议使用 4.44.0 版本的 transformers。

  7. 对于 Molmo series,项目建议使用 4.50.3(或 4.46.1、4.51、4.53)版本的 transformers。

摘自 README · python
# Demo
from vlmeval.config import supported_VLM
model = supported_VLM['idefics_9b_instruct']()
# Forward Single Image
ret = model.generate(['assets/apple.jpg', 'What is in this image?'])
print(ret)  # The image features a red apple with a leaf on it.
# Forward Multiple Images
ret = model.generate(['assets/apple.jpg', 'assets/apple.jpg', 'How many apples are there in the provided images? '])
print(ret)  # There are two apples in the provided images.

适合谁

项目官方多模态榜单上的性能数据可以下载。部分 VLMs 可能无法在某些 transformers 版本下运行。VLMEvalKit 代码库的设计目标不包括复现所有第三方基准原论文中报告的精确准确率数值。

部分基准可能采用不同的评测方式,例如 SEEDBench 使用基于 PPL 的评测。对于采用不同评测方式的基准,VLMEvalKit 会在对应结果中比较两种分数。默认情况下,VLMEvalKit 在某个基准上评测所有 VLMs 时使用同一个提示模板。

部分 VLMs 可能有自己特定的提示模板,其中一些目前未被代码库覆盖。VLMEvalKit 支持的基准还包括 HLE-Bench、MMVP 和 MM-AlignBench 等。

来源

本页内容整理自以下官方来源，点击可核对原文。

核验日期 ·

本页由 AI 依据上述官方来源整理，并经自动核对，未经本站实测。 发现错误？告诉我们。