MMLU

Measuring Massive Multitask Language Understanding 的原始研究基准与代码仓库，用多学科测试分析语言模型知识与理解；对应论文发表于 ICLR 2021。

官网介绍的功能

• 测试方向包括人文、社科、STEM 和其他学科。
• 提供论文、测试数据下载与模型评测代码入口。
• README 保存测试结果表及提交结果的说明。

建议开始方式

• 确认使用原始 MMLU，而非 MMLU-Pro 或其他变体。
• 固定数据划分、模型版本与 few-shot 设置。
• 保留学科结果和错误样例，补充实际任务与污染分析。

以上为根据产品用途整理的编辑建议，并非本站实测流程。

使用前核对

• 本站尚未实测，功能介绍来自官网资料。
• 价格、地区、语言、商用、水印和导出条件尚未按同一 Plan 逐项核验。
• 原发现榜单入口已跳转且读取失败，本条依据原始官方项目。README 保留历史模型表，不能称 2026 最新排名；不混用 MMLU-Pro，也未运行 API 评测代码。