CMMLU

中文多任务语言理解评测基准，涵盖 67 个主题，用于分析模型在中文知识、推理及中国特定语境中的表现。

官网介绍的功能

• 主题涵盖自然科学、人文社科及生活常识。
• 官方仓库提供数据集、论文与评测实现入口。
• 榜单区分 zero-shot 与 five-shot，并说明部分模型的指令跟随及污染检查。

建议开始方式

• 根据中文任务选定相关学科和数据划分。
• 固定提示及模型配置，保留逐题输出与评分设置。
• 分析错误类型，并用未参与训练的业务样例补充验证。

以上为根据产品用途整理的编辑建议，并非本站实测流程。

使用前核对

• 本站尚未实测，功能介绍来自官网资料。
• 价格、地区、语言、商用、水印和导出条件尚未按同一 Plan 逐项核验。
• 官网所述污染检查和榜单未由本站复核；中文学科成绩不能认证所有语言或业务任务，也不与 C-Eval、MMLU 混用数据与排名。