大模型能力评测完全指南 2026：指标含义、评测方法与权威平台推荐

一句话摘要

大模型评测已经从单一的若干个标准测试分数，发展为覆盖基础能力、推理能力、学科能力、代码能力、智能体能力、长上下文、对齐与安全的多维度体系；本文系统拆解常见指标的内涵、主流评测方法学路径以及最具影响力的公开评测平台与开源项目，帮助研究者和工程团队建立一套可落地的评测认知框架。

一、为什么大模型评测比以往任何 AI 系统都更难

过去十年里，图像分类、目标检测、机器翻译等任务都各自有明确的"金标准指标"：准确率、平均精度均值、BLEU 等。模型只要在这些指标上提升若干个百分点，就足以推断系统的整体能力提升。但大语言模型承担的任务不再属于"单一指标、单一数据集"的领域，而是覆盖开放对话、复杂推理、代码生成、智能体规划、科学问答、长文档理解、多轮工具调用等高度异构的能力集合。一个模型可能在某几个子任务里接近人类专家，但在另一些子任务中仍会产生显而易见的幻觉或推理偏差。这意味着"一个数字判定模型好坏"在原理上已经行不通，必须用一组互相补充的指标体系来刻画。

更进一步，大模型评测还存在三道特有的深层挑战。第一，数据污染：当训练语料吸收了公开评测集题目之后，模型在测试集上的表现会被高估，新的训练—测试隔离流程必须升级；第二，能力外推：当模型规模或训练方法发生跳跃式变化时，旧指标的饱和度会立刻上升，迫使评测者不断设计更高难度的新任务；第三，评测对象漂移：模型不再只是"回答问题"，而是会调用工具、写代码、浏览网页、操作浏览器以及与人类多轮协商，评测的对象从"输出"扩展到"行为轨迹"，传统的判分函数已经不够用。

这三层挑战共同决定了现代大模型评测必须建立在四个支柱之上：可执行的评测框架、可对比的指标体系、可复现的环境控制、可持续的对抗性迭代。后续四个章节就分别沿着指标、方法、平台和落地工程四个维度展开。

二、核心能力指标体系：每个数字到底在度量什么

2.1 基础语言理解与生成能力

这类指标衡量模型最底层的语言学能力，通常作为"零号基准"。常见指标包括：

• 困惑度（Perplexity, PPL）：衡量模型对一段文本的预测不确定性，越低说明模型对语言分布的拟合越好。PPL 主要用于比较同一类模型在同分布数据下的相对表现，例如对比一个 7B 模型训练前后的差异，或者对比不同 checkpoint 在同一验证集上的表现。需要注意不同分词器会显著影响 PPL 的绝对值，跨模型对比时必须配套报告归一化方式。
• GLUE / SuperGLUE 得分：经典自然语言理解基准的合集，覆盖文本蕴含、情感分类、相似度判断、自然语言推理等子任务，常被作为"基础 NLU 健康度"的快速体检。
• MMLU 与 MMLU-Pro：大规模多任务语言理解测试，覆盖人文、社科、理工和职业类知识。MMLU 在大量主流模型中已经饱和，于是 MMLU-Pro 把题目来源升级为更注重推理的选择题，并减少噪声选项，使头部模型之间的差距重新显现。读 MMLU 分数时建议看 Massive Multitask Language Understanding 的全称而不是缩写，并关注 MMLU-Pro 数字而非 MMLU 数字。
• BBEH 与 BIG-Bench 系列：BIG-Bench 是 Google 牵头的 200+ 任务集合，包含许多原本为人类设计的小型推理、因果与语言谜题；BBEH（Beyond the Imitation Game Benchmark, 简称 Beyond the Imitation Game Benchmark 的 Hard 套件）专注于高难度任务，避免被简单模式匹配破解。

2.2 推理与思维链能力

推理能力的评测目标比语言理解更深一层：要求模型在不直接复用训练信号的情况下生成新结论。常见指标包括：

• GSM8K 与 MATH：分别是小学应用题与高中竞赛数学题，用于衡量数学推理能力。配合思维链提示，模型可以显著提升得分；评测时建议同时报告 zero-shot、few-shot、CoT 与 self-consistency 四种设定下的得分。
• AIME / MATH-500 / FrontierMath：当 GSM8K 与 MATH 接近饱和之后，陆续出现了 AIME 系列和 FrontierMath 这些高难度数学基准。前者源自美国数学邀请赛真实试题，后者由 Epoch AI 组织出题并邀请顶级数学家审阅。
• ARC-AGI：抽象与推理语料库，由 François Chollet 主导设计，目标是测试模型是否具备"从未见过的抽象规则"上的推理能力。ARC-AGI 强调样本效率与少样本泛化，常作为"是否真正具备通用推理"的标尺。
• HellaSwag / PIQA / SIQA / WinoGrande：常识与物理常识推理任务，使用对抗过滤减少表面偏差，是衡量"模型会不会被常识骗"的常用手段。
• BBH（BIG-Bench Hard）：从 BIG-Bench 里挑选出 23 个对 LLM 来说仍然困难的任务，常用作"硬推理子集"的快速刷测。

2.3 代码生成与工程化能力

代码能力评测在 2024 年之后已经成为模型差异化最显著的维度之一，常见指标包括：

• HumanEval：OpenAI 早期提出的代码生成基准，包含 164 道手写编程题，通过单元测试通过率打分。
• MBPP（Mostly Basic Python Problems）：1 千道左右的基础 Python 编程题，与 HumanEval 互补。
• LiveCodeBench：从真实在线评测平台获取新题，避免数据污染，是 2024 年后被广泛采用的"反污染"代码基准。
• SWE-bench / SWE-bench Verified：评估模型在真实 GitHub Issue 上的代码修复能力，要求模型理解代码库并写出能通过 CI 的补丁。SWE-bench Verified 是 OpenAI 联合 SWE-bench 团队对原基准做的人工校验版本，去掉了不可复现或含糊的题目。
• MultiPL-E / HumanEval-X：把 HumanEval 翻译到多种语言，用于衡量代码生成的跨语言能力。

阅读这些指标时要注意"pass@k"里的 k 值：pass@1 衡量一次答对的概率，pass@10 或 pass@100 是允许模型抽样多份答案后取最佳或多次提交。生产场景下用户更关心 pass@1，而研究场景常用 pass@10 / pass@100 来衡量模型的能力上限。

2.4 长上下文与检索能力

随着百万级上下文窗口成为标配，长上下文评测也成为独立维度：

• RULER：包含 13 项任务的统一长上下文评测，从精确检索到多跳推理都被覆盖。
• LongBench / LongBench-v2：中文与英文长上下文任务集合，适合亚洲市场产品的评测。
• Needle in a Haystack：把关键信息藏在长上下文的随机位置，测试模型能否准确召回，常作为视觉化的"上下文召回热力图"被广泛传播。
• InfiniteBench / Scrolls / ZeroSCROLLS：覆盖百万 token 级别真实场景下的长文档理解与多跳问答。

长上下文评测的最大陷阱是"位置偏差"：很多模型在文章开头和结尾召回率较高，而中间位置明显下降，业内常把这种 U 型分布作为评测可视化的必备组件。

2.5 智能体与工具使用能力

当模型不再只输出文本而要操作环境时，评测必须从"输出"转向"轨迹"：

• AgentBench / AgentBench-Lite：覆盖网页浏览、数据库操作、操作系统交互等任务的智能体评测，提供可执行环境和统一打分。
• SWE-bench、InterCode、AppWorld：以可执行代码环境衡量的智能体能力，其中 AppWorld 由 IBM 主导，强调"在受控沙箱里完成真实应用任务"。
• WebArena / VisualWebArena：基于真实网站的可交互环境，模型必须像人一样点击、输入、跳转网页完成任务。
• τ-bench / Mind2Web / GAIA：分别由 Sierra、CMU 和 Meta 等机构主导，覆盖对话式智能体、网页多步推理、通用助手评测。

智能体评测的关键指标已经不止"任务成功率"，还包括步数效率、重试次数、工具调用 Schema 错误率、Token 消耗等过程性指标。

2.6 对齐、安全与指令遵循

安全与对齐是产品落地的硬门槛，常用指标包括：

• TruthfulQA：测试模型是否会被常见误解骗到，衡量真实性。
• HHH Eval（Helpful, Harmless, Honest）：Anthropic 提出的三轴人工评测框架。
• HarmBench / AdvBench：对抗性红队评测，衡量越狱抵抗能力。
• MT-Bench / AlpacaEval / Arena-Hard-Auto：对话质量评测，其中 MT-Bench 由 LLM 作为裁判、AlpacaEval 采用成对胜率、Arena-Hard-Auto 提供更难的话题。
• Chatbot Arena（人类偏好 Elo）：LMSYS 维护的开放式人类盲测排行榜，使用 Bradley-Terry 模型输出 Elo 分数，被业界视为"最接近真实用户体验"的指标之一，但需要注意投票者群体偏差。

2.7 多模态能力

对支持图像、视频、音频甚至视频流的模型，需要额外的多模态评测：

• MMBench / MMMU：图像理解与多模态科学问答，覆盖从基础识别到专业学科。
• MathVista / MathVerse / ChartQA：视觉数学与图表理解任务。
• MMVet / MMStar / BLINK：视觉问答与视觉推理测试。
• VideoMME / LongVideoBench / EgoSchema：长视频理解基准。

读这些分数时同样要警惕"评测集曝光"问题：模型训练过程中可能已经接触过类似的图片或题面，所以同一张排行榜的分数如果突然暴涨，往往意味着该评测集已经被部分吸收。

2.8 综合与对照型指标

除上述分类指标之外，还有几个被广泛引用的"综合数字"：

• LiveBench / BIG-Bench-Lite：每月更新题目以减少数据污染的综合测试。
• OpenCompass / CompassRank：上海人工智能实验室维护的中文综合评测体系。
• FlagEval / SuperCLUE：中文社区常见的综合能力榜单。

读者在使用任何综合榜单时建议拉出"分项得分"，而不是直接引用综合数字，因为很多综合榜单对不同能力维度的加权并不透明。

三、评测方法学：从静态打分到动态轨迹的演进

3.1 静态基准评测：经典范式

静态基准评测的做法是准备一组题目、让模型生成答案、再用确定性或模型打分函数计算指标。这种方式在能力维度相对固定时（如 GLUE、HumanEval）效率很高，但面对数据污染和能力外推时显得脆弱。静态评测的基本要求包括：题目版本号、Prompt 模板、采样参数（temperature、top-p、max_tokens）、解码随机种子、基础设施（GPU 型号、推理框架版本）。任何一项缺失都会让结论不可复现。

3.2 动态与对抗式评测

针对数据污染与题目饱和，越来越多评测开始采用"动态生成"模式：每次评测时基于题库重新组合或生成新题。LiveBench、HumanEval+、LiveCodeBench、MMLU-Pro 都属于这一类。对抗式评测进一步引入人类专家不断提供模型答错的样本，把模型的失败案例沉淀成下一轮的"陷阱题"。

3.3 LLM-as-Judge：用模型当裁判

由于开放任务难以用规则打分，使用更强的模型作为裁判逐渐流行。MT-Bench、Arena-Hard-Auto、AlpacaEval 都采用这种思路。优点是能处理主观性与开放性，缺点是评判模型本身存在偏置（如位置偏置、风格偏置、自我偏好），所以通常需要：

• 打分模型与被评模型分离，避免自我奖励；
• 给裁判模型提供显式 rubric（评分细则）；
• 多次随机位置并取平均，减小顺序偏置；
• 至少保留一部分人类标注作为校准。

3.4 过程性评测：轨迹与可执行验证

智能体评测要求模型"做出正确的动作序列"，单纯的最终输出打分不足以反映执行能力，于是出现过程性评测：模型每一步都被记录，成功率、步数、调用 Schema 是否合规、是否陷入循环、回滚次数等都被纳入指标。可执行验证则进一步把动作直接送到容器或浏览器中跑一遍，确认产生了预期状态变化。SWE-bench、AgentBench、WebArena 都属于该范式。

3.5 人类偏好评估：盲测、群体评分与 Elo

LMSYS 的 Chatbot Arena 是当前最被引用的人类偏好评测体系。它基于成对盲测，由真实用户在不知模型身份的情况下给两个回答投票，再通过 Bradley-Terry 或 Elo 模型计算每个模型的相对实力。这种方式贴近真实体验，但同时也存在用户样本偏差、英文偏好和评测期间的作弊刷分问题。许多研究团队已经发表了针对 Arena 偏差的修正方法。

3.6 红队评测与对抗性测试

红队评测指专门组织人类或自动化攻击者测试模型在涉及政治敏感、暴力、隐私、版权、越狱指令等场景下的反应。其核心不是看"模型能否回答"，而是看"模型会不会在诱导下越界"。HarmBench、AdvBench、RedTeam Arena 都提供相关数据集与流程。安全评测要严格区分"意图识别失败"与"对齐策略失败"，前者说明模型不知道怎么识别危险输入，后者说明模型知道但仍然输出。

3.7 评测的可复现性保障

任何可信评测都必须配上"评测协议卡"，记录以下要素：

• 模型版本与权重哈希；
• 推理框架版本（如 vLLM、SGLang、TensorRT-LLM 的具体 tag）；
• 采样参数；
• 评测集快照日期与版本；
• 评测环境硬件与驱动；
• 评测脚本与配置文件。

读者引用一份评测结果前应当确认这份协议卡，否则该结果不应当被作为模型能力对比的依据。

四、主流评测平台与开源项目推荐

下面按照平台类型分类，给出当前最具影响力、可免费或可自部署的大模型评测生态成员。

4.1 综合型排行榜

• Hugging Face Open LLM Leaderboard：覆盖 MMLU、ARC、HellaSwag、TruthfulQA、GSM8K、Winogrande 等多项指标，使用透明的数据集与固定的推理参数，是开源社区最常引用的横评榜单。
• Chatbot Arena（LMSYS）：人类盲测 Elo 排行榜，最贴近真实用户体验，但受英文偏好影响较大。提供 leaderboard、对话可视化与评分细则 API。
• OpenCompass / CompassRank / CompassRank-2：上海人工智能实验室维护的中英文综合能力榜单，覆盖 100+ 数据集，按学科和能力维度分类。
• SuperCLUE / FlagEval / CLUE-Benchmark：中文社区广泛使用的综合榜单，涵盖通用对话、推理与中文特定任务。
• Artificial Analysis：聚合多家模型在吞吐量、价格、上下文长度、第一 Token 延迟、生成质量等维度的对比。
• LiveBench：每月更新题目的综合测试，对抗数据污染。

4.2 智能体与执行环境评测

• AgentBench / AgentBench-Lite：清华大学等团队维护的智能体评测平台，支持 8 类真实环境。
• WebArena / VisualWebArena：基于真实网站的可执行评测环境。
• SWE-bench / SWE-bench Verified / SWE-bench Multimodal：评估模型在 GitHub 真实代码修复上的能力。
• AppWorld / InterCode / Mind2Web / GAIA / τ-bench：分别由 IBM、CMU、Sierra 等团队主导的智能体评测套件。
• ToolBench / API-Bank / Gorilla：专注于 API 调用与工具学习的评测项目。

4.3 代码与软件工程评测

• HumanEval / HumanEval+ / HumanEval-X：经典代码生成基准的若干变种。
• MBPP / MBPP+：基础 Python 编程题。
• LiveCodeBench：反污染的代码评测，每月更新。
• BigCodeBench：覆盖 1000+ 任务的扩展代码基准。
• RepoEval / RepoBench / CrossCodeEval：仓库级代码评测，强调跨文件依赖与上下文。
• DS-1000 / ML-Bench / CodeArena：数据科学与机器学习工作流评测。

4.4 多模态评测

• MMBench / MMMU / MMVet / MMStar / BLINK：图像理解评测。
• MathVista / MathVerse / ChartQA / FigureQA：视觉推理与图表理解。
• VideoMME / LongVideoBench / EgoSchema / ActivityNet-QA：视频理解。
• AudioBench / Dynamic-SuperB / AIR-Bench / MMAU：音频理解。
• MMSI-Bench / MMMU-Pro：多模态推理复杂套件。

4.5 长上下文评测

• RULER：13 项统一任务，覆盖短到长上下文。
• LongBench / LongBench-v2：中英文长上下文。
• Needle in a Haystack (NIAH) / NIAH-Retrieved：上下文位置召回评测。
• InfiniteBench / ZeroSCROLLS / Scrolls：百万 token 级真实长文档评测。
• LEval：覆盖 20 个长上下文子任务，跨学科。

4.6 安全、对齐与红队评测

• HarmBench / AdvBench / JailbreakBench：对抗性与越狱测试。
• TruthfulQA / HallucinationEval / HaluEval：真实性与幻觉评测。
• SafetyBench / BeaverTails / ToxiGen：安全数据集合。
• HHH Eval / HHH Bench：Anthropic 提出的三轴评测。
• 红队评测自动化工具包：如 Microsoft 的 PyRIT、Anthropic 的可重用红队协议。

4.7 评测框架与工具链

• lm-evaluation-harness（EleutherAI）：覆盖 200+ 基准的命令行评测框架，是开源社区事实标准。
• OpenCompass：一站式、可视化的评测调度系统。
• HELM（Stanford CRFM）：透明的多维评测框架，强调完整协议卡披露。
• LightEval（Hugging Face）：轻量化、与 Datasets / Transformers 深度整合的评测框架。
• Inspect（UK AI Safety Institute）：英国 AISI 维护的评测与红队框架，强调可审计性。
• MLC LLM-eval / Promptfoo / RAGAS：分别从通用 LLM 评测、Prompt 调试、RAG 系统评测的角度提供工具。
• DeepEval / Trulens：面向 RAG、智能体应用的产品级评估 SDK。

4.8 自建私有评测体系

如果公开榜单无法反映业务需求，企业与研究者通常会建立私有评测体系。建议路线：

• 步骤 1：选取部分公开评测集作为基础骨架，加上 200-500 条真实业务样本；
• 步骤 2：搭建"金标准答案 + LLM-as-Judge + 人类抽样复核"三层评估链路；
• 步骤 3：使用 Promptfoo、RAGAS 或 DeepEval 等框架接入 CI，每次模型升级都自动跑回归；
• 步骤 4：对失败案例做错误聚类（语义相似度 + 主题聚类）并定期回填进评测集，形成数据飞轮。

五、阅读评测结果时的五条注意事项

第一，同分不同能。MMLU 80% 与 MMLU-Pro 80% 的含义完全不同；同一指标在两个不同数据集上的等分也并不意味着能力相同。

第二，警惕数据污染。如果在模型更新日志里看到训练语料含有评测集题目，那么相应的评测分数不再可信。LiveBench、SWE-bench Verified、LiveCodeBench 这类动态基准就是为了对抗污染而设计的。

第三，分项比综合重要。CompassRank 和 Open LLM Leaderboard 都允许拉出细粒度指标，建议优先看分项差异，再看综合排名。

第四，口径必须透明。当某个机构发布"P 模型在 Q 评测上超过 R 模型"时，必须检查是否使用了同样的 prompt、同样的解码参数、同样的评测集快照。这一点对排行榜设计者与读者都适用。

第五，分数不是全部。模型延迟、价格、上下文长度、Token 吞吐量、是否支持工具调用、API 稳定性等都是产品决策必须关心的指标。建议把它们与质量指标并列放进决策矩阵，而不是只看"模型排行榜排名"。

六、对未来评测生态的展望

短期内可以看到三条主线：第一，动态与对抗化成为默认形态，静态基准将逐渐退化为"过拟合检测器"；第二，过程性指标成为智能体评测的主轴，轨迹分析工具会变成新一代评测基础设施；第三，多模态长时程评测走向成熟，覆盖视频理解、跨模态推理与持续对话等更接近真实场景的设置。

与此同时，社区也在呼吁建立"评测协议卡"与"透明度报告"作为引用排行榜的硬条件。可以预期，未来两到三年内，主流评测平台将普遍要求模型方提交权重哈希、推理参数与硬件环境，否则对应的分数将不被纳入正式排名。

七、给研究者与工程师的总结

对研究者而言，理解每一个指标背后的采样设定、提示词模板和判分机制，是与社区同行对话的基础。建议在论文里同时报告 zero-shot、few-shot、CoT 与 self-consistency 等多组设定，并附上完整的协议卡。

对工程师而言，把评测从"项目完成后对比一张表"的阶段，提升到"与 CI 同等地位的基础设施"，是构建可靠 AI 应用的关键一步。借助 lm-evaluation-harness、OpenCompass、LightEval 等开源框架，并结合 Promptfoo、RAGAS、DeepEval 等面向应用的工具，可以在不投入大型基础设施的前提下获得接近产品级的评测结果。

最后，任何"模型排行榜"都只是特定设定下的快照，真正的判断应当来自在目标业务场景里持续运行的可复现评测，以及对失败案例的精细归类。这就是大模型能力评测的全部意义——不是给出一个单一数字，而是为每一次选型与升级提供可量化的依据。

参考文献

1. Srivastava A. et al. Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models. Transactions on Machine Learning Research, 2023.
2. Hendrycks D. et al. Measuring Massive Multitask Language Understanding. ICLR 2021.
3. Wang Y. et al. MMLU-Pro: A More Robust and Disaggregated Multitask Language Understanding Benchmark. NeurIPS 2024.
4. Chen M. et al. Evaluating Large Language Models Trained on Code. arXiv:2107.03374, 2021.
5. Austin J. et al. Program Synthesis with Large Language Models. arXiv:2108.07732, 2021.
6. Jain N. et al. LiveCodeBench: Holistic and Contamination Free Evaluation of Large Language Models for Code. arXiv:2403.07974, 2024.
7. Jimenez C. E. et al. SWE-bench: Can Language Models Resolve Real-World GitHub Issues? ICLR 2024.
8. OpenAI. Introducing SWE-bench Verified, 2024.
9. Liu N. F. et al. Lost in the Middle: How Language Models Use Long Contexts. TACL 2024.
10. Zhang X. et al. CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models. arXiv:2401.17043, 2024.
11. Liu J. et al. RULER: What's the Real Context Size of Your Long-Context Language Models? COLM 2024.
12. Bai Y. et al. LongBench: A Bilingual, Multitask Benchmark for Long Context Understanding. arXiv:2308.14582, 2023.
13. Liu X. et al. AgentBench: Evaluating LLMs as Agents. ICLR 2024.
14. Zhou S. et al. WebArena: A Realistic Web Environment for Building Autonomous Agents. NeurIPS 2024.
15. Koh J. Y. et al. VisualWebArena: Evaluating Multimodal Agents on Real Visual Web Tasks. COLM 2024.
16. Lin B. Y. et al. τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains. arXiv:2406.12045, 2024.
17. Trivedi H. et al. AppWorld: A Controllable World of Apps and People for Benchmarking Interactive Coding Agents. arXiv:2407.18901, 2024.
18. Mialon G. et al. Gaia: A Benchmark for General AI Assistants. ICLR 2024.
19. Lin S. et al. MMLU-Pro: Robust Multi-Task Understanding Benchmark. arXiv:2406.01574, 2024.
20. Yue X. et al. MAmmoTH: Building Math Generalist Models through Hybrid Instruction Tuning. arXiv:2309.05653, 2023.
21. Chollet F. On the Measure of Intelligence. arXiv:1911.01547, 2019.
22. Li R. et al. Humanity's Last Exam, arXiv:2501.14249, 2025.
23. Chiang W.-L. et al. Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90% ChatGPT Quality, 2023.
24. Zheng L. et al. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. NeurIPS 2023.
25. Li X. et al. AlpacaEval: An Evaluator of Instruction-Following Language Models, 2023.
26. Li J. et al. Chatbot Arena: New Open Platform for LLM Evaluation, LMSYS, 2024.
27. Liang P. et al. Holistic Evaluation of Language Models (HELM), Stanford CRFM, 2022.
28. Liu C. et al. OpenCompass: A Universal Evaluation Platform for Foundation Models, 2024.
29. Gao L. et al. A Framework for Few-Shot Language Model Evaluation, Zenodo, 2024.
30. Hugging Face. LightEval: A Lightweight Framework for LLM Evaluation, 2024.
31. UK AI Safety Institute. Inspect: A Framework for LLM Evaluation and Red Teaming, 2024.
32. Microsoft. Python Risk Identification Toolkit for LLMs (PyRIT), 2024.
33. OpenAI. Red Teaming Network, 2024.