面经策

如何评估大模型的能力？主流的 Benchmark 有哪些？ ​

  • 标签：

🏛 业务架构师 ​

评估大模型能力的方法：静态基准（Benchmark）打分 + 动态竞技场评测 + 自建业务评测三层结合。

主流 Benchmark：

  • 通用知识推理：MMLU/MMLU-Pro（多学科选择题）、GPQA（研究生级难题）、BBH（ BIG-Bench Hard）；
  • 数学：GSM8K（小学应用题）、MATH/AIME（竞赛级）；
  • 代码：HumanEval、SWE-bench（真实 GitHub issue 修复——最贴近工程能力，Agent 时代的金标准）；
  • 长文本：RULER、LongBench（大海捞针测试）；
  • 中文：C-Eval、CMMLU；
  • ** Agent/工具使用**：τ-bench（客服工具任务）、BFCL（函数调用）；
  • 人类偏好竞技场：LMSYS Chatbot Arena（真实用户盲投票，反映体验）。

怎么用才专业：榜单看趋势不看单点（刷榜污染存在，知名 benchmark 泄露进训练数据导致虚高）；按业务场景选相关维度（做客服的看指令遵循和工具调用，不看竞赛数学）；权重看"你的任务画像"。

必答题的自建部分：通用 Benchmark 回答"模型强不强"，业务评测集回答"对你的业务好不好用"——用真实流量抽 200~500 条，人工标注黄金答案，每次换模型/改提示跑回归。我的选型流程：候选 2~3 个模型 → 通用 Benchmark 初筛 → 自建业务评测集横评 → 小流量灰度 → 按单据/时延/成本综合决策。通用榜单是入口，业务评测集才是终审。

🏗 系统架构师 ​

大模型能力评估我分三个层次，避免"拿榜单当能力"的误区：

第一层：公开 Benchmark（初筛）：

  • 通用知识与推理：MMLU/MMLU-Pro（学科知识）、GPQA（研究生级科学）、HellaSwag（常识）；
  • 数学与代码：GSM8K/MATH/AIME（数学）、HumanEval/SWE-bench（代码——SWE-bench Verified 是 2026 年 coding Agent 的核心基准）；
  • 指令与对话：MT-Bench、AlpacaEval/Arena-Hard（LLM 当裁判 + 人类偏好）；
  • 长上下文：RULER（比"大海捞针"更严格的长度能力）、Needle-in-Haystack；
  • 中文：C-Eval、CMMLU；
  • Agentic：GAIA、τ-bench（工具使用与多步任务）——2026 年越来越重要。

第二层：领域与任务实测（决策依据）：榜单有数据污染（题目泄漏进训练集）和分布偏差——选型必须在自己的评测集上跑：抽 200~500 条真实业务样本（覆盖真实分布 + 难例），对比准确率/格式合规率/成本/延迟。

第三层：线上验证（最终裁判）：A/B 分流看业务指标（解决率、采纳率、转人工率）与工程指标（P99 延迟、单条成本）。

方法论要点：一是榜单分数 ≈ 实验室条件，业务效果还受 prompt 适配、检索质量影响——榜单差 2 分可能被好的上下文工程反转；二是建立模型升级回归流程：新模型发布 → 跑自家评测集 + 安全面 → 决定是否切换——把"追新"变成有数据的决策。

💻 全栈开发专家 ​

评估大模型我看四类方法，Benchmark 是其中之一：

1. 静态知识/能力基准：

  • MMLU / MMLU-Pro：多学科多选知识（Pro 版更难更抗记忆）；
  • GPQA（Diamond）：研究生级科学推理，区分顶尖模型；
  • MATH / AIME：数学竞赛难度推理；
  • HumanEval / LiveCodeBench：代码生成（LiveCodeBench 用持续更新的新题，防污染）；
  • C-Eval / CMMLU：中文能力；
  • HELM / Open LLM Leaderboard：聚合视角。

2. 真实感/Agent 基准（2026 更重要）：

  • SWE-bench (Verified)：真实 GitHub issue 修复能力——AI 编程的金标准；
  • Terminal-Bench：终端任务执行；
  • Tau-bench / BFCL：工具调用与 Agent 多轮任务；
  • WebArena / OSWorld：GUI/操作系统操作能力。

3. 人类偏好榜：Chatbot Arena（LMArena）——匿名成对对比的 Elo 排名，最接近「用户体感」，但受众偏技术人群。

4. 自建业务基准（工程上最有决策价值）：100~300 条真实业务 query + 评分标准，模型选型/换版必跑——榜单分和你的业务表现经常不一致。

使用心得：

  • 数据污染警惕：老题（MMLU 原版）可能进了训练集，看分数要结合防污染的新基准（LiveCodeBench、AIME 最新场次）；
  • 榜单选「前 20 名」，最终选型靠自建基准 + 成本/延迟/合规三角；
  • 版本敏感性：同名模型不同版本（快照）分数可差很多，选型锁版本号。