面经策

Transformer 模型训练完成后，如何评估其性能和效果？ ​

  • 标签：Transformer

🏛 业务架构师 ​

Transformer 训练完成后的性能评估，我按"三层指标体系"讲：

1. 困惑度 Perplexity（内在指标）：模型对测试集的"困惑程度"——PPL 越低，模型对真实语言的预测越准。用途：预训练/继续预训练的收敛判断、不同基座的横向粗比；局限：不直接反映下游任务效果，只能当初筛。

2. 下游任务基准（能力指标）：按模型定位选评测集——

  • 通用理解：MMLU、BBH；
  • 推理：GSM8K、GPQA；
  • 代码：HumanEval、SWE-bench；
  • 长文本：RULER/大海捞针；
  • 中文：C-Eval、CMMLU；
  • 对话/指令：MT-Bench、Arena 类人工/模型盲测。

业务模型还要跑自建领域评测集（真实流量样本+专家标注）——通用榜单好不代表你的领域好。

3. 生成质量与安全（上线前必测）：

  • 人工评估：抽样盲评流畅度、有用性、事实准确性；
  • 幻觉率：领域事实问答的编造比例；
  • 安全性：红队测试（有害请求拒答率、注入抵抗）；
  • 通用能力回归：微调后的模型要测通用 Benchmark 防灾难性遗忘。

鲁棒性与效率指标（工程验收）：长尾输入（错字、混合语种）的表现稳定性；推理延迟/吞吐/显存——决定部署成本。

方法论要点：评估要"固定 testset + 分版本记录 + 自动化跑分管线"——让每次迭代可比较；警惕数据污染（测试集混入训练数据的高分假象）。业务定调：技术指标最终要换算成业务语言（准确率提升→人工纠错率下降多少→省多少人天），评估报告是技术与业务对话的翻译件。

🏗 系统架构师 ​

Transformer 训练后的评估我按四层指标体系讲（对应不同决策场景）：

1. 固有指标（训练质量体检）：

  • Loss / Perplexity（困惑度）：语言建模基础指标——PPL 越低语言建模越好；跨模型可比性有限（tokenizer 不同则 PPL 不可直接比），适合同模型迭代对比；

2. 下游任务 Benchmark（能力轮廓）：

  • 通用知识推理：MMLU/MMLU-Pro、GPQA；
  • 数学：GSM8K、MATH、AIME；
  • 代码：HumanEval、MBPP、SWE-bench（真实工程任务）；
  • 指令与对话：MT-Bench、AlpacaEval、Arena-Hard（人类偏好对齐度）；
  • 长上下文：RULER、大海捞针（多针/变针更可信）；
  • 安全：越狱抵抗率、毒性基准（ToxiGen 类）；
  • 中文：C-Eval、CMMLU；

3. 对齐与人类评估（产品视角）：RLHF 类模型看人类偏好评测（Chatbot Arena ELO）、红队攻击成功率、事实性评估（FactScore 类）；

4. 领域与应用实测（最终裁判）：在自己业务的评测集（真实分布采样 200~500 条 + 难例）上跑任务级指标（准确率/F1/格式合规率/成本/延迟）——榜单分数会因数据污染虚高，业务实测才是决策依据。

工程纪律：评估自动化进 CI（模型/数据变更回归）；基准持续更新（旧基准被训练数据污染后区分度归零）；多维看板而非单一分数——能力是向量不是标量，总分接近的两个模型在你要的任务上可能差 20 个点。

💻 全栈开发专家 ​

Transformer（含其上的 LLM）评估，我分四个层面做：

1. 困惑度 Perplexity（语言建模的内在指标）： PPL = exp(平均负对数似然)——模型对测试集的「困惑程度」，越低越好。优点：无监督、便宜、可比；缺点：与下游任务效果只是弱相关（PPL 低不代表会做任务），主要用于预训练质量监控和同类模型粗筛。

2. 下游任务基准（能力评测）：

  • 分类/理解：GLUE/SuperGLUE、MMLU（知识）、C-Eval（中文）；
  • 生成：翻译 BLEU/COMET、摘要 ROUGE/BERTScore（注意：与人工评价相关性一般，只做参考）；
  • 代码/数学：HumanEval、MATH、AIME；
  • Agent 能力：SWE-bench、工具调用 BFCL。

3. 人工评估（生成的金标准）： 盲评打分（fluency/coherence/informativeness）、成对比较（A/B 哪个好）——主观质量最终裁判；成本高，抽样做。

4. LLM-as-Judge（规模化替代）： 强模型按 rubric 打分/成对比较，与人工一致性 ~80%——配合位置交换、多 judge 投票、定期人工校准使用。

推理性能评估（工程必测，容易被忽略）：TTFT（首 token 延迟）、TPOT（每 token 间隔）、吞吐（tokens/s）、显存占用——同一模型不同推理引擎（vLLM vs TGI）差异巨大，部署选型必测。

实操建议：评估金字塔——预训练看 PPL，能力看 benchmark，产品效果看自建业务评测集（100+ 条真实样本+评分标准），上线后看用户行为指标。自建评测集永远比公共榜单对决策更有价值（防数据污染、贴业务分布）。