如何评估微调的效果？需要关注哪些指标？

🏛 业务架构师

微调效果评估我坚持"三层漏斗+双护栏"：

第一层·自动化指标（回归基线）：

第二层·模型对比评估（证明提升）：微调版 vs 基座版+提示词版在同一评测集上 A/B——回答"微调带来的增量值不值训练成本"，这是立项延续或终止的依据。

第三层·人工与线上（业务验收）：业务专家盲评质量分；线上灰度看真实指标——客服场景看解决率/转人工率/CSAT，分类场景看人工纠正率。

双护栏（不可妥协项）：

关注的关键指标优先级：业务指标 > 领域评测分 > 通用指标 > 训练 loss。组织建议：200 条以上黄金评测集是微调项目的前置资产，先建集再训练——否则连"有没有变好"都说不清，项目就成了感觉工程。

微调效果评估我坚持四层漏斗，每层有明确的通过线：

第一层：训练健康度。train/eval loss 曲线——eval loss 平稳收敛、无回升（过拟合）；梯度无异常。只是"训完了"的体检，不代表效果。

第二层：任务效果（核心）：

建独立测试集（绝不用训练数据切分，要按线上真实分布采样），几百条起步；
客观任务（分类/抽取/匹配）：accuracy / F1 / EM，和对照组比——zero-shot、few-shot、RAG 基线，微调版必须显著超出 few-shot（如 +10 点）才值得维护成本；
生成任务：LLM-as-Judge 多维度评分（正确性、完整性、格式合规）+ 结构化字段校验通过率；关键场景抽样人审校准 Judge。

第三层：通用能力回归（防灾难性遗忘）：跑通用指令遵循、常识问答、代码能力抽查的小回归集——领域分不能拿通用能力换，两边一起进发布门禁。

第四层：线上验证。灰度 A/B：业务指标（解决率、采纳率、转人工率）+ 工程指标（延迟 P99、单条成本、格式解析失败率）。

工程纪律：测试集与数据集同版本管理（数据卡 + 模型卡）；每次迭代跑同一回归防退化；badcase 沉淀回评测集——评估资产比模型本身更长期值钱。

微调评估我分四层，从便宜到贵依次做：

1. 训练过程指标：train/eval loss 曲线（分叉=过拟合信号）；不同 checkpoint 的 eval loss 对比选最优点，不是最后一个。

2. 自动化任务指标：

封闭任务（分类/抽取）：accuracy/F1/EM，脚本秒出；
生成任务：ROUGE/BLEU 只做参考（与人工相关度低），主力用 LLM-as-Judge——和 baseline（微调前/GPT-4 参照）成对盲评，交换位置跑两次取一致结果；配 10% 人工抽检校准 judge 的偏差（长度偏好、自我偏好）；
格式遵循率：结构化输出解析成功率（我们卡 99%）。

3. 回归与安全：

4. 线上验证（最终裁决)：灰度 A/B——任务完成率、人工接管率、用户负反馈、成本延迟。微调前必须录 baseline（zero-shot/few-shot/RAG 的表现），微调价值 = 相对 baseline 的净增量，没有对照的「效果不错」不算数。

关注的关键指标汇总：任务准确率、格式遵循率、忠实度（生成类）、通用能力保持度、推理延迟与成本。流程建议：以上全部脚本化进 CI，模型/数据/prompt 任一变更自动回归——手工评估不可持续。