面经策

微调过程中如何防止灾难性遗忘？有哪些实用的缓解策略？ ​

  • 标签：

🏛 业务架构师 ​

灾难性遗忘的实用缓解策略，我按"事前—事中—事后"组织：

事前（架构选择）：

  • 优先 LoRA/QLoRA 而非全量微调——冻结主干天然锁住通用能力，遗忘风险降一个量级；
  • 多任务需求用"多适配器"而非"一个模型硬塞"——各任务独立 LoRA，互不干扰。

事中（训练控制）：

  • 数据回放（Rehearsal，最有效）：微调语料掺 10%~30% 通用指令数据（开源通用 SFT 集 + 自采通用问答），让模型"边学新边复习旧"；
  • 温和训练：低学习率（LoRA 1e-4 级）、少 epoch（1~3 轮）、早停——训得越狠忘得越多；
  • LoRA 容量克制：r 不要盲目调大，容量越大越容易把主干表征拉偏。

事后（发布防线）：

  • 双评测卡点：领域评测集 + 通用能力 Benchmark（MMLU/内部通用任务集）都达标才发布，制度化执行；
  • 保留基线快照：出问题可秒回退（LoRA 摘除即恢复，全量微调则需备份模型）。

业务视角的定性：遗忘是慢性病，业务方一般不主动报"AI 变笨了"，等发现时往往已上线数周。所以必须技术侧主动设卡点——把通用回归测试做成发布流水线的强制环节，就像财务对账一样不能靠自觉。我的经验数据：加数据回放后，通用能力损失可控制在 1~2 个点内，基本业务无感。

🏗 系统架构师 ​

防灾难性遗忘我的生产 checklist（按性价比排序）：

  • PEFT/LoRA 冻结主干（结构性防御）：底座权重物理不动，通用能力的载体不被覆写——这是 LoRA 天然防遗忘的原理，能上 PEFT 就不用全量；
  • 数据混合（最实用的单点手段）：微调数据掺 5%~20% 通用指令数据（开源通用 SFT 集 or 底座自采样数据），让梯度方向不单方面漂移——全量微调时这一条从建议升格为必须；
  • 克制训练强度：小学习率（全量 1e-5 级）、少 epoch（1~3）、早停（eval loss 回升即停）——参数漂移幅度小，遗忘就浅；
  • 两段式训练：领域知识注入用继续预训练（低 lr、大混合比），指令能力恢复用通用 SFT 收尾——先学后忆，比一步到位稳；
  • 正则化方法：L2-SP（约束参数靠近初始点）、EWC（对 Fisher 信息大的"重要参数"加弹性约束）——学术有效，工程上优先用数据混合因为更简单可控；
  • 蒸馏回注：微调模型 + 底座模型答案混合蒸馏，把通用行为"回灌"。

铁律（发布门禁）：微调模型必须跑通用能力回归集（指令遵循、常识、代码抽查）+ 领域测试集，双达标才发布；只有领域指标就上线，是"客服模型不会聊天"这类事故的标准剧本。遗忘是概率事件，门禁是确定性保险。

💻 全栈开发专家 ​

灾难性遗忘 = 学新忘旧：微调后领域任务涨分，通用能力（推理、代码、常识）明显退化。缓解策略按工程性价比排：

  1. LoRA/QLoRA 代替全量（结构性缓解）：主干权重完全不动，通用能力物理上不可能被「冲掉」，遗忘幅度天然小。这是选 PEFT 最大的隐藏红利。

  2. 通用数据回放（Replay，全量微调必做）：训练集混入通用指令数据（ShareGPT/OpenHermes/自建通用集），配比经验 领域:通用 ≈ 1:1 到 2:1：

python
mix = concat_datasets([domain_data,
    general_data.shuffle().select(range(len(domain_data)))])

  1. 温和训练：小学习率（全量 1e-5 量级）+ warmup + 少 epoch（1~2）——大 lr 猛训是「冲刷」旧知识的主因。

  2. EWC（弹性权重固化）：对旧任务重要的参数加正则惩罚（基于 Fisher 信息矩阵），限制其变动。理论优雅，工程上算 Fisher 麻烦，任务敏感场景才上。

  3. 模型合并/插值：事后补救——微调权重与基座线性插值（W = W_base + t·ΔW，t=0.6~0.8），可以主动「往回拉」通用能力；任务 LoRA 之间也可 merge。

  4. 分层策略：冻底层训顶层（底层承载最通用的特征）。

监控落地：通用能力哨兵集（50~100 题数学/代码/常识）进 CI，每个 checkpoint 自动跑，降幅 >5% 告警。我们靠这套机制拦截过两次「领域涨 3 分、通用掉 8 分」的废模型——没有度量的遗忘才是最大的风险。