面经策

指令微调的好处？ ​

  • 标签：大模型、AI、微调

🏛 业务架构师 ​

指令微调（SFT）给企业带来的好处，我按价值层次讲：

1. 行为可控性：未经指令微调的基座模型只会"续写"，不会"听话"——指令微调后模型才成为可指挥的工具，能稳定按指令格式、角色、约束输出。这是基座到可用产品之间的必经一环（我们用的所有 API 模型都经过了厂商的 SFT+对齐）。

2. 业务一致性：微调后模型的输出风格、术语、格式与业务规范强一致——客服话术符合品牌调性、报告输出符合公司模板，不再依赖用户"会写提示词"。

3. 成本优化：高频简单任务微调小模型替代旗舰 API，推理成本降 80%~95%，且时延更低；提示词里不再需要塞大量示例和规则（这些已内化进参数），token 开销同步下降。

4. 竞争壁垒：指令微调的真正护城河是数据——业务运营沉淀的"指令-理想输出"对（客服黄金话术、专家操作记录）是竞品拿不到的私有资产。模型可以买到，数据买不到。

清醒面：指令微调治"行为"，不治"知识"——想让模型记住公司产品参数，答案还是 RAG。我的总结：SFT 决定模型"像不像你的员工"，RAG 决定它"知不知道公司的事"，两者互补而非替代。

🏗 系统架构师 ​

指令微调（SFT）的好处，我分模型能力和工程收益两本账：

模型能力收益：

  • 指令遵循：预训练模型只会"续写"，SFT 后才"听懂人话"——从补全引擎变成对话助手，这是 Chat 模型的立身之本；
  • 格式稳定：输出结构（JSON、Markdown、对话轮次）内化成行为，结构化输出合规率大幅提升，下游管道可用性质变；
  • 风格与角色：语气、术语体系、拒绝策略按业务对齐，说"行话"；
  • 任务泛化：多样化指令数据训练后，对没见过的指令类型也具备举一反三能力（与涌现能力协同）。

工程收益（架构师视角）：

  • 成本腰斩路径：SFT 后的 7B 在特定任务上逼近 GPT-4 级大模型，自托管推理成本降一个数量级，高 QPS 场景回收显著；
  • Prompt 瘦身：原来靠 2000 token 的 few-shot + 规则约束压出来的行为，微调后几十 token 就能触发——省 token、降延迟、Prompt Cache 更易命中；
  • 一致性可控：few-shot 的示例选择本身引入随机性，SFT 把行为固化进权重，输出方差更小，评测和回归更有意义。

边界提醒：SFT 塑行为不塑知识——想让它知道新事实，RAG 依然是正解；两者组合（SFT 控行为 + RAG 供事实）是生产标配。

💻 全栈开发专家 ​

指令微调（SFT）的核心收益有四条：

  1. 对齐人类指令：基座模型只会「续写」，SFT 后才「听懂人话」——从「文本补全器」变成「任务执行器」。这是 base 模型和 chat 模型的分水岭。
  2. 激活与强化上下文学习：基座其实隐含 ICL 能力，SFT 把「看到示例→照示例办」的模式强化成默认行为，few-shot 稳定性大增。
  3. 统一多任务格式：翻译、摘要、抽取、问答全部统一成 instruction-following 范式，一个模型多面手，交互协议（chat template）标准化，工程链路大幅简化。
  4. 可控性提升：输出格式遵循（JSON、表格）、风格、拒答行为、安全边界，都能通过 SFT 数据显式塑造——这是把「产品需求」写进模型 weight 的通道。

工程视角的补充（面试加分）：

  • SFT 教的是「怎么用知识」，不增加知识本身——知识缺口要靠 RAG/CPT；
  • 小模型 + 高质量 SFT 在垂直任务上能打平大模型 few-shot，这是降本逻辑；
  • SFT 后模型行为变化剧烈，必须有评测集做回归，我们甚至给 prompt 变更和 SFT 版本建立映射，坏例能一键回溯到训练数据。

一句话：预训练决定能力上限，SFT 决定能力「能不能被用户用出来」。