什么是模型蒸馏（Knowledge Distillation）？它和模型量化有什么区别？
- 标签：
🏛 业务架构师
模型蒸馏（Knowledge Distillation）指"教师-学生"训练范式：用强大（贵）的教师模型的输出（软标签、推理链、偏好数据）来训练轻量（便宜）的学生模型，让小模型学到接近大模型的行为能力。典型：用旗舰模型批量生成高质量回答→微调 7B 小模型复刻该能力。
与模型量化的区别（两者都为"降本"但路线完全不同）：
- 量化：同一个模型，把权重精度从 16bit 压到 8bit/4bit——模型没变"小"（层数参数不变），只是存储和计算更省；能力基本保留但极限压缩有损失；零训练成本，一键转换；
- 蒸馏：造一个新的更小模型（层数参数都少），通过训练把大模型能力"转移"过来；训练有成本，能力上限受学生容量限制，但推理成本可降一个数量级以上，还能定制行为。
类比：量化是"给现有专家做效率优化"（还是那个专家）；蒸馏是"让老专家带徒弟"（徒弟便宜但可能学不全）。
业务应用选择：要快速给现有私有模型降本 → 量化（INT8/INT4，几天落地）；要长期高频场景的极致降本+定制化 → 蒸馏（一次性训练投入，推理成本降 90%+）。2026 年的企业主流打法：用旗舰 API 处理难任务，蒸馏小模型（Qwen/Llama 底座）承接高频简单流量——配合起来整体成本能压到纯旗舰方案的 10%~20%。注意蒸馏的数据要自产自用（教师输出用于训练的授权条款要核对）。
🏗 系统架构师
模型蒸馏 = Teacher（大模型）指导 Student（小模型）训练：用 teacher 的输出（软标签/ logits 或生成数据）作为监督信号，让小模型学到大模型的"判断分布"——不只学"答案是什么"，还学"其他选项的概率几何"（暗知识）。
与量化的本质区别：
- 改变的是什么：蒸馏训练出参数更少的新模型（结构级压缩，能力来自重新学习）；量化保持原模型结构与参数，只降低数值精度存储（int8/int4，能力来自原权重）；
- 压缩率与损失：蒸馏可压 10~100 倍（70B→7B），但能力损失由训练质量决定（任务特化蒸馏可做到该任务上几乎无损，通用能力有损）；量化无损到轻损（int8 几乎无损，int4 轻微下降），压缩比 2~4 倍（相对 fp16）；
- 灵活性：蒸馏可以跨架构、跨模态、针对特定任务定制（任务内超 teacher 也可能）；量化是即插即用（PTQ 后训练量化，几分钟完成）；
- 成本：蒸馏要训练资源与数据工程（贵、周期长）；量化几乎零成本。
生产选型：先量化（免费拿 2~4 倍），不够再蒸馏（特定高 QPS 任务蒸馏专用小模型，推理成本降一个数量级）；两者可叠加（蒸馏后再量化）。组合范式：大模型生成数据 → 蒸馏小模型 → 部署量化版——这是 2026 年"降本"任务的标准流水线。
💻 全栈开发专家
模型蒸馏（Knowledge Distillation）：训练小模型（学生）去模仿大模型/教师模型的输出分布（soft label）或行为（生成的问答对），通过训练迁移能力——学生学到了「教师怎么想」，权重发生实质变化，可以是完全不同的架构。
模型量化（Quantization）：把同一个模型的权重从 FP16 降到 INT8/INT4 表示，只是压缩存储精度，不训练、不改变架构——是「同一个模型瘦身后损失一点精度」。
| 蒸馏 | 量化 | |
|---|---|---|
| 本质 | 训练新模型（能力迁移） | 数值压缩（信息保真） |
| 架构 | 可跨架构（大→小、异构） | 必须同一模型 |
| 灵活性 | 可以改变能力侧重 | 能力不变，精度略降 |
| 成本 | 需要训练资源+数据 | 转换即可，分钟级 |
| 上限 | 学生能力可逼近教师 | 理论无损（感知量化），实际小损失 |
什么时候用哪个（工程决策）：
- 量化：要部署同一个模型但显存不够/要提速——GPTQ/AWQ 4bit 后 70B 塞进单卡，效果掉 1~2 个点，这是部署侧手段；
- 蒸馏：要更小的专用模型——用 GPT-4 级教师生成 50 万条领域 QA 训练 1.5B 学生，学生在窄任务上打平教师。这是降本/端侧化的训练手段；
- 组合：先蒸馏出 7B 专业模型，再量化到 4bit 部署——「能力裁剪 + 体积压缩」双管齐下，端侧模型的标配流程。
实战提醒：蒸馏的上限受学生容量限制（1.5B 学不会教师的全推理链），窄任务收敛快、通才任务别指望；量化选 AWQ/GPTQ 校准型优于朴素 RTN。