PEFT 和全量微调的区别？
- 标签：大模型、AI、微调、PEFT
🏛 业务架构师
从业务决策角度，两者的差异落在四个维度：
- 成本量级：全量微调 7B 模型要几十上百 GB 显存的集群、每次训练数千美元起；LoRA 显存需求降 70% 以上，QLoRA 更是在单卡 24GB 上就能跑，成本再降一个量级。
- 数据量要求：全量微调通常需要十万级以上样本才不亏；LoRA 几千到几万条高质量数据就能出效果——企业攒得起的数据量。
- 效果上限：全量微调上限更高，适合基座能力差距大、要"重塑"模型行为的场景；PEFT 在风格、格式、领域术语这类"微调性"任务上与全量差距通常在 1~3 个百分点内，业务上几乎无感。
- 运维特性：PEFT 的适配器只有几十 MB，可一个基座挂 N 个业务头、随时回退；全量微调每个场景一整份模型，存储和版本管理都是负担。
我的选型结论：默认 PEFT（LoRA 起步）——它是投入产出比的甜点。只有当 LoRA 验证后仍明显不达标、且该场景有足够调用量和高商业价值（比如核心产品的主模型）时，才升级全量微调。反过来提醒：如果 LoRA 效果差，先怀疑数据质量和提示设计，别急着甩锅参数量。
🏗 系统架构师
两者对比我用五个工程维度，差异全都源于"训练参数量差 2~3 个数量级"：
- 资源：全量微调 7B 需 ~70GB+ 显存（权重+梯度+Adam 状态），必须 A100/H100 多卡；LoRA 只训 <1% 参数，单卡可跑，QLoRA 消费级卡都行。成本差 10~100 倍；
- 效果上限：大规模数据 + 追求极限性能（如继续预训练注入领域知识、复杂推理能力强化）时全量更优；中小数据量（几千~几十万条）SFT 场景，LoRA 通常能达到全量 95%+ 的效果，差距可忽略；
- 训练速度与迭代：LoRA 快得多，一天能跑多轮实验；全量一轮以天计。数据迭代频繁的业务，LoRA 的实验吞吐就是竞争力；
- 部署与复用：LoRA 适配器是独立小文件（几十 MB），支持"一个底座 + N 个 LoRA"多业务热插拔，vLLM 等推理框架原生支持 multi-LoRA 服务；全量微调产出整模型副本，存储和版本管理重；
- 灾难性遗忘：全量微调更容易覆写通用能力；LoRA 冻结主干，通用能力天然保留——这在小数据集上反而是优势。
决策规则：默认 LoRA/QLoRA 起步；只有"要教模型新知识体系"或"对齐到与原分布差异巨大的任务"且数据和算力充足时才上全量。
💻 全栈开发专家
对比 PEFT 和全量微调，我按五个工程维度说：
| 维度 | 全量微调 | PEFT (LoRA) |
|---|---|---|
| 可训练参数 | 100% | 0.1%~1% |
| 显存（7B 训练态） | 100GB+（多卡 A100） | QLoRA 单卡 24G 可跑 |
| 存储/分发 | 每任务 14GB 完整权重 | 每任务 20~100MB 插件 |
| 效果上限 | 最高 | 约 95%~99% |
| 灾难性遗忘 | 风险高，需混通用数据 | 主干冻结，天然缓解 |
决策要点：
- 任务差异大小决定选型：风格、格式、领域话术这类「浅适配」，LoRA 稳赢（更便宜还不掉通用能力）；任务和基座分布差异巨大（新语言、新模态），全量上限才明显。
- 多任务/多租户生产：PEFT 是唯一现实解——一个基座多 LoRA 热插拔（vLLM
--enable-lora），显存和运维成本天差地别。 - 迭代速度：LoRA 训练快（小时级），可以高频试错；数据驱动的迭代节奏本身就是优势。
常见误区：效果不好先怀疑数据（量、质、格式），别急着怪 PEFT 上限——我处理过的失败微调里，八成是数据问题，一成是超参，真正需要换全量的不到一成。