面经策

对比 LoRA、QLoRA、DoRA 和全量微调，在不同场景下应该如何选择？ ​

  • 标签：

🏛 业务架构师 ​

四种方案对比与选型，我按决策树讲：

  • LoRA：性价比之王。单卡可跑、小数据可训、遗忘风险小、适配器可插拔。默认选择——风格适配、格式约束、领域术语类任务全够。
  • QLoRA：LoRA + 4bit 量化基座。显存再降 4~8 倍、7B~14B 单张 24GB 卡搞定，代价是训练慢约 30%、极端任务略掉点。预算受限、验证实验、边缘设备开发首选；正式产出若资源够可回到 LoRA。
  • DoRA（Weight-Decomposed LoRA）：把权重分解为"方向+幅度"分别适配，数学上更接近全量微调的表达力，效果比 LoRA 略好（1~2 个点）、训练开销略增。LoRA 效果差一口气时的升级选项，无需改数据管线。
  • 全量微调：效果上限最高、能深度重塑行为，但需要集群级算力、十万级数据、遗忘风险和版本管理负担都最大。只留给两种情况：基座能力确实不够且已验证 LoRA 天花板、该场景调用量大到能摊薄巨额投入（核心产品主模型）。

业务选型口诀：验证用 QLoRA，落地用 LoRA，差一步用 DoRA，基座不行才全量。另提醒：选全量前先问三个问题——是不是数据问题（换 LoRA 参数能解）？是不是知识问题（该用 RAG）？是不是提示问题（该调 Prompt）？90% 的"微调不够好"出在这三处，而不是参数量。

🏗 系统架构师 ​

四方案对比我按资源、效果、场景三维给决策表：

  • 全量微调：效果上限最高（可注入知识、深度改变行为），显存/算力最贵（7B 要多卡，70B 要集群），产物是完整模型副本（存储/版本管理重），易灾难性遗忘。适合：大规模领域适配（继续预训练+SFT 两段式）、对齐到与原分布差异巨大的任务、有算力追求极限效果；
  • LoRA：性价比之王——单卡到几张卡、效果达全量 95%+、适配器可热插拔、冻结主干保留通用能力。适合：绝大多数业务 SFT（格式、风格、领域话术、任务特化），默认首选；
  • QLoRA：LoRA + 4bit 量化底座（NF4 + 双重量化 + paged optimizer），显存再降一半以上、70B 单机 48G 可训；代价：训练速度慢 30~50%、极致效果略逊 LoRA。适合：算力受限（消费级卡）、模型 ≥30B、实验预算紧张；
  • DoRA：把权重分解为"幅度 + 方向"分别做低秩适配，逼近全量微调的训练动态——效果比 LoRA 略好（尤其小 r 时），训练开销增 ~20~30%。适合：LoRA 效果差一口气时的升级项。

决策树：默认 LoRA → 显存不够降 QLoRA → 效果不够先加数据/调秩再试 DoRA → 还不够且算力充足才全量。注意：多数"微调效果不好"的根因是数据质量，不是方法不够先进。

💻 全栈开发专家 ​

选型决策我按场景给结论再讲理由：

LoRA（基座 FP16/BF16 + 低秩旁路）——默认首选。

  • 场景：有 24G+ 显卡、追求效果上限的正式微调；多任务部署（一基座多适配器）。
  • 优点：逼近全量效果、可 merge 零推理开销、多 LoRA 热切换。
  • 缺点：7B 需要 20G+ 显存，消费级单卡上限明显。

QLoRA（基座 4bit NF4 量化 + LoRA）——算力受限或大模型。

  • 场景：单卡 24G 调 7B~14B、48G 调 32B、多卡调 70B；快速实验迭代。
  • 优点：显存需求降 60%+，效果损失通常 <1%。
  • 缺点：训练慢约 30%（量化反量化开销）；4bit 基座偶发掉点。

DoRA（Weight-Decomposed LoRA：把权重拆成幅度+方向分别适配）——效果增强版。

  • 场景：LoRA 效果差一口气时（复杂任务、小 r 场景下尤其有优势）。
  • 优点：同等 r 下精度普遍优于 LoRA，接近全量。
  • 缺点：merge 前推理略慢、训练开销略增；生态支持还在铺开。

全量微调——最后的选择。

  • 场景：CPT 灌领域知识、与基座分布差异大（新语言/新模态）、有 8×A100 级算力和专职团队。
  • 优点：上限最高；缺点：贵、易遗忘、每任务一份完整权重。

我的决策树：先 QLoRA（便宜快速）→ 效果差且排除数据问题 → 升 LoRA/DoRA 加大 r → 还不行且任务差异巨大 → 评估全量值不值这个成本。90% 业务止步于第一步。