面经策

微调大模型需要什么样的硬件？7B 和 70B 模型分别需要多少显存？ ​

  • 标签：

🏛 业务架构师 ​

微调硬件需求，我按 2026 年的实操行情给可落地的账：

7B 模型：

  • QLoRA 微调（推荐起点）：4bit 量化基座约 4~5GB 显存 + LoRA 训练状态，单张 24GB 消费级卡（RTX 4090）或一张 A10/L20 即可，训练数小时完成，成本几百元级；
  • LoRA 全精度：约需 40~60GB，一张 80GB A100/H800 或两张 48GB 卡；
  • 全量微调：优化器状态撑爆显存，约 8×80GB 起步，一般租集群，每次训练数千到上万元。

70B 模型：

  • QLoRA：4bit 基座约 40GB + 训练状态，4×24GB 消费卡或多卡 A100 80G 单卡可勉强，常规建议 2~4 张 H800；
  • LoRA 全精度：基座 140GB（FP16）+ 状态，需 8×80GB 集群；
  • 全量微调：几十张 H800 起步，百万级人民币投入——基本只有基座厂商和大型实验室做。

除显卡外：内存要装得下数据集与检查点、NVMe 快盘（checkpoint 落盘很猛）、多卡要高带宽互联（NVLink/IB）。

业务决策建议：90% 的企业需求停在"7B/14B + QLoRA"，一张卡或云上按小时租（几元~十几元/小时）就够——先租后买，验证三个月再决定是否自建算力；70B 级微调优先考虑"直接用 70B API + 提示工程"，大概率更便宜。

🏗 系统架构师 ​

微调硬件需求我给两本账：训练显存公式 + 7B/70B 实测算力：

显存公式（Adam 全量微调，bf16）：训练态显存 ≈ 参数量 × (2 权重 + 2 梯度 + 12 优化器 fp32 状态+主副本) ≈ 16 bytes/参数。再算激活（随 batch/序列长度涨）。LoRA 只训 <1% 参数，显存 ≈ 权重 2 bytes/参数 + 少量激活；QLoRA 权重再压到 0.5 byte/参数。

7B 模型：

  • 全量微调：7B × 16B ≈ 112GB + 激活 → 2×A100 80G 或 4×48G 卡起步（配合 ZeOffload/FSDP 可压缩）；
  • LoRA（bf16）：约 18~24GB → 单张 A100/A6000 48G、或 4090 24G（紧）；
  • QLoRA（4bit）：约 10~12GB → 单张 RTX 4090 24G / 甚至 16G 卡，消费级可玩。

70B 模型：

  • 全量微调：70B × 16B ≈ 1.1TB+ → 16~32 张 A100/H100 多机（实际用 FSDP/DeepSpeed ZeRO-3 分片）；
  • LoRA：约 160~200GB → 4~8 张 A100 80G；
  • QLoRA：约 48~60GB → 2 张 A100 或单张 H200 级勉强可跑。

架构师结论：业务微调主力是 7B~14B + LoRA/QLoRA（单卡到双卡，成本百美元级/次）；70B 微调是平台级投入（集群 + 工程团队），通常只在"7B 微调效果天花板不够"时才立项，且要先证明数据质量配得上这笔钱。

💻 全栈开发专家 ​

微调显存我按「推理/训练/全量/LoRA」给经验公式，好记好算：

基础公式：

  • 推理：参数量 × 精度字节（FP16 2B、INT8 1B、INT4 0.5B）；
  • 全量微调：参数量 × 16 字节（权重 2 + 梯度 2 + Adam 动量 6 + 方差 6，混合精度含 FP32 主副本）+ 激活值；
  • LoRA：参数量 × 2（冻结权重 FP16）+ 少量梯度和优化器状态 + 激活；
  • QLoRA：参数量 × 0.5（4bit 基座）+ LoRA 开销 + 激活。

7B 模型（FP16 权重 14GB）：

  • 推理：14GB（4bit 量化 4GB，单卡 4090 轻松）；
  • 全量微调：约 70~120GB → 2×A100-80G 起（用 DeepSpeed ZeRO-3 分片）；
  • LoRA：约 18~24GB → 单张 RTX 4090（24G）；
  • QLoRA（4bit 基座 + LoRA）：约 10~14GB → 单张 RTX 3090/4070Ti 也能跑。

70B 模型：推理 FP16 需 140GB（2×A100 或 4bit 量化 40GB 单卡 48G）；全量微调 1.1TB+ → 必须多机 ZeRO-3/FSDP（8×A100-80G 起步）；QLoRA 约 48~60GB → 2×A100 或 4×4090。

容易被忽略的变量：激活值随 batch size × 序列长度暴涨，显存不够优先降 batch + 上梯度累积 + 开 gradient checkpointing（省 60% 激活，慢 30%）；上下文 8k 训练比 2k 吃显存多得多。

选卡建议：个人/小团队微调天花板就是 QLoRA + 7B~34B；全量微调属于有算力预算的团队，别硬上。