面经策

在进行 Fine-Tuning 时，如何选择适合的预训练模型？ ​

  • 标签：大模型、AI、微调、预训练模型

🏛 业务架构师 ​

选预训练基座模型我按六个业务维度筛选：

  1. 领域与语言匹配：中文场景优先看中文能力强的开源系（Qwen、DeepSeek、GLM）或国产 API；医疗、法律、代码等专业领域，先看有没有领域预训练版本（如代码模型的基座）。
  2. 模型规模与部署条件：根据推理资源倒推——线上只有单卡 A10，就选 7B~14B 级；有 H100 集群才考虑 70B+。规模宁小勿大，微调救不了"部署不起"。
  3. 开源协议与商用授权：Llama 系列协议有地区和使用限制，Qwen、GLM 等国内模型 Apache 2.0 可商用——法务先过一遍，别等项目做完才发现侵权。
  4. 微调生态支持：确认目标模型在 PEFT/Unsloth/LLaMA-Factory 等工具链里有现成支持，社区微调案例多意味着踩坑少。
  5. 基座质量下限：微调是"放大器"，基座本身指令遵循能力差，微调后上限也低。选发布时 Benchmark 靠前且口碑稳定的版本，不追最新尝鲜版。
  6. 长期演进：选有持续迭代路线图的模型系列，避免基座停止维护导致生态断层。

实操建议：拿 3 个候选基座，用同一份数据各微调一版，在业务评测集上横向对比——半周的实验成本，换掉错误的基座选择，这是最划算的保险。

🏗 系统架构师 ​

选预训练底座是微调工程里杠杆最大的决策，我的清单五步：

  • 任务匹配度优先：拿 50~100 条样本对候选模型做 zero/few-shot + 简单 LoRA 快测，看基线差距——底座与任务的"距离"决定微调数据量需求，这比刷榜单重要；榜单（MMLU、C-Eval、代码榜）只做初筛；
  • 开权重 + License：能否商用（Llama 系 license、Qwen/Apache 系、MIT 系）、是否有下游微调限制；合规法务过一遍再投入；
  • 规模与 TCO：7B/8B 是微调和自托管推理的甜点位（单卡可训、双卡可服务）；14B~32B 效果更强但服务成本翻倍；70B+ 只有明确收益才上。估算：QPS × 输入输出 token → 推理 GPU 数 → 摊销成本，再对比 API 调用成本；
  • 多语言/领域底子：中文任务选中文语料占比高的底座（Qwen、GLM、DeepSeek 系），同等微调数据下效果好一档；代码任务选代码增强底座；
  • 生态：微调框架支持（Axolotl/LLaMA-Factory/Unsloth）、tokenizer 效率（中文 token 压缩率影响推理成本）、社区活跃度与版本延续性。

一条纪律：底座选型 = 长期绑定（换底座 = 重训 + 重评估），花一周做 A/B 值得；直接跟风"最新最大"是常见的坑。

💻 全栈开发专家 ​

我选预训练基座按这五步走：

  1. 任务类型定架构：生成/对话 → decoder-only（Qwen、LLaMA、DeepSeek、GLM）；理解/抽取/向量 → encoder 或 embedding 专用模型（BERT 系、bge）；多模态看原生支持。
  2. 算力预算定规模：经验公式——QLoRA 微调显存 ≈ 参数量 × 1.5~2 字节。7B 约 16~24G（单卡 4090 可跑），14B 要 48G，70B 至少 4×A100。先算卡再选模型，别反过来。
  3. License 合规：商用必须查清：Apache 2.0（Qwen 多数版本、Mistral 部分）最省心；LLaMA 是社区许可，商用要看条款；内部实验和对外产品要求不同。
  4. 语言与领域能力：中文任务优先国产基座（Qwen、GLM、DeepSeek），同规模中文效果普遍好于 LLaMA 系；用 C-Eval/CMMLU 和自建业务小测集验证。
  5. 社区与工具链：ChatML 模板是否标准支持、transformers/peft/TRL 适配是否及时、有没有现成的量化版本。

实操校验：选定时拿 20 条业务样本 zero-shot/few-shot 跑一遍看「底子」，底子太差微调也拉不动；同时看下游生态——比如要用 vLLM 部署，确认模型结构在支持列表里。最后留一个「备胎基座」，微调代码要保证换基座只改一个模型名。