面经策

请描述 BERT 模型的架构和应用场景。 ​

  • 标签：自然语言处理（NLP）、BERT

🏛 业务架构师 ​

BERT 的架构与应用场景：

架构：Encoder-only 的多层双向 Transformer——12/24 层（Base/Large），隐藏层 768/1024 维，约 1.1 亿/3.4 亿参数。两个关键设计：双向注意力（每个 token 同时看左右全文，理解比单向深）；预训练任务：MLM 掩码语言模型（随机遮 15% 的词让模型预测——完形填空式学习语言规律）+ NSP 下一句预测（判断两句是否相邻——学习句间关系，后续研究证明 NSP 贡献有限，RoBERTa 去掉了它）。输入表示：WordPiece 子词 + 段嵌入 + 位置嵌入。

预训练-微调范式：海量语料预训练出通用语言理解能力，下游任务加轻量输出头微调——分类加全连接层、NER 加 token 分类头、问答加起止预测头，各任务只需少量标注数据。

应用场景（曾是 NLP 工业标准）：文本分类（情感、工单分类）、命名实体识别、抽取式问答、语义匹配（搜索排序、意图识别）、句向量（Sentence-BERT 变体做检索召回）——搜索、推荐、客服系统里 BERT 系至今仍大量在岗。

2026 年定位（面试必备的时代判断）：生成式任务被 LLM 取代，但 BERT 系仍是"高并发理解型任务"的性价比之王——意图识别、搜索粗排这类每秒万次调用的场景，BERT 推理成本是 LLM 的百分之一。RAG 里的 Embedding 模型（BGE 等本质是 BERT 架构的对比学习版本）也延续着它的生命。正确的技术史观：BERT 开创的"预训练-微调"范式是大模型时代的直接源头。

🏗 系统架构师 ​

BERT = Transformer Encoder 堆叠的双向预训练语言模型（12/24 层，1.1 亿/3.4 亿参数），我按架构与场景讲：

架构：

  • Encoder-only 双向注意力：每个 token 看到全句（无因果遮蔽）——理解型任务的理想结构；
  • 输入：WordPiece 子词 token + 段嵌入（句对任务）+ 位置嵌入；[CLS] 做句级表示、[SEP] 分隔句对；
  • 预训练：MLM（随机 15% 遮词预测——完形填空学双向表示）+ NSP（句对关系，后被证明贡献有限，RoBERTa 移除）；
  • 微调范式：任务头轻接（分类接 [CLS]、NER 接 token 层、QA 接首尾指针），全参微调——预训练-微调范式的开创者。

应用场景（2026 仍在主场的）：

  • 分类与理解类：情感分析、意图识别、内容审核分类、垃圾检测——毫秒级 CPU 推理，高 QPS 场景性价比之王；
  • 信息抽取：NER、实体关系抽取、事件抽取——金融医疗的文档结构化主力；
  • 语义匹配：检索粗排（双塔 BERT 孪生网络）、去重、推荐召回；
  • 嵌入底座：Sentence-BERT 系是文本 embedding 的经典方案（后被专用 embedding 模型超越）。

架构师视角的定位：BERT 与 LLM 不是替代关系而是成本-能力分层——生成类任务上 LLM，而"分类/抽取/匹配"这类判别任务，BERT 微调在**延迟（10ms 级 vs 秒级）、成本（CPU 可跑 vs GPU 推理）、可控性（固定输出 vs 概率生成）**三面碾压 LLM——高并发生产系统的判别任务默认仍是 BERT 系，LLM 用于低频高复杂度的生成与推理。

💻 全栈开发专家 ​

BERT 架构：Transformer Encoder 堆叠（base：12 层/768 维/12 头/110M 参数；large：24 层/1024 维/340M）——双向注意力（每个 token 看全句）是它区别于 GPT 系的本质。

预训练任务：

  1. MLM（掩码语言模型）：随机遮 15% 的 token 让模型还原（其中 80% 换 [MASK]、10% 换随机词、10% 保留——缓解训练/推理 [MASK] 不一致）；
  2. NSP（下一句预测）：判断句 B 是否是句 A 的下文（RoBERTa 证明此任务无用并移除）。

应用场景（按使用方式）：

  1. 句子/文档分类：[CLS] 位置接分类头（情感、垃圾邮件、工单分类）；
  2. 序列标注：每 token 输出（NER、分词、槽位填充）；
  3. 句对任务：两句拼接（语义匹配、NLI、检索相关性）；
  4. 语义检索：双塔结构（Sentence-BERT）做召回 embedding——bge 系的祖先；
  5. 特征抽取器：输出当下游模型特征（ELMo 用法的升级）。

微调范式（工程要点）：加任务头 + 端到端微调，lr 2e-5~5e-5、2~4 epoch、小 batch 效果反而好；数据 <1k 冻结底层。

历史定位：BERT 证明了「双向 Encoder 预训练 + 微调」范式的威力，统治 2018-2022 的理解类任务；今天它的直系后代（RoBERTa/DeBERTa/bge 系列）仍活跃在分类、检索、rerank 一线——理解类任务它依然是性价比之王，生成类才让位给 decoder LLM。