面经策

Word2Vec 到 BERT 有怎样的改进？ ​

  • 标签：自然语言处理（NLP）、BERT、Word2Vec

🏛 业务架构师 ​

Word2Vec 到 BERT 的改进，本质是"静态到动态、浅层到深层、特征到微调"三级跳：

1. 上下文相关表征（一词多义）：Word2Vec 每个词一个固定向量——"苹果手机"和"苹果好吃"里的"苹果"向量相同；BERT 按上下文动态计算，同一个词在不同语境表征不同。这是语义理解的质变，直接提升分类、检索、匹配的精度。

2. 深层双向建模：Word2Vec 是浅层窗口模型（只看局部上下文窗口）；BERT 是深层双向 Transformer——同时利用左右全句上下文，逐层抽象（词法→句法→语义），长距离依赖和复杂语义关系都能捕捉。

3. 训练范式：预训练-微调：Word2Vec 产出"特征"，下游任务要自己搭网络（拼接使用，上限低）；BERT 开创"预训练（Masked Language Model + 下一句预测）+ 下游全网络微调"范式——一个基座适配N 种任务（分类、问答、NER），每个任务只需少量标注数据微调，效果全面超越特征工程时代。

4. 子词处理（OOV 问题）：Word2Vec 词表外的词（新词、错拼、形态变体）没有向量；BERT 用 WordPiece 子词切分——任何词都能由子词组合表征，未登录词问题解决。

业务视角的演进逻辑：这条技术线的主旋律是"表示学习不断吃掉特征工程"——Word2Vec 时代还要做特征设计，BERT 时代预训练给了通用语义底座，LLM 时代连任务适配都简化成提示词。每次跃迁都让"业务团队用好 NLP"的门槛下降一个数量级——这是评估技术演进价值时最该看的主线。

🏗 系统架构师 ​

Word2Vec → BERT 的改进主线：从"静态查表"到"动态计算"，从"预测窗口"到"理解全句"：

  • 上下文相关表示（核心飞跃）：W2V 一词一向量（bank 永远同一个向量）；BERT 每次出现都按全句上下文重新计算——一词多义、跨领域词义漂移彻底解决。这是表示能力的代际差；
  • 架构代差：浅层双神经网络（W2V）→ 深层双向 Transformer（12~24 层）——长程依赖、句法结构的建模能力完全不同；
  • 训练目标升级：W2V 的局部窗口预测（只看邻近词的共现）→ BERT 的 MLM（完形填空，双向看全句）+ NSP——学到的是句子级的语言理解而非词共现统计；
  • 使用范式迁移：W2V 是"特征工具"（向量拿去做特征，模型各训各的）→ BERT 是"预训练模型"（整个模型微调，任务头轻接）——预训练-微调范式的确立，NLP 进入"大模型底座"时代；
  • 字符级处理：W2V 词表外的词（OOV）无向量 → BERT 的 WordPiece 子词 + 全词覆盖，无 OOV 问题；
  • 多任务能力：W2V 每任务一套模型 → BERT 一个底座 + 不同头覆盖分类/抽取/QA/相似度。

架构师视角的演进逻辑：W2V 把"词的语义"压缩成静态资产（查表快、无法消歧）；ELMo 证明上下文表示的价值但受 LSTM 限制；BERT 用 Transformer 把这条路走到成熟。本质是"表示的计算成本从离线一次性转移到在线按需"——用推理算力换语义精度。这个权衡延续至今：静态向量仍在推荐 ID embedding 等场景活跃，动态表示统治 NLP 主场。

💻 全栈开发专家 ​

从 Word2Vec 到 BERT 的改进，本质是静态到动态、浅层到深层、单向到双向三连跳：

1. 静态 → 上下文相关（一词多义）：

  • Word2Vec/GloVe：每个词一个固定向量，「苹果」在水果和手机语境里同脸；
  • BERT：每个词的表示由整句上下文实时计算，多义词自然区分。

2. 浅层窗口 → 深层双向全局：

  • Word2Vec：CBOW/Skip-gram 只学局部共现统计（窗口级浅层结构）；
  • BERT：12/24 层 Transformer 堆叠，每词聚合全句信息，编码句法、语义、语用多层知识。

3. 预训练目标升级：

  • Word2Vec：预测邻居词（局部共现）；
  • BERT：掩码语言模型（MLM）——遮住 15% 的词让模型双向推断 + NSP（下一句预测，后证明作用有限，RoBERTa 弃用）。「完形填空」式目标逼模型真正理解语言而非记忆搭配。

4. 范式跃迁（工程影响最大）：

  • Word2Vec 时代：词向量当特征，任务模型自己搭；
  • BERT 时代：预训练-微调范式——一个基座加个分类头适配所有 NLP 任务，各任务效果全面刷新（GLUE 提升一大截），小数据也能出好效果。

5. 训练规模：从 billions 词级的共现统计到 tens of billions token 的深度双向建模——数据+算力+架构三者螺旋上升。

一句话总结：Word2Vec 解决了「词怎么表示」，BERT 解决了「词在句子里怎么表示」并定义了「预训练+微调」的现代 NLP 工作流——后者是通向 GPT/LLM 的直接起点。