面经策

什么是词嵌入（Word Embedding）？有哪些常见的词嵌入方法？ ​

  • 标签：自然语言处理（NLP）、词嵌入、Word2Vec

🏛 业务架构师 ​

词嵌入（Word Embedding）是把词映射为低维稠密向量（如 300 维），语义相近的词在向量空间距离相近——"国王-男人+女人≈女王"的经典特性。它是 NLP 的基础设施：把离散符号变成可计算的数学对象。

常见方法按时代线：

  1. 统计时代：LSA（SVD 分解词-文档矩阵）、LDA 主题模型——用矩阵分解捕捉共现语义，静态、粗粒度；
  2. 浅层神经网络时代（2013~）：Word2Vec（CBOW/Skip-gram——上下文预测训练）、GloVe（全局共现统计拟合）、FastText（子词 n-gram，解 OOV）——静态词向量的三驾马车，一个词一个向量；
  3. 上下文时代（2018~）：ELMo（双向 LSTM 动态表征——一词多义破题）、BERT 系（双向 Transformer——预训练-微调范式）、GPT 系（生成式表征）——动态表征，同一个词随上下文变化；
  4. 检索优化时代（2021~）：Sentence-BERT、BGE/GTE/E5（对比学习训练的句向量模型）——面向语义检索优化，RAG 的基石；多模态扩展（CLIP——图文统一空间）。

选型的业务逻辑：轻量高频（特征工程、推荐召回）→ Word2Vec/FastText；语义检索/匹配 → BGE 类句向量模型；复杂理解与生成 → 直接用 LLM。技术不是越新越好——按"任务需要什么程度的语义理解×成本预算"选档。

一句话总结：词嵌入的演进史就是"NLP 语义表示不断精细化"的历史——从"词是什么"（静态）到"词在这里是什么意思"（动态）再到"这句话要什么"（检索优化），每一代都把下游应用的天花板抬高一截。

🏗 系统架构师 ​

词嵌入 = 把词映射为稠密向量，语义关系编码为几何关系。方法谱系（演化主线）：

  • 静态词向量时代（一词一向量）：

  • Word2Vec（2013）：浅层网络预测式（CBOW/Skip-gram）——局部窗口共现，向量间可做类比运算（king - man + woman ≈ queen）；

  • GloVe（2014）：全局共现矩阵分解——利用全部共现统计，类比任务常更优；

  • FastText（2016）：字符 n-gram 子词聚合——OOV 有解、形态泛化、小语料友好；

  • 上下文相关时代（动态表示）：

  • ELMo（2018）：双向 LSTM——同一个词按上下文得到不同向量（一词多义解决）；

  • BERT（2018）：双向 Transformer + MLM——上下文表示的成熟形态，"预训练-微调"范式开端；

  • 句子/文档嵌入时代（检索基建）：

  • Sentence-BERT：孪生 BERT 对比学习，句子级向量；

  • BGE / Qwen-Embedding / text-embedding-3 系（2026 现役）：大规模对比训练（海量正负对 + 指令化）、支持长输入（8K）、多语、多粒度（MRL 可截断）——RAG 检索的标准底座。

演化逻辑（架构师视角）：三步跳变全部围绕同一矛盾——表示粒度 vs 计算成本：静态向量把语义"预制"成资产（查表快，无法消歧）；上下文表示按需计算（消歧精确，推理变贵）；句子嵌入把"上下文建模"规模化预训练成检索基建。每代解决上代的短板，代价转嫁给算力——理解这条主线，就理解了 embedding 技术选型的全部依据（任务粒度 × 延迟预算 × 成本）。

💻 全栈开发专家 ​

词嵌入（Word Embedding）：把词映射为低维稠密向量（50~300 维），语义关系编码在向量空间的几何结构里（相似词靠近、关系可类比）——「词的含义 = 它在空间中的位置」。

常见方法按时代排：

1. 统计计数时代（pre-2013）：

  • One-hot：维度=词表、极度稀疏、无语义（所有词等距）；
  • TF-IDF：词的权重方案（不是语义表示）；
  • LSA/LSA：共现矩阵 SVD 降维——第一次有了分布式语义，但静态且线性。

2. 预测式神经时代（Word2Vec 开启）：

  • Word2Vec（2013）：CBOW/Skip-gram + 负采样，局部窗口预测——快、工程友好；
  • GloVe（2014）：全局共现统计+最小二乘拟合——统计派与预测派的合流；
  • FastText（2016）：加入子词 n-gram，解决 OOV 和形态学。

3. 上下文相关时代（2018 至今）：

  • ELMo：双向 LSTM，词向量随语境变化（一词多义破题）；
  • BERT/GPT：Transformer 深层上下文表示，预训练-微调范式；
  • 现代 Embedding 模型（bge/Qwen3-Embedding）：对比学习训练的检索专用向量。

演进主线（面试的提纲）：稀疏→稠密、静态→动态、局部统计→全局语义→深层理解。每代解决上一代一个死穴：One-hot 无语义→Word2Vec 语义但静态→ELMo/BERT 动态但贵→现代模型蒸馏优化检索效率。工程上 2026 的默认选项：检索用 bge-m3/Qwen3-Embedding，理解任务用 LLM 直接处理。