面经策

Word2Vec 如何获取词向量？如何评估该训练得到的词向量的好坏？ ​

  • 标签：自然语言处理（NLP）、词嵌入、Word2Vec、词向量

🏛 业务架构师 ​

Word2Vec 获取词向量与质量评估，我按"训练—调参—评估"讲：

获取词向量的路径：

  1. 用预训练向量（业务首选）：直接下载 Google News（300 维，英文）、腾讯 AI Lab/复旦 中文词向量等现成产物——开箱即用，覆盖通用语义；
  2. 自己训练（领域需要时）： gensim 的 Word2Vec(sentences, vector_size=200, window=5, sg=1, min_count=5) 在领域语料（医疗病历、工单文本、商品标题）上训练——通用向量对行话的表达差，领域训练补齐；
  3. 关键超参：sg=1（Skip-gram，低频词效果好，默认选它）、vector_size（100~300，越大表达力越强但要更多数据）、window（窗口大小，5 左右）、min_count（过滤噪声低频词）、negative（负采样数，5~20）、epochs（5~15 轮看收敛）。

评估词向量质量：

  1. 内在评估（语义合理性）：相似度任务——人工标注的词对集（SimLex-999、中文的 wordsim 系列）算 Spearman 相关；类比任务—— king - man + woman ≈ queen（经典测试）；业务 sanity check——"退货"最近邻应是"退款/售后"而不是"进货"；
  2. 外在评估（下游任务，才是真标准）：把向量喂给你的实际任务（分类、搜索召回、推荐），看业务指标变化——内在分数高不等于你的场景好用，最终以上下游任务表现为准。

业务经验：通用场景用预训练+微调（用领域语料继续训 5 轮）通常比自己从零训好——数据量不够时从零训出的向量质量差；评估时一定抽检领域词汇的最近邻列表，直观且能快速暴露问题。

🏗 系统架构师 ​

Word2Vec 获取词向量：轻量双层网络训练 + 查表使用——我分训练与使用两段：

训练（三要素）：

  • 语料 → 训练对：滑窗扫语料，CBOW 用上下文预测中心词 / Skip-gram 用中心词预测上下文，生成 (input, target) 对；负采样（高频词按词频 ^0.75 采负例）把多分类简化为二分类——训练快的关键；
  • 模型结构：输入 one-hot → W1（d×V，目标矩阵）→ 隐层（无激活）→ W2（V×d）→ softmax（被负采样替代）。训练完只用 W1——每行即该词的向量（V 词表 × d 维，d 常取 100~300）；
  • 超参经验：window 5（句法任务大窗口、语义任务小窗口反直觉但实证如此）、dimension 200~300、negative 5~15、min_count 5（滤噪）、epoch 5~15、subsample 1e-5（高频词降采样）。

使用：词 → W1 行向量查表（微秒级）；文本向量 = 词向量加权平均（TF-IDF 或 SIF 平滑加权优于裸平均）。

评估好坏（两个层面）：

  • 内在评估：词语类比（king-man+woman≈queen，准确率）、相似度打分（与人工标注的 SimLex/WordSim 相关性）、最近邻检查（语义簇是否干净）；
  • 外在评估（工程真相）：下游任务验证——把向量喂给真实任务（分类 F1、检索召回）看效果——内在指标好不代表业务好，以自己的任务为准；
  • 诊断技巧：查高频词/低频词向量质量分层（W2V 对低频词差是已知缺陷）、聚类可视化检查语义簇。

架构视角：Word2Vec 的本质是"共现统计的隐式矩阵分解"——理解这点就明白它为什么快（SGD + 负采样）、为什么静态（一词一向量无法消歧）——它的现代替代（BGE 系）贵在上下文化，不在原理颠覆。

💻 全栈开发专家 ​

获取词向量（训练 Word2Vec）：

python
from gensim.models import Word2Vec
model = Word2Vec(
    sentences=tokenized_corpus,   # 二维list: [[词,词,...], ...]
    vector_size=200, window=5, min_count=5,
    sg=1, negative=10, epochs=10, workers=8)
model.wv["数据库"]               # 取词向量
model.wv.most_similar("数据库")   # 相似词

**评估好坏（内在法+外在法）：

1. 内在评估（快速体检）：

  • 类比推理（word analogy）：king - man + woman ≈ queen、中文「北京-中国+法国≈巴黎」——most_similar(positive=[...], negative=[...])，准确率反映语义结构质量；
  • 相似度词表：与人工标注的词对相似度集（SimLex-999、中文 wordsim-240/353）算 Spearman 相关——和人工判断一致性；
  • 近邻抽查：肉眼看 top 相似词是否「语义相关」还是只「主题共现」（Word2Vec 常把「共现」当「相似」：好/坏 可能很近）。

2. 外在评估（最终裁判）：词向量喂给下游任务（分类/NER/检索），F1 变化——内在指标好不保证业务好，以外在为准。

工程经验：领域语料训练后先跑内在评估快速筛掉烂模型（语料清洗问题会直接暴露），再上下游任务；评估要拿「领域术语」专测——通用词表现好不代表你的专业词表学好。另外现代替代：如果只是要向量用，直接上 bge/BERT 系，Word2Vec 只在特定轻量场景才值得自己训。