面经策

讲一下你对 Transformer 的 Encoder 模块的理解。 ​

  • 标签：Transformer、Encoder

🏛 业务架构师 ​

Transformer 的 Encoder 模块我从功能视角讲：它的任务是把输入序列编码成一组富含上下文语义的表征——每个 token 的向量不再只代表自己，而是"吸收了全句信息"的深度表征。

结构组成（每层两个子模块，堆叠 N 层）：

  1. 多头自注意力（Self-Attention）：每个 token 向所有 token 发起"查询"，按相关性加权汇聚信息——解决"一词多义"和长距离依赖（"苹果发布了新手机"里的"苹果"要靠上下文确定语义）。多头 = 并行多组注意力，各关注不同关系（语法、指代、语义），信息维度更丰富；
  2. 前馈网络（FFN）：对每个位置独立做非线性变换，可以理解为"知识加工层"——大量事实知识被认为存储在 FFN 权重里；
  3. 配套机制：残差连接（防深层网络梯度消失、信息直通）+ LayerNorm（稳定训练）；输入端加位置编码（注意力本身无序，要显式注入词序信息）。

对业务的价值理解：Encoder 是"理解侧"的引擎——BERT 类 Encoder-only 模型擅长文本理解任务（分类、抽取、检索匹配），这正是 Embedding 模型的主流架构——我们 RAG 系统里每一个向量化调用背后都是 Encoder 在工作。理解"Encoder=理解、Decoder=生成"的分工，做架构选型（检索用 Encoder 系、生成用 Decoder 系）就有了依据。

🏗 系统架构师 ​

Transformer 的 Encoder 我从架构师视角拆数据流：输入嵌入 → 位置编码 → N 层（自注意力 + FFN + 残差 + 归一化）→ 顶层输出表示。

逐层拆解：

  • 输入与位置编码：token embedding + 位置信息（原始 sin/cos 或 RoPE）——注意力本身对顺序无感，位置必须显式注入；
  • 多头自注意力（核心）：每个 token 生成 Q/K/V 三种投影，Attention(Q,K,V) = softmax(QK^T/√d)·V——Q 与全部 K 相似度加权求和 V，即"每个词按相关性聚合全句信息"。多头 = 并行多组 QKV 投影，各头学不同关系模式（句法、指代、位置），拼接后融合；
  • 前馈网络（FFN）：逐位置的两层 MLP（升维 4x → 非线性 → 降维）——注意力做"信息路由"，FFN 做"知识加工与特征变换"，参数大头在 FFN（约 2/3）；
  • 残差连接 + LayerNorm：每子层 x + Sublayer(LN(x))（Post-LN，现代多用 Pre-LN）——残差保梯度通路防退化，LN 稳定分布，这是深层可训练的关键工程结构。

设计本质（我的理解）：Encoder 是一个全连接的信息交换网络——每层让每个位置"读取"全序列相关内容更新自己表示，N 层叠加实现逐级抽象。它双向注意力（每个 token 看到全句），天然适合理解型任务——BERT 类模型的骨架、RAG 里 Embedding 模型的底座。

考点延伸：计算复杂度 O(n²·d)（序列长度的平方）——这是长上下文优化的主战场（稀疏/线性注意力变体的由来）。

💻 全栈开发专家 ​

Encoder 模块（Transformer 原始论文的编码器）我拆成数据流讲：

输入表示：token embedding + 位置编码（原版是固定的正弦/余弦编码）相加——自注意力本身无序，位置信息必须显式注入。

每层 Encoder 的两件套（原版堆 N=6 层）：

  1. 多头自注意力（Multi-Head Self-Attention）：输入分别投影成 Q/K/V（d×d_proj 矩阵），Attention(Q,K,V)=softmax(QKᵀ/√d_k)V。h 个头并行（每头 d/h 维，如 768/12=64），不同头学到不同的关注模式（句法、共指、位置邻近）。双向上下文是 Encoder 的本质特征——每个 token 能同时看到左右全部 token（BERT 的基础）；
  2. 前馈网络（FFN）：两层 MLP，先升维 4 倍（768→3072）过激活（原版 ReLU，现代 SwiGLU）再降回——逐位置独立地做非线性变换，「知识存储」主要在这层。

每个子层都套 Post-LN 结构（原版）：x → SubLayer → Add → LayerNorm，残差连接保证深层可训练、LN 稳定分布（现代 LLaMA 改成 Pre-Norm + RMSNorm，更好训）。

工程视角的要点：Encoder 的自注意力矩阵是 n×n（序列平方复杂度），长文本的显存瓶颈就在这；多头注意力的总计算量与单头全维相当（每头低维），「多视角」免费获得。Encoder 输出是上下文相关的表示序列（不是单一向量），下游按任务取（[CLS] 分类、序列标注每 token、或池化做句向量）。