面经策

Transformer 中，Decoder 阶段的多头自注意力和 Encoder 阶段的多头自注意力是相同的吗？ ​

  • 标签：Transformer、Encoder、Decoder、多头自注意力机制

🏛 业务架构师 ​

Decoder 与 Encoder 的多头自注意力不相同，核心差异是"看不看未来"：

Encoder 的自注意力·双向：每个位置可以关注序列的全部位置（包括右侧"未来"）——因为 Encoder 的任务是理解完整输入（翻译的源句、分类的文档），看全文才能理解透彻。

Decoder 的自注意力·单向（因果遮蔽）：生成第 t 个 token 时只能看 ≤t 的位置——因果遮蔽（下三角 mask）把"未来"的注意力得分置为负无穷，softmax 后权重为零。原因：训练时整个目标序列并行输入，若不加遮蔽，模型预测第 5 个词时直接看到答案，学不到生成能力；推理时自回归逐词生成，天然只存在前缀。

Decoder 还有 Encoder 没有的东西——交叉注意力：Q 来自 Decoder、K/V 来自 Encoder 输出——生成每个目标词时"回看"源序列的相关部分（翻译时的对照原文机制）。Encoder-Decoder 架构（T5、原始 Transformer）里这是连接两个塔的桥梁。

对照表式总结：

  • Encoder 自注意力：双向、无因果 mask、服务理解；
  • Decoder 自注意力：单向、因果 mask、服务生成；
  • Decoder 交叉注意力：跨塔交互（纯 Decoder-only 的 GPT 系没有这一层）。

业务视角的落点：这个区别直接映射到模型选型——理解型任务（Embedding、搜索匹配）用 Encoder 系（BERT/BGE），生成型任务用 Decoder 系（GPT/Qwen）；"理解用双塔、生成用单向"的架构直觉正来源于此。

🏗 系统架构师 ​

不相同——Decoder 的自注意力多了因果遮蔽，且多一个交叉注意力模块：

Encoder 多头自注意力：

  • 双向：每个位置看到全句（含未来位置）——padding mask 之外无遮蔽；
  • 目的：全量理解——每个 token 的表示聚合整句信息（"bank"按全句消歧）；
  • 无 KV Cache 复用场景（一次前向全处理）；

Decoder 多头自注意力：

  • 因果遮蔽（causal mask）：位置 i 只看 ≤i，上三角置 -inf——自回归正确性的根基：训练并行预测所有位置但信息来源限制在"过去"，与推理时逐 token 生成严格一致（训练-推理一致性）；
  • 目的：流式生成——配合 KV Cache，历史 K/V 缓存复用，每新 token 只算增量；

结构上的另一点差异：标准 Encoder-Decoder 里，Decoder 每层有三个子模块（因果自注意力 + 交叉注意力（Q 来自 Decoder、K/V 来自 Encoder 输出）+ FFN），Encoder 只有两个（自注意力 + FFN）——交叉注意力是两塔之间的信息桥；

架构师视角的延伸（2026 现状）：现代 LLM 是 Decoder-only——把 Encoder 从架构里去掉了，交叉注意力也随之消失（理解与生成统一在因果框架内，跨段信息靠上下文内的因果注意力）；Encoder-only（BERT）仍活跃在判别任务；Encoder-Decoder 保留在翻译/摘要等"输入输出长度悬殊"的任务（T5 系）。三种形态的取舍本质是：双向理解 vs 因果生成 vs 两者显式分离。

💻 全栈开发专家 ​

不相同，两处关键差异：

1. 因果掩码（Causal Mask）——Decoder 独有：

  • Encoder 的自注意力是双向的：每个 token 同时看左右全部输入（理解任务的刚需——「这句话他指的是谁」需要后文）；
  • Decoder 的自注意力带下三角因果 mask：位置 i 只能看到 ≤i 的位置——生成式训练的本质约束（预测第 i 个词不能偷看答案）。训练时 teacher forcing 并行算所有位置，靠 mask 保证不泄题。

2. 交叉注意力（Cross-Attention）——Decoder 多出来的一半： Decoder 每层有两个注意力块：

  • 自注意力：处理「已生成的序列」（带因果 mask）；
  • 交叉注意力：Q 来自 Decoder 当前状态，K/V 来自 Encoder 的输出——每步生成动态「回看」整个源序列。Encoder 只有一个自注意力块，没有这个部件。
Encoder层: [双向自注意力] → [FFN]
Decoder层: [因果自注意力] → [交叉注意力(Q:自己, KV:编码器输出)] → [FFN]

工程视角的补充：

  • 现代 decoder-only LLM（GPT/Llama）把 Encoder 扔了，也自然没有交叉注意力——「encoder 的理解能力」靠规模化预训练内化；
  • Encoder-Decoder 结构仍活在「输入输出都是序列且需要对齐」的任务：翻译（NLLB）、语音识别（Whisper）、语音合成；
  • 掩码差异的实际 bug 场景：自己实现注意力时 mask 矩阵方向写反（上/下三角搞错），训练 loss 正常下降但生成全是复读——排查注意力 mask 是这类 bug 的第一站。