面经策

聊一聊 Transformer 的架构和基本原理。 ​

  • 标签：Transformer

🏛 业务架构师 ​

Transformer 的架构与基本原理，我按"总-分-总"讲：

总：Transformer（2017，Attention Is All You Need）是纯注意力驱动的序列处理架构，抛弃了 RNN 的循环——从此序列建模可以完全并行，这是"能训练千亿模型"的工程前提。两大形态：Encoder（理解，BERT 系）、Decoder（生成，GPT 系）、以及原始的 Encoder-Decoder（翻译，T5 系）。

分·核心组件：

  1. 自注意力：每个 token 生成 Q/K/V 三组向量；Q 与所有 K 点积算相关度，softmax 加权求和 V——任意两位置直接交互（长依赖路径 O(1)），且可并行。多头机制让多组注意力并行捕捉不同关系；
  2. FFN 前馈网络：逐位置非线性变换，"知识存储与加工"层（事实知识大量存于 FFN 权重）；
  3. 残差连接+LayerNorm：保证深堆叠下梯度通畅、训练稳定（百层的前提）；
  4. 位置编码：注意力本身对顺序无感，需显式注入位置信息（正弦编码→RoPE 演进）；
  5. Decoder 的因果遮蔽：生成时只见前文，自回归逐词输出。

总·业务价值：三点划时代——并行训练解锁规模定律（Scaling Law 兑现"大力出奇迹"）；全局注意力解锁长文本理解；架构通用性（文本/图像/语音/蛋白质统一处理）解锁多模态。2026 年的一切大模型（GPT、Qwen、DeepSeek）都是 Transformer 的变体优化（GQA、MoE、FlashAttention 都是"原架构的效率改造"而非革命）——理解 Transformer 就是理解当代 AI 的第一性原理。

🏗 系统架构师 ​

Transformer = 完全基于注意力的序列架构（2017，Attention Is All You Need），我按数据流拆：

宏观：Encoder-Decoder 双塔：

  • Encoder（理解）：N 层，每层 = 多头自注意力（双向——每个 token 看全句）+ FFN，残差 + LayerNorm。输出：上下文相关的源序列表示；
  • Decoder（生成）：N 层，每层三个子模块——因果遮蔽自注意力（只看已生成部分）+ 交叉注意力（Q 来自 Decoder、K/V 来自 Encoder 输出——生成时按需检索源信息）+ FFN；
  • 自回归生成：逐 token 预测下一个词，直到 EOS。

核心组件（一次前向）：

  • 输入：token embedding + 位置编码（注意力本身无序，位置需显式注入）；
  • 多头注意力：softmax(QK^T/√d)·V——Q/K/V 三投影解耦"查什么、被匹配什么、传什么"；多头 = 子空间多视角；
  • FFN：逐位置两层 MLP（升维 4x）——参数大头，知识存储主力；
  • 残差 + LN：x + Sublayer(LN(x))——深层可训练的保障。

架构师视角的三大设计突破：

  • 全局依赖一步直达（对比 RNN 接力传递）——长程信息不再衰减；
  • 全并行（对比 RNN 时间串行）——GPU 规模化训练的前提，这是能力爆发的工程根基；
  • 统一原语：注意力一个机制处理所有关系——没有为语言特化的先验，反而获得跨模态通用性（文本/图像/音频/蛋白质通吃）。

代价：O(n²) 注意力复杂度 + KV Cache 显存——长上下文工程的主战场。演化：现代 LLM 收敛为 Decoder-only（GPT/LLaMA 系），但组件（MHA/RoPE/RMSNorm/SwiGLU）全部继承自这个原设计。

💻 全栈开发专家 ​

Transformer 架构与原理，我按「数据流走一遍」讲：

宏观：原版是 Encoder-Decoder（为翻译设计）；现代 LLM 是纯 Decoder（生成式）。核心组件三件：自注意力、前馈网络、残差+归一化。

单层流程（以 Decoder 层为例）：

输入 x (d维token表示)
 ├→ Multi-Head Self-Attention（带因果mask）→ 残差相加 → Norm → y1
 └(y1)→ FFN（升维4x→激活→降维）→ 残差相加 → Norm → 输出
堆叠 N 层（GPT-3 96层）→ 顶部线性层+softmax → 下一个token概率

1. 自注意力（信息路由器）： Attention(Q,K,V)=softmax(QKᵀ/√d_k)V

  • Q/K/V 由输入乘三个投影矩阵得到；
  • Q 与所有 K 点积 = 相关性分数 → softmax 加权 → 聚合所有位置的 V；
  • 每个位置一次看全句（全局感受野），权重由内容动态决定；
  • 多头并行（每头 d/h 维）捕捉不同关系模式。

2. FFN（知识存储器）：逐位置两层 MLP（4 倍升维），事实与模式知识主要存在这里——注意力负责「搬运信息」，FFN 负责「加工信息」。

3. 残差+归一化：残差给梯度修高速路（深网络可训）；Norm（现多 Pre-RMSNorm）稳分布。

4. 位置编码：注意力本身无序，需注入位置信息（原版正弦、现代 RoPE）。

为什么这个架构赢了（对 RNN）：任意距离一跳连接（长依赖）+ 全序列并行计算（训练可扩展到万亿 token）——架构解锁了数据规模，数据规模解锁了能力。