面经策

如果让 K 和 Q 变成同一个矩阵，你觉得对模型性能会带来怎样的影响？ ​

  • 标签：Transformer

🏛 业务架构师 ​

如果让 K 和 Q 共享同一个投影矩阵（Q=K），注意力退化为"向量与自身的相似度匹配"，对模型性能的影响我预判为明显下降，原因：

1. 失去非对称匹配能力：Q 和 K 的分离本质是"查询视角"与"被查视角"的解耦——检索时"我要找什么"（Q）和"我能提供什么标签"（K）天然是两种表达。合并后每个 token 只能用同一套表征既当提问者又当被查者——self-similarity 主导，每个 token 与自己的注意力得分必然最高，跨位置的信息汇聚被抑制，注意力趋向"各玩各的"。

2. 表征空间的自由度损失：独立 Wq、Wk 等于给了模型两个可学习的投影子空间，匹配可以在"查询空间×键空间"的笛卡尔积里找最优对齐；合并后只剩一个空间，匹配模式被砍掉一半自由度。经验上这类"减少表达自由度"的改动（除非有冗余）都会掉点。

3. 实证参照：线性注意力早期研究中共享 QK 的变体效果普遍偏差；多头场景下若 Q/K 全共享，多头的多样性收益也会打折。反过来，GQA 只共享 K/V 不共享 Q——恰好保住了"查询多样性"这个关键自由度，说明架构师们很清楚哪些能省哪些不能省。

面试的加分收尾：可以补一句工程平衡观——省参数的正确姿势不是共享 QK，而是 GQA/MQA 共享 KV（性能几乎不掉、推理成本大降）、或用低秩投影压缩。Q 与 K 的分离是注意力"检索范式"的根基，动它就是动了模型的表达原理。

🏗 系统架构师 ​

K=Q 共享（即注意力退化为 XXᵀ 的自相关）对性能的伤害，我从四个机制讲：

  • 非对称依赖无法建模：语言的关系大多是非对称的——动词需要找宾语、代词需要找先行词、问题需要找答案。Q/K 独立时，XW_Q(W_K)ᵀXᵀ 是可学习的双线性形式，能表达"作为查询者"与"作为被查询者"的不同语义；共享后退化成对称的 XXᵀ——"A 关注 B"恒等于"B 关注 A"，注意力矩阵被迫对称，方向性信息路由消失；
  • 匹配能力坍缩为词共现：XXᵀ 的分数由 embedding 的静态内积决定——本质上退化为"词向量相似度矩阵"，等价于一个不可训练的软共现统计；模型无法学到任务驱动的匹配模式（不同任务需要不同的 QK 映射，共享后这个自由度归零）；
  • 表示各向异性问题放大：训练后的词向量分布各向异性（高频词聚簇），XXᵀ 的分数被词频主导——softmax 后注意力分布要么过尖（都看高频词）要么过平（均匀稀释），选择性路由失效；
  • 实证预期：消融研究显示去掉 QK 独立投影（保持参数量对齐）在语言建模 loss 上稳定变差——这种退化在长序列、需要精细依赖解析的任务（指代、句法）上尤其明显。

架构类比：数据库的"查询条件"与"索引键"必须分开设计才能支持灵活匹配；Q=K 等于强制索引键 = 查询条件——匹配模式被锁死。

结论：Q/K 分开不是为了参数量，而是为了匹配函数的可学习性与非对称性——这是注意力作为"信息寻址系统"的核心设计。

💻 全栈开发专家 ​

K=Q（共用同一投影矩阵）对性能的影响——结论：明显变差，但不是立刻崩坏：

1. 匹配模式被「对称化」： Q=Wx、K=Wx 共用 W 后，注意力分数变成 xᵀWᵀWx——一个对称二次型。数学后果：

  • 注意力分数由 WᵀW 的谱完全决定，q·k 的「查询-应答」式不对称匹配退化；
  • A 关注 B 的程度 ≈ B 关注 A 的程度（分数矩阵趋对称）——但语言里的关注关系本质不对称：「形容词找名词」强、「名词找形容词」弱是常态；
  • 自身的分数 xᵀWᵀWx 恒占主导（自注意力总盯着自己），对角线偏强会稀释对其他 token 的关注。

2. 能表达的「关系维度」坍缩： 独立 W_Q、W_K 等于给「发出查询」和「展示键」两套自由度；共用后自由度减半，多头里各头想学不同的不对称模式也没了空间——实验上（含 LoRA/权重共享类消融）共享 QK 掉点是稳定结论。

3. 会掉的还有训练稳定性： 对称二次型在初始化不当（W 稍大）时 logits 方差更大，softmax 更易饱和，早期训练更抖。

什么场景可以共享：极端省参/省显存约束（嵌入式部署的极小模型），或注意力只用于「对称相似度」语义的场合（如某些检索头）——属于「知道代价后的妥协」。

加分关联：对比 MQA/GQA——它们共享的是 K/V（省 KV cache），Q 始终独立保留，实证掉点小；这个对比能说明「查询侧的独立性比键值侧更重要」，正好反证 K=Q 的伤害所在。