第 4 章:多头:为什么要分成几份看
一组 Q/K/V 只能表达一种"该看谁"的偏好。但一句话里同时存在语法、指代、位置好几种关系——多头就是并行开几组,各管一摊。
学习目标
- 说清单个注意力头表达能力的局限
- 会算多头注意力的形状与参数量,并知道它不比单头更贵
- 理解"头"不是模型可解释的最小单位,别过度解读
- 认识 GQA / MQA 这两个省显存的变体
4.1 一个头只能有一种偏好
假设一层里只有一组 W_q, W_k, W_v。那么"词 i 该看词 j 多重"这件事,只由这一组参数决定。它要么偏爱"相邻的词",要么偏爱"同类的词",不能同时。
但实际语言里:
| 关系 | 例子 |
|---|---|
| 语法 | 动词找它的主语 |
| 指代 | 「它」找上文那个名词 |
| 位置 | 关注紧邻的前一个词 |
| 语义 | 关注同主题的词 |
所以做法是:并行算 h 组,每组一套自己的 Q/K/V。
4.2 多头的结构
python
import torch
d, h = 64, 4
dk = d // h # 16
n = x.shape[0] # 词数
# 一次算所有头:把 d 拆成 h 份
qkv = torch.nn.Linear(d, 3 * d) # 一次投影出 Q K V
q, k, v = qkv(x).chunk(3, dim=-1) # 每个 [n, d]
q = q.view(n, h, dk).transpose(0, 1) # [h, n, dk]
k = k.view(n, h, dk).transpose(0, 1)
v = v.view(n, h, dk).transpose(0, 1)
s = q @ k.transpose(-2, -1) / math.sqrt(dk) # [h, n, n]
w = torch.softmax(s, dim=-1)
out = (w @ v).transpose(0, 1).reshape(n, d) # 拼回 [n, d]
out = out @ W_o.weight.T上面这段 view + transpose 是几乎所有实现的写法。看不懂没关系,记住形状:[n,d] → [h,n,dk] → [h,n,n] → [n,d]。
4.3 参数量:多头不变贵
| 部分 | 参数 |
|---|---|
| 单头(d_k = d) | W_q + W_k + W_v = 3d² |
| 多头(h 个头,每头 d_k = d/h) | 3 × d × d = 3d²(总量相同) |
| 输出投影 | d² |
合起来一层注意力约 4d²,这是第 8 章估参数量的第一个数。
4.4 各个头在学什么
研究和可视化里常见这样的观察:有的头几乎总在看紧邻的前一个词,有的头专门把代词和它指代的名词连起来,有的头在句末把整句信息汇总。
但要谨慎看待:
| 说法 | 该不该信 |
|---|---|
| "第 3 个头负责语法" | 只能算某次观察,不是稳定结论 |
| 不同头学到不同模式 | 大体可靠 |
| 剪掉一些头几乎不掉效果 | 有研究支持,但并不总是成立 |
结论:"多头"的价值是提供多种视角,而不是可解释性的保证。别把它当成模型的"零件清单"。
4.5 省显存的变体:MQA 与 GQA
多头带来一个隐藏成本:生成时要把每个头的 K、V 都缓存下来(第 7 章讲 KV cache)。头越多,缓存越大。
| 变体 | 做法 | 代价 |
|---|---|---|
| MQA | 所有 Q 头共用一组 K/V | 缓存最小,表达力略降 |
| GQA | 把 Q 头分成若干组,每组共用一组 K/V | 折中,现在较常见 |
| MHA | 每个 Q 头一组 K/V(标准多头) | 缓存最大 |
这解释了第 8 章算显存时那个"kv_heads"参数——它通常小于头数,就是 GQA 留下的痕迹。
4.6 数据流
本章小结
| 要点 | 说明 |
|---|---|
| 局限 | 一个头只能表达一种关注偏好 |
| 多头 | 并行 h 组,各头 d_k = d / h |
| 拼接 | 拼回 d 维,再乘 W_o 融合 |
| 参数 | 与单头总量基本一致,不多花钱 |
| 可解释 | 头有模式,但不是稳定零件清单 |
| 变体 | MQA / GQA 通过共用 K/V 省缓存 |
下一章
到这里,顺序信息还是缺的。"猫咬狗"和"狗咬猫"在注意力眼里是同一个包。下一章讲位置怎么进去。