Skip to content

第 4 章:多头:为什么要分成几份看 ​

一组 Q/K/V 只能表达一种"该看谁"的偏好。但一句话里同时存在语法、指代、位置好几种关系——多头就是并行开几组,各管一摊。


学习目标 ​

  • 说清单个注意力头表达能力的局限
  • 会算多头注意力的形状与参数量,并知道它不比单头更贵
  • 理解"头"不是模型可解释的最小单位,别过度解读
  • 认识 GQA / MQA 这两个省显存的变体

4.1 一个头只能有一种偏好 ​

假设一层里只有一组 W_q, W_k, W_v。那么"词 i 该看词 j 多重"这件事,只由这一组参数决定。它要么偏爱"相邻的词",要么偏爱"同类的词",不能同时。

但实际语言里:

关系例子
语法动词找它的主语
指代「它」找上文那个名词
位置关注紧邻的前一个词
语义关注同主题的词

所以做法是:并行算 h 组,每组一套自己的 Q/K/V。


4.2 多头的结构 ​

拆成 h 份算,再拼回去Xn × d头 1Q1 K1 V1 → 输出 n × dk头 2Q2 K2 V2 → 输出 n × dk头 hQh Kh Vh → 输出 n × dk拼接 concatn × (h · dk) = n × d× W_o(输出投影)把 h 份的信息融合成 n × d关键:dk = d / h,所以拼接后回到 d 维。这意味着多头并不比单头更贵:参数总量基本不变,只是把同一笔预算切成 h 份分别学。若只拼接、不乘 W_o,各头的信息只是并列,没有被"重新组织"一次。
python
import torch
d, h = 64, 4
dk = d // h                                   # 16
n = x.shape[0]                                # 词数

# 一次算所有头:把 d 拆成 h 份
qkv = torch.nn.Linear(d, 3 * d)               # 一次投影出 Q K V
q, k, v = qkv(x).chunk(3, dim=-1)             # 每个 [n, d]
q = q.view(n, h, dk).transpose(0, 1)          # [h, n, dk]
k = k.view(n, h, dk).transpose(0, 1)
v = v.view(n, h, dk).transpose(0, 1)

s = q @ k.transpose(-2, -1) / math.sqrt(dk)   # [h, n, n]
w = torch.softmax(s, dim=-1)
out = (w @ v).transpose(0, 1).reshape(n, d)   # 拼回 [n, d]
out = out @ W_o.weight.T

上面这段 view + transpose 是几乎所有实现的写法。看不懂没关系,记住形状:[n,d] → [h,n,dk] → [h,n,n] → [n,d]。


4.3 参数量:多头不变贵 ​

部分参数
单头(d_k = d)W_q + W_k + W_v = 3d²
多头(h 个头,每头 d_k = d/h)3 × d × d = 3d²(总量相同)
输出投影d²

合起来一层注意力约 4d²,这是第 8 章估参数量的第一个数。


4.4 各个头在学什么 ​

研究和可视化里常见这样的观察:有的头几乎总在看紧邻的前一个词,有的头专门把代词和它指代的名词连起来,有的头在句末把整句信息汇总。

但要谨慎看待:

说法该不该信
"第 3 个头负责语法"只能算某次观察,不是稳定结论
不同头学到不同模式大体可靠
剪掉一些头几乎不掉效果有研究支持,但并不总是成立

结论:"多头"的价值是提供多种视角,而不是可解释性的保证。别把它当成模型的"零件清单"。


4.5 省显存的变体:MQA 与 GQA ​

多头带来一个隐藏成本:生成时要把每个头的 K、V 都缓存下来(第 7 章讲 KV cache)。头越多,缓存越大。

变体做法代价
MQA所有 Q 头共用一组 K/V缓存最小,表达力略降
GQA把 Q 头分成若干组,每组共用一组 K/V折中,现在较常见
MHA每个 Q 头一组 K/V(标准多头)缓存最大

这解释了第 8 章算显存时那个"kv_heads"参数——它通常小于头数,就是 GQA 留下的痕迹。


4.6 数据流 ​


本章小结 ​

要点说明
局限一个头只能表达一种关注偏好
多头并行 h 组,各头 d_k = d / h
拼接拼回 d 维,再乘 W_o 融合
参数与单头总量基本一致,不多花钱
可解释头有模式,但不是稳定零件清单
变体MQA / GQA 通过共用 K/V 省缓存

下一章 ​

到这里,顺序信息还是缺的。"猫咬狗"和"狗咬猫"在注意力眼里是同一个包。下一章讲位置怎么进去。

本文阅读--次|全站访问--次|访客--人