第 3 章:Q、K、V:三个角色的分工
上一章是"自己和自己算",分数矩阵是对称的。真实模型要给每个词配上三种身份:我在找什么、我能被什么找到、选中我之后我提供什么。
学习目标
- 说清"自注意力"为什么还不够,需要三个投影
- 记住 Q、K、V 各自回答的问题,以及它们的形状
- 知道 d_k 通常等于 d / 头数,以及为什么
- 写出带三个投影的注意力
3.1 上一章的问题
回顾那行代码:s = x @ x.T。它有两个硬伤:
| 硬伤 | 表现 |
|---|---|
| 分数对称 | 「我」看「学习」和「学习」看「我」永远相等,但语言里这两个关系并不对等 |
| 一个视角 | 每个词既当提问者又当被查者,无法表达"我这一层只关心动词" |
所以真实实现里,X 不是一个,而是通过三个不同的线性投影变成三份。
3.2 三个身份
3.3 形状怎么变
python
W_q = torch.nn.Linear(d, d_k, bias=False) # 学出来的
W_k = torch.nn.Linear(d, d_k, bias=False)
W_v = torch.nn.Linear(d, d_k, bias=False)
W_o = torch.nn.Linear(d_k, d, bias=False) # 把 d_k 维投回 d 维
q = x @ W_q.weight.T # [n, d_k]
k = x @ W_k.weight.T
v = x @ W_v.weight.T| 量 | 形状 | 说明 |
|---|---|---|
| X | [n, d] | n 个词,每个 d 维 |
| W_q / W_k / W_v | [d_k, d] | 投影矩阵 |
| Q / K / V | [n, d_k] | 投影后的维度 |
| S = QKᵀ | [n, n] | 每个词对每个词的分数 |
| 输出 | [n, d_k] | 最后还要再投影回 [n, d] |
d_k 通常取 d / h(h 是头数),这样多头拼起来正好还是 d 维——第 4 章会用到这个关系。
3.4 三个投影的完整注意力
python
def attention(x, W_q, W_k, W_v, W_o, causal=False):
d_k = W_q.weight.shape[0]
q, k, v = x @ W_q.weight.T, x @ W_k.weight.T, x @ W_v.weight.T
s = q @ k.T / math.sqrt(d_k)
if causal:
s = s.masked_fill(torch.triu(torch.ones_like(s), 1).bool(), float("-inf"))
w = torch.softmax(s, dim=-1)
return (w @ v) @ W_o.weight.T # W_o: 把 d_k 维投回 d 维和上一章的差别只有两处:x @ x.T 变成 q @ k.T,w @ x 变成 w @ v。其余一字未改——分数的来源变了,聚合的对象变了。
3.5 形状流转
这张图值得记住的形状有两个:n × n 的分数矩阵(它的规模随上下文长度平方增长)与 n × d_k 的输出。
前者是第 8 章算显存时的一个伏笔:上下文翻一倍,这张表的面积翻四倍。
3.6 为什么要 bias=False
常见做法是不加偏置。原因不复杂:这些投影只做"换个坐标系看同一个向量",平移量没有额外意义,而且省参数、少一层数值不稳定来源。有些实现仍保留偏置,不影响理解。
本章小结
| 要点 | 说明 |
|---|---|
| 问题 | 对称分数 + 单一视角,表达不了非对等关系 |
| 三角色 | Q 找什么、K 被什么找到、V 提供什么 |
| 来源 | 都来自同一个 X,乘三个不同的矩阵 |
| 形状 | [n,d] → [n,d_k],分数 [n,n] |
| d_k | 通常等于 d / 头数 |
| 不变 | 打分 → 缩放 → 掩码 → softmax → 加权,流程没变 |
下一章
一组 Q/K/V 只能看一种关系。多头就是同时开几组,让不同的"头"各自负责不同的关系。