第 2 章:注意力到底在算什么
一句话五个词,每个词都该"看"其他词一眼。注意力就是那个"看"的动作,它由三个问题组成:我找什么、你能被什么找到、你提供什么。
学习目标
- 用 4 个词、2 维向量,完整手算一遍注意力
- 明白点积为什么能当"相关性",为什么还要除以 √d
- 看懂 softmax 如何把分数变成"看多重"
- 知道生成时为什么必须加因果掩码
2.1 再压一次:只留 2 维
上一章那张 4 维表,已经能看清"每个词是一行数"。但点积要两两相乘再相加,4 维算起来太啰嗦,所以这一章再压到 2 维——只保留最能说明"方向"的两个维度(真实模型里是 64 或 128 维,算法完全一样):
| token | 向量 |
|---|---|
| 我 | (1, 0) |
| 爱 | (0, 1) |
| 学习 | (1, 1) |
| AI | (0.5, 0.5) |
注意最后两个方向相同(只是长度不同),这是我们故意安排的,能看出点积衡量的是"方向"。
2.2 第一步:打分
两个向量的点积 = 对应位置相乘再相加。它衡量"方向有多接近":
import torch, math
x = torch.tensor([[1.,0.],[0.,1.],[1.,1.],[0.5,0.5]])
scores = x @ x.T # [4,4],第 i 行第 j 列 = 词 i 与词 j 的点积
print(scores.round(decimals=2)) 我 爱 学习 AI
我 1.00 0.00 1.00 0.50
爱 0.00 1.00 1.00 0.50
学习 1.00 1.00 2.00 1.00
AI 0.50 0.50 1.00 0.50读法(只看「我」这一行):
- 与「我」自己:1.0(自己和自己最相关)
- 与「爱」:0.0(方向垂直,几乎无关)
- 与「学习」「AI」:1.0 和 0.5,方向相同或接近
这就是注意力的全部直觉:谁和我方向接近,我就多看谁。
2.3 第二步:为什么除以 √d
分数不能直接拿去算权重,因为维度越大,点积的数值越大(多个维度的乘积相加),softmax 会变得极陡——一个词几乎吃掉全部注意力,其余全归零,梯度也就没了。
d = x.shape[-1] # 这里 d = 2
scores = scores / math.sqrt(d) # 除以 1.414
print(scores.round(decimals=2)) 我 爱 学习 AI
我 0.71 0.00 0.71 0.35
爱 0.00 0.71 0.71 0.35
学习 0.71 0.71 1.41 0.71
AI 0.35 0.35 0.71 0.35真实模型里 d 是 64 或 128,这一步的缩放效果比这里明显得多。
2.4 第三步:softmax 变成权重
softmax 做两件事:把数变成正数(取指数),再按总和归一化,让一行加起来等于 1。
w = torch.softmax(scores, dim=-1)
print(w.round(decimals=2))用「我」这一行手算一遍(四舍五入):
| token | 缩放后分数 | exp | 权重 |
|---|---|---|---|
| 我 | 0.71 | 2.03 | 2.03 / 6.48 ≈ 0.31 |
| 爱 | 0.00 | 1.00 | 1.00 / 6.48 ≈ 0.15 |
| 学习 | 0.71 | 2.03 | 0.31 |
| AI | 0.35 | 1.42 | 1.42 / 6.48 ≈ 0.22 |
四行都算完,就得到这张权重表(也就是"注意力矩阵"):
2.5 第四步:加权求和
权重定了,就把"值"按权重加起来,得到每个词的新表示:
out = w @ x
print(out.round(decimals=2))「我」的新向量,手算一遍:
0.313 × (1, 0) = (0.313, 0.000)
0.154 × (0, 1) = (0.000, 0.154)
0.313 × (1, 1) = (0.313, 0.313)
0.220 × (0.5, 0.5) = (0.110, 0.110)
---------------
相加 = (0.736, 0.577) ≈ (0.74, 0.58)原来的「我」是 (1, 0),看完一圈之后变成 (0.74, 0.58)——它被上下文"染"了一遍,带上了「学习」「AI」的成分。
这就是最关键的一句话:注意力不改变"有几个词",它改变"每个词是什么"。
2.6 因果掩码:不能偷看后面
生成时是一次一个字往外蹦的。算第 3 个词的时候,第 4、5 个词还没出生,不能看。
mask = torch.triu(torch.ones(4, 4), diagonal=1).bool()
scores = scores.masked_fill(mask, float("-inf"))
w = torch.softmax(scores, dim=-1)效果是把右上角("看未来")全部变成 0,左下角("看过去和自己")重新归一化:
| 我 | 爱 | 学习 | AI | |
|---|---|---|---|---|
| 我 | 1.00 | 0 | 0 | 0 |
| 爱 | 0.5 | 0.5 | 0 | 0 |
| 学习 | 0.33 | 0.33 | 0.33 | 0 |
| AI | 0.25 | 0.25 | 0.25 | 0.25 |
(这里没考虑分数缩放,只演示掩码的形状。)
2.7 三步走完
完整实现就这十几行:
def attention(x, causal=False):
d = x.shape[-1]
s = x @ x.T / math.sqrt(d) # 打分(教学版:Q=K=V=x)
if causal:
s = s.masked_fill(torch.triu(torch.ones_like(s), 1).bool(), float("-inf"))
w = torch.softmax(s, dim=-1) # 权重
return w @ x # 加权求和真实实现里 Q、K、V 来自三个不同的投影——这正是下一章的内容。
本章小结
| 要点 | 说明 |
|---|---|
| 打分 | 点积衡量方向接近程度 |
| 缩放 | 除以 √d,防止 softmax 过陡 |
| 归一 | softmax 让每行权重和为 1 |
| 聚合 | 权重乘以值再相加,得到上下文相关的新向量 |
| 掩码 | 生成模式必须遮住未来 |
| 一句话 | 注意力改变"每个词是什么",不改变"有几个词" |
下一章
为什么需要三个不同的投影(Q、K、V),而不是像这一章这样"自己和自己算"。