Skip to content

第 2 章:注意力到底在算什么 ​

一句话五个词,每个词都该"看"其他词一眼。注意力就是那个"看"的动作,它由三个问题组成:我找什么、你能被什么找到、你提供什么。


学习目标 ​

  • 用 4 个词、2 维向量,完整手算一遍注意力
  • 明白点积为什么能当"相关性",为什么还要除以 √d
  • 看懂 softmax 如何把分数变成"看多重"
  • 知道生成时为什么必须加因果掩码

2.1 再压一次:只留 2 维 ​

上一章那张 4 维表,已经能看清"每个词是一行数"。但点积要两两相乘再相加,4 维算起来太啰嗦,所以这一章再压到 2 维——只保留最能说明"方向"的两个维度(真实模型里是 64 或 128 维,算法完全一样):

token向量
我(1, 0)
爱(0, 1)
学习(1, 1)
AI(0.5, 0.5)

注意最后两个方向相同(只是长度不同),这是我们故意安排的,能看出点积衡量的是"方向"。


2.2 第一步:打分 ​

两个向量的点积 = 对应位置相乘再相加。它衡量"方向有多接近":

python
import torch, math

x = torch.tensor([[1.,0.],[0.,1.],[1.,1.],[0.5,0.5]])
scores = x @ x.T                     # [4,4],第 i 行第 j 列 = 词 i 与词 j 的点积
print(scores.round(decimals=2))
text
       我    爱   学习   AI
我    1.00  0.00  1.00  0.50
爱    0.00  1.00  1.00  0.50
学习  1.00  1.00  2.00  1.00
AI    0.50  0.50  1.00  0.50

读法(只看「我」这一行):

  • 与「我」自己:1.0(自己和自己最相关)
  • 与「爱」:0.0(方向垂直,几乎无关)
  • 与「学习」「AI」:1.0 和 0.5,方向相同或接近

这就是注意力的全部直觉:谁和我方向接近,我就多看谁。


2.3 第二步:为什么除以 √d ​

分数不能直接拿去算权重,因为维度越大,点积的数值越大(多个维度的乘积相加),softmax 会变得极陡——一个词几乎吃掉全部注意力,其余全归零,梯度也就没了。

python
d = x.shape[-1]                      # 这里 d = 2
scores = scores / math.sqrt(d)       # 除以 1.414
print(scores.round(decimals=2))
text
       我    爱   学习   AI
我    0.71  0.00  0.71  0.35
爱    0.00  0.71  0.71  0.35
学习  0.71  0.71  1.41  0.71
AI    0.35  0.35  0.71  0.35

真实模型里 d 是 64 或 128,这一步的缩放效果比这里明显得多。


2.4 第三步:softmax 变成权重 ​

softmax 做两件事:把数变成正数(取指数),再按总和归一化,让一行加起来等于 1。

python
w = torch.softmax(scores, dim=-1)
print(w.round(decimals=2))

用「我」这一行手算一遍(四舍五入):

token缩放后分数exp权重
我0.712.032.03 / 6.48 ≈ 0.31
爱0.001.001.00 / 6.48 ≈ 0.15
学习0.712.030.31
AI0.351.421.42 / 6.48 ≈ 0.22

四行都算完,就得到这张权重表(也就是"注意力矩阵"):

每一行是一个词"看别人"的权重,行和恒为 1我爱学习AI我爱学习AI0.310.150.310.220.150.310.310.220.200.200.400.200.230.230.320.23「我」把自己和「学习」看得最重「爱」把自己和「学习」看得最重「学习」有 0.40 的注意力给了自己(因为它长度最长,分数天然偏高)「AI」和「学习」方向相同但长度只有一半,分数低一些这张表不是"谁更重要"的排名,而是每个词各自的一副眼镜:每行单独归一化,互不干扰。所以「学习」那一行有 0.40,不代表它对别人更重要,只是它看自己的权重更大。

2.5 第四步:加权求和 ​

权重定了,就把"值"按权重加起来,得到每个词的新表示:

python
out = w @ x
print(out.round(decimals=2))

「我」的新向量,手算一遍:

text
0.313 × (1, 0)    = (0.313, 0.000)
0.154 × (0, 1)    = (0.000, 0.154)
0.313 × (1, 1)    = (0.313, 0.313)
0.220 × (0.5, 0.5) = (0.110, 0.110)
                    ---------------
相加               = (0.736, 0.577) ≈ (0.74, 0.58)

原来的「我」是 (1, 0),看完一圈之后变成 (0.74, 0.58)——它被上下文"染"了一遍,带上了「学习」「AI」的成分。

这就是最关键的一句话:注意力不改变"有几个词",它改变"每个词是什么"。


2.6 因果掩码:不能偷看后面 ​

生成时是一次一个字往外蹦的。算第 3 个词的时候,第 4、5 个词还没出生,不能看。

python
mask = torch.triu(torch.ones(4, 4), diagonal=1).bool()
scores = scores.masked_fill(mask, float("-inf"))
w = torch.softmax(scores, dim=-1)

效果是把右上角("看未来")全部变成 0,左下角("看过去和自己")重新归一化:

我爱学习AI
我1.00000
爱0.50.500
学习0.330.330.330
AI0.250.250.250.25

(这里没考虑分数缩放,只演示掩码的形状。)


2.7 三步走完 ​

完整实现就这十几行:

python
def attention(x, causal=False):
    d = x.shape[-1]
    s = x @ x.T / math.sqrt(d)          # 打分(教学版:Q=K=V=x)
    if causal:
        s = s.masked_fill(torch.triu(torch.ones_like(s), 1).bool(), float("-inf"))
    w = torch.softmax(s, dim=-1)        # 权重
    return w @ x                        # 加权求和

真实实现里 Q、K、V 来自三个不同的投影——这正是下一章的内容。


本章小结 ​

要点说明
打分点积衡量方向接近程度
缩放除以 √d,防止 softmax 过陡
归一softmax 让每行权重和为 1
聚合权重乘以值再相加,得到上下文相关的新向量
掩码生成模式必须遮住未来
一句话注意力改变"每个词是什么",不改变"有几个词"

下一章 ​

为什么需要三个不同的投影(Q、K、V),而不是像这一章这样"自己和自己算"。

本文阅读--次|全站访问--次|访客--人