第 5 章:位置:顺序是怎么进去的
前四章的注意力有一个尴尬性质:把词序打乱,输出只是跟着打乱,内容不变。"猫咬狗"和"狗咬猫"在它眼里是同一个包。位置编码就是来解决这件事的。
学习目标
- 理解"置换等变":为什么自注意力天然不知道顺序
- 知道正弦编码与 RoPE 两种做法各自解决什么问题
- 说清"绝对位置"与"相对位置"的差别,以及为什么后者更常用
- 自己动手验证一次:加不加位置,输出是否不同
5.1 打乱词序,输出也只是一个打乱
因为注意力是"每个词对所有词算分数再加权",它只关心谁和谁,不关心谁在前。
python
out1 = attention(x) # 原顺序
perm = [2, 0, 3, 1]
out2 = attention(x[perm]) # 打乱后的顺序
# 数学上:out2[i] 就等于 out1[perm[i]]这个性质叫置换等变:输入怎么排,输出就怎么排,值不变。
5.2 为什么不用"直接加序号"
最朴素的想法:第 1 个词加 1,第 2 个词加 2…… 问题很实在:
| 问题 | 说明 |
|---|---|
| 数值无界 | 第 8000 个词加 8000,会把向量整体推走 |
| 不可外推 | 训练时没见过 10000 这个数,推理到更长就崩 |
| 只有绝对没有相对 | 模型学不到"相邻"这种关系 |
所以实际用的是有界、平滑、能表达相对距离的函数。
5.3 正弦编码:用不同频率的波
原始 Transformer 的做法:把位置 p 编码成一个 d 维向量,每一对维度用不同频率的正弦/余弦:
text
PE(p, 2i) = sin(p / 10000^(2i/d))
PE(p, 2i+1) = cos(p / 10000^(2i/d))| 特点 | 说明 |
|---|---|
| 有界 | 值永远在 [-1, 1] |
| 平滑 | 相邻位置编码接近 |
| 多尺度 | 高频维分辨近距离,低频维分辨远距离 |
它直接加在词向量上(x = embedding + PE)。缺点是不太擅长表达"相对距离",而且外推能力有限。
5.4 RoPE:把位置做成旋转
现在主流模型(Llama 系、Qwen 系等)多用 RoPE(旋转位置编码)。它的思路很漂亮:
不往向量上加东西,而是按位置把 Q 和 K"转一下"。
text
对第 i 对维度(共 d/2 对),旋转角 θ_i = p / 10000^(2i/d)
q' = rotate(q, θ) # 每个词按自己的位置转不同角度
k' = rotate(k, θ)为什么这样能表达相对位置:两个向量都旋转之后,它们的内积只取决于角度差,而角度差恰好等于位置的差。
text
q'_m · k'_n = f(m - n) # m、n 是两个词的位置这带来三个好处:
| 好处 | 说明 |
|---|---|
| 相对性自然出现 | 不用另外算"距离" |
| 不增加参数 | 只做旋转,没有新的权重 |
| 可外推(配合调整) | 常见做法是调大基底或插值,让模型适应更长上下文 |
细节提醒:RoPE 旋转的是 Q 和 K,不动 V。因为 V 不参与"匹配",只负责"提供内容"。
5.5 绝对与相对的取舍
| 方案 | 表达的是 | 代表 | 现状 |
|---|---|---|---|
| 正弦编码 | 绝对位置(附加) | 原始 Transformer | 少见于新模型 |
| 可学习绝对位置 | 绝对位置(学出来) | 早期 BERT 类 | 外推差 |
| RoPE | 相对位置(旋转) | Llama / Qwen 系 | 主流 |
| ALiBi 等 | 相对位置(偏置) | 部分模型 | 仍有使用 |
判断标准很简单:你的任务是"理解一段文本",绝对位置够用;你的任务是"在很长上下文里找关系",相对位置更合适。 而现在的模型基本都在做后者。
5.6 一个能自己跑的实验
python
import torch, math
def attn(x, pos=None, causal=False):
if pos is not None:
x = x + pos # 教学版:位置直接相加
d = x.shape[-1]
s = (x @ x.T) / math.sqrt(d)
if causal:
s = s.masked_fill(torch.triu(torch.ones_like(s), 1).bool(), float("-inf"))
return torch.softmax(s, -1) @ x
x = torch.tensor([[1.,0.],[0.,1.],[1.,1.]])
pos = torch.tensor([[0.,0.],[0.5,0.],[0.5,0.5]]) # 三个固定的"座位"
perm = [2, 0, 1]
# 不加位置:打乱词序,输出只是跟着打乱(位置和词一起换,所以等价)
print(torch.allclose(attn(x)[perm], attn(x[perm]))) # True
# 加位置:座位不动,只把词换位置(同一个词坐到了不同座位上)
print(torch.allclose(attn(x, pos)[perm], attn(x[perm], pos))) # False第二行是关键:座位固定,人换了,结果必须不同——这就是"顺序有意义了"。第一行 True 则说明没有位置时,"换人"和"换座位"是一回事。
跑一遍这两个布尔值,比读十页解释都清楚。
本章小结
| 要点 | 说明 |
|---|---|
| 问题 | 自注意力置换等变,天然不知道顺序 |
| 朴素做法 | 加序号:无界、不可外推 |
| 正弦编码 | 加固定波,有界平滑,外推有限 |
| RoPE | 按位置旋转 Q/K,内积只依赖相对距离 |
| 变体 | ALiBi 等用偏置表达相对位置 |
| 验证 | 置换后输出是否等价,一跑便知 |
下一章
位置、注意力、多头都齐了。下一章把它们和残差、归一化、前馈网络拼成一个完整的 Block。