Skip to content

第 5 章:位置:顺序是怎么进去的 ​

前四章的注意力有一个尴尬性质:把词序打乱,输出只是跟着打乱,内容不变。"猫咬狗"和"狗咬猫"在它眼里是同一个包。位置编码就是来解决这件事的。


学习目标 ​

  • 理解"置换等变":为什么自注意力天然不知道顺序
  • 知道正弦编码与 RoPE 两种做法各自解决什么问题
  • 说清"绝对位置"与"相对位置"的差别,以及为什么后者更常用
  • 自己动手验证一次:加不加位置,输出是否不同

5.1 打乱词序,输出也只是一个打乱 ​

因为注意力是"每个词对所有词算分数再加权",它只关心谁和谁,不关心谁在前。

python
out1 = attention(x)                  # 原顺序
perm = [2, 0, 3, 1]
out2 = attention(x[perm])            # 打乱后的顺序
# 数学上:out2[i] 就等于 out1[perm[i]]

这个性质叫置换等变:输入怎么排,输出就怎么排,值不变。

没有位置信息时,"猫咬狗"和"狗咬猫"是同一个包A · 不加位置猫 咬 狗注意力只看到"三个词,两两之间有强弱",不知道谁在前打乱顺序 → 输出跟着打乱,每个词的向量一模一样B · 加了位置猫1 咬2 狗3"猫"现在知道自己站在第 1 位,咬在第 2 位打乱后得到的是真正不同的结果:谁咬谁变了一句话:注意力学"关系",位置编码负责学"方向"。两者缺一不可。这也解释了为什么长上下文模型要专门改位置方案:位置加到 8K 还能准,加到 32K 就开始糊。验证方法就在上面那三行代码:不加位置时置换后完全等价,加了位置就不等价。

5.2 为什么不用"直接加序号" ​

最朴素的想法:第 1 个词加 1,第 2 个词加 2…… 问题很实在:

问题说明
数值无界第 8000 个词加 8000,会把向量整体推走
不可外推训练时没见过 10000 这个数,推理到更长就崩
只有绝对没有相对模型学不到"相邻"这种关系

所以实际用的是有界、平滑、能表达相对距离的函数。


5.3 正弦编码:用不同频率的波 ​

原始 Transformer 的做法:把位置 p 编码成一个 d 维向量,每一对维度用不同频率的正弦/余弦:

text
PE(p, 2i)   = sin(p / 10000^(2i/d))
PE(p, 2i+1) = cos(p / 10000^(2i/d))
特点说明
有界值永远在 [-1, 1]
平滑相邻位置编码接近
多尺度高频维分辨近距离,低频维分辨远距离

它直接加在词向量上(x = embedding + PE)。缺点是不太擅长表达"相对距离",而且外推能力有限。


5.4 RoPE:把位置做成旋转 ​

现在主流模型(Llama 系、Qwen 系等)多用 RoPE(旋转位置编码)。它的思路很漂亮:

不往向量上加东西,而是按位置把 Q 和 K"转一下"。

text
对第 i 对维度(共 d/2 对),旋转角 θ_i = p / 10000^(2i/d)

q' = rotate(q, θ)      # 每个词按自己的位置转不同角度
k' = rotate(k, θ)

为什么这样能表达相对位置:两个向量都旋转之后,它们的内积只取决于角度差,而角度差恰好等于位置的差。

text
q'_m · k'_n = f(m - n)      # m、n 是两个词的位置

这带来三个好处:

好处说明
相对性自然出现不用另外算"距离"
不增加参数只做旋转,没有新的权重
可外推(配合调整)常见做法是调大基底或插值,让模型适应更长上下文

细节提醒:RoPE 旋转的是 Q 和 K,不动 V。因为 V 不参与"匹配",只负责"提供内容"。


5.5 绝对与相对的取舍 ​

方案表达的是代表现状
正弦编码绝对位置(附加)原始 Transformer少见于新模型
可学习绝对位置绝对位置(学出来)早期 BERT 类外推差
RoPE相对位置(旋转)Llama / Qwen 系主流
ALiBi 等相对位置(偏置)部分模型仍有使用

判断标准很简单:你的任务是"理解一段文本",绝对位置够用;你的任务是"在很长上下文里找关系",相对位置更合适。 而现在的模型基本都在做后者。


5.6 一个能自己跑的实验 ​

python
import torch, math

def attn(x, pos=None, causal=False):
    if pos is not None:
        x = x + pos                       # 教学版:位置直接相加
    d = x.shape[-1]
    s = (x @ x.T) / math.sqrt(d)
    if causal:
        s = s.masked_fill(torch.triu(torch.ones_like(s), 1).bool(), float("-inf"))
    return torch.softmax(s, -1) @ x

x = torch.tensor([[1.,0.],[0.,1.],[1.,1.]])
pos = torch.tensor([[0.,0.],[0.5,0.],[0.5,0.5]])   # 三个固定的"座位"
perm = [2, 0, 1]

# 不加位置:打乱词序,输出只是跟着打乱(位置和词一起换,所以等价)
print(torch.allclose(attn(x)[perm], attn(x[perm])))            # True

# 加位置:座位不动,只把词换位置(同一个词坐到了不同座位上)
print(torch.allclose(attn(x, pos)[perm], attn(x[perm], pos)))  # False

第二行是关键:座位固定,人换了,结果必须不同——这就是"顺序有意义了"。第一行 True 则说明没有位置时,"换人"和"换座位"是一回事。

跑一遍这两个布尔值,比读十页解释都清楚。


本章小结 ​

要点说明
问题自注意力置换等变,天然不知道顺序
朴素做法加序号:无界、不可外推
正弦编码加固定波,有界平滑,外推有限
RoPE按位置旋转 Q/K,内积只依赖相对距离
变体ALiBi 等用偏置表达相对位置
验证置换后输出是否等价,一跑便知

下一章 ​

位置、注意力、多头都齐了。下一章把它们和残差、归一化、前馈网络拼成一个完整的 Block。

本文阅读--次|全站访问--次|访客--人