Skip to content

第 3 章:Q、K、V:三个角色的分工 ​

上一章是"自己和自己算",分数矩阵是对称的。真实模型要给每个词配上三种身份:我在找什么、我能被什么找到、选中我之后我提供什么。


学习目标 ​

  • 说清"自注意力"为什么还不够,需要三个投影
  • 记住 Q、K、V 各自回答的问题,以及它们的形状
  • 知道 d_k 通常等于 d / 头数,以及为什么
  • 写出带三个投影的注意力

3.1 上一章的问题 ​

回顾那行代码:s = x @ x.T。它有两个硬伤:

硬伤表现
分数对称「我」看「学习」和「学习」看「我」永远相等,但语言里这两个关系并不对等
一个视角每个词既当提问者又当被查者,无法表达"我这一层只关心动词"

所以真实实现里,X 不是一个,而是通过三个不同的线性投影变成三份。


3.2 三个身份 ​

同一个词,三副面孔X[n 个词, d 维]Q · 查询我在找什么?K · 键我能被什么找到?V · 值选中我之后,我给出什么?图书馆类比Q = 你想找的主题词;K = 每本书的标签;V = 书的正文内容所以两件事分开了"用什么去匹配"(Q 对 K)与"匹配上之后取什么"(取 V)是两回事这就是投影的意义三个 W 都是可学习参数,训练时各自学会"该关注什么"一个常见误解:以为 Q、K、V 是三种不同的输入。它们都来自同一个 X,只是乘了三个不同的矩阵。因此在同一层里,每个词"提问的方式"和"被检索的标签"可以不一致——这正是上一章做不到的。

3.3 形状怎么变 ​

python
W_q = torch.nn.Linear(d, d_k, bias=False)   # 学出来的
W_k = torch.nn.Linear(d, d_k, bias=False)
W_v = torch.nn.Linear(d, d_k, bias=False)
W_o = torch.nn.Linear(d_k, d, bias=False)   # 把 d_k 维投回 d 维

q = x @ W_q.weight.T        # [n, d_k]
k = x @ W_k.weight.T
v = x @ W_v.weight.T
量形状说明
X[n, d]n 个词,每个 d 维
W_q / W_k / W_v[d_k, d]投影矩阵
Q / K / V[n, d_k]投影后的维度
S = QKᵀ[n, n]每个词对每个词的分数
输出[n, d_k]最后还要再投影回 [n, d]

d_k 通常取 d / h(h 是头数),这样多头拼起来正好还是 d 维——第 4 章会用到这个关系。


3.4 三个投影的完整注意力 ​

python
def attention(x, W_q, W_k, W_v, W_o, causal=False):
    d_k = W_q.weight.shape[0]
    q, k, v = x @ W_q.weight.T, x @ W_k.weight.T, x @ W_v.weight.T
    s = q @ k.T / math.sqrt(d_k)
    if causal:
        s = s.masked_fill(torch.triu(torch.ones_like(s), 1).bool(), float("-inf"))
    w = torch.softmax(s, dim=-1)
    return (w @ v) @ W_o.weight.T          # W_o: 把 d_k 维投回 d 维

和上一章的差别只有两处:x @ x.T 变成 q @ k.T,w @ x 变成 w @ v。其余一字未改——分数的来源变了,聚合的对象变了。


3.5 形状流转 ​

这张图值得记住的形状有两个:n × n 的分数矩阵(它的规模随上下文长度平方增长)与 n × d_k 的输出。

前者是第 8 章算显存时的一个伏笔:上下文翻一倍,这张表的面积翻四倍。


3.6 为什么要 bias=False ​

常见做法是不加偏置。原因不复杂:这些投影只做"换个坐标系看同一个向量",平移量没有额外意义,而且省参数、少一层数值不稳定来源。有些实现仍保留偏置,不影响理解。


本章小结 ​

要点说明
问题对称分数 + 单一视角,表达不了非对等关系
三角色Q 找什么、K 被什么找到、V 提供什么
来源都来自同一个 X,乘三个不同的矩阵
形状[n,d] → [n,d_k],分数 [n,n]
d_k通常等于 d / 头数
不变打分 → 缩放 → 掩码 → softmax → 加权,流程没变

下一章 ​

一组 Q/K/V 只能看一种关系。多头就是同时开几组,让不同的"头"各自负责不同的关系。

本文阅读--次|全站访问--次|访客--人