Skip to content

第 6 章:一个完整的 Block ​

注意力负责"词与词之间交流",前馈网络负责"每个词各自消化"。残差和归一化负责让这两件事叠几十层还不崩。


学习目标 ​

  • 说出一个 Block 里的四个部件,以及各自解决什么问题
  • 理解残差为什么是深层网络的必需品
  • 知道 Pre-LN 与 Post-LN 的差别(以及为什么现在多用前者)
  • 会算一层的参数量:约 12d²

6.1 Block 的两个子层 ​

输入进来,绕两圈出去X(n × d)归一化 Norm多头注意力(含位置旋转)n × n 的分数矩阵在这里产生+残差 ①归一化 Norm前馈网络 FFN← 残差把输入原样加回输出:哪怕子层学得很差,信息也不会丢← 两个子层结构相同:归一化 → 子层 → 加回输入Norm 在前,叫 Pre-LN现在最常见Post-LN 则是先算子层再归一化早期模型多用

一个 Block 就这两件事,重复 N 次。"深"指的是 N 大(常见 12 到 100 多层)。


6.2 残差:深层的必需品 ​

没有残差的深层网络有两个毛病:梯度传不回去、信息逐层失真。加一条"原样传过去"的旁路,两个毛病都缓解:

text
x = x + 子层(x)      # 子层只需要学"增量"

这也解释了一个现象:模型可以把某一层"关掉"(输出接近 0),而不影响整体——因为残差保证了主路还在。这直接支持了第 4 章"剪掉一些头几乎不掉效果"的观察。


6.3 归一化:让数值别跑飞 ​

方法做什么现状
LayerNorm对每个词的 d 维做均值/方差归一通用
RMSNorm只用均方根,不减均值现代模型常用,省一点算力

放置位置:

方式公式特点
Post-LNx = LN(x + 子层(x))原始论文,训练要小心 warmup
Pre-LNx = x + 子层(LN(x))训练更稳,现在是默认

记住结论就行:Pre-LN 让"主路"始终是干净的原值,子层的输出只是叠加,所以深层训练不容易炸。


6.4 前馈网络:每个词各自消化 ​

注意力是"横向交流"(词与词之间),FFN 是"纵向加工"(每个词自己过一遍小网络):

text
FFN(x) = W2 · 激活(W1 · x)
        [d → 4d → d]
细节常见取值
中间维度4d(原始),SwiGLU 变体常取约 8d/3 以保持参数量
激活GELU(经典)、SwiGLU(较新)
作用引入非线性;把注意力汇集的混合信息"加工成特征"

一个容易忽略的点:FFN 的参数比注意力还多。一层注意力约 4d²,一层 FFN(4d 中间层)约 8d²。


6.5 完整公式 ​

python
def block(x, attn, ffn, norm1, norm2):
    x = x + attn(norm1(x))       # 子层一:注意力
    x = x + ffn(norm2(x))        # 子层二:前馈
    return x

# 叠 N 次
for _ in range(N):
    x = block(x, attn, ffn, norm1, norm2)

6.6 参数量:一层约 12d² ​

部件参数
注意力的四个投影4d²
FFN(d → 4d → d)8d²
归一化可忽略(2d 量级)
合计约 12d² 每层

于是整模型(不算 embedding):

text
参数 ≈ 12 × d² × N

举例:d = 768、N = 12 → 约 8500 万;d = 4096、N = 32 → 约 64 亿(不含 embedding 与输出层)。

第 8 章会在这个公式上加上词表那部分,得到完整估算。


6.7 一个能跑的小 Block ​

python
import torch, torch.nn as nn

class Block(nn.Module):
    def __init__(self, d, h):
        super().__init__()
        self.n1 = nn.LayerNorm(d)
        self.attn = nn.MultiheadAttention(d, h, batch_first=True)
        self.n2 = nn.LayerNorm(d)
        self.ffn = nn.Sequential(nn.Linear(d, 4*d), nn.GELU(), nn.Linear(4*d, d))

    def forward(self, x):
        a, _ = self.attn(self.n1(x), self.n1(x), self.n1(x), need_weights=False)
        x = x + a
        return x + self.ffn(self.n2(x))

这里借用了框架的 MultiheadAttention 只为跑通;前四章手写的那版才是理解的关键。两者形状一致。


6.8 一次前向在 Block 内怎么走 ​


本章小结 ​

要点说明
两个子层注意力(横向交流)+ FFN(纵向加工)
残差子层只学增量,深层才训得动
归一化Pre-LN 更稳,RMSNorm 更省
FFNd → 4d → d,参数比注意力多
参数每层约 12d²,总量约 12d²N
深度N 常见 12 到 100 多层

下一章 ​

Block 叠完了,输出还是一堆向量。怎么从向量变成"下一个字"?这一章讲采样,以及为什么同一个问题两次答案不同。

本文阅读--次|全站访问--次|访客--人