第 6 章:一个完整的 Block
注意力负责"词与词之间交流",前馈网络负责"每个词各自消化"。残差和归一化负责让这两件事叠几十层还不崩。
学习目标
- 说出一个 Block 里的四个部件,以及各自解决什么问题
- 理解残差为什么是深层网络的必需品
- 知道 Pre-LN 与 Post-LN 的差别(以及为什么现在多用前者)
- 会算一层的参数量:约 12d²
6.1 Block 的两个子层
一个 Block 就这两件事,重复 N 次。"深"指的是 N 大(常见 12 到 100 多层)。
6.2 残差:深层的必需品
没有残差的深层网络有两个毛病:梯度传不回去、信息逐层失真。加一条"原样传过去"的旁路,两个毛病都缓解:
text
x = x + 子层(x) # 子层只需要学"增量"这也解释了一个现象:模型可以把某一层"关掉"(输出接近 0),而不影响整体——因为残差保证了主路还在。这直接支持了第 4 章"剪掉一些头几乎不掉效果"的观察。
6.3 归一化:让数值别跑飞
| 方法 | 做什么 | 现状 |
|---|---|---|
| LayerNorm | 对每个词的 d 维做均值/方差归一 | 通用 |
| RMSNorm | 只用均方根,不减均值 | 现代模型常用,省一点算力 |
放置位置:
| 方式 | 公式 | 特点 |
|---|---|---|
| Post-LN | x = LN(x + 子层(x)) | 原始论文,训练要小心 warmup |
| Pre-LN | x = x + 子层(LN(x)) | 训练更稳,现在是默认 |
记住结论就行:Pre-LN 让"主路"始终是干净的原值,子层的输出只是叠加,所以深层训练不容易炸。
6.4 前馈网络:每个词各自消化
注意力是"横向交流"(词与词之间),FFN 是"纵向加工"(每个词自己过一遍小网络):
text
FFN(x) = W2 · 激活(W1 · x)
[d → 4d → d]| 细节 | 常见取值 |
|---|---|
| 中间维度 | 4d(原始),SwiGLU 变体常取约 8d/3 以保持参数量 |
| 激活 | GELU(经典)、SwiGLU(较新) |
| 作用 | 引入非线性;把注意力汇集的混合信息"加工成特征" |
一个容易忽略的点:FFN 的参数比注意力还多。一层注意力约 4d²,一层 FFN(4d 中间层)约 8d²。
6.5 完整公式
python
def block(x, attn, ffn, norm1, norm2):
x = x + attn(norm1(x)) # 子层一:注意力
x = x + ffn(norm2(x)) # 子层二:前馈
return x
# 叠 N 次
for _ in range(N):
x = block(x, attn, ffn, norm1, norm2)6.6 参数量:一层约 12d²
| 部件 | 参数 |
|---|---|
| 注意力的四个投影 | 4d² |
| FFN(d → 4d → d) | 8d² |
| 归一化 | 可忽略(2d 量级) |
| 合计 | 约 12d² 每层 |
于是整模型(不算 embedding):
text
参数 ≈ 12 × d² × N举例:d = 768、N = 12 → 约 8500 万;d = 4096、N = 32 → 约 64 亿(不含 embedding 与输出层)。
第 8 章会在这个公式上加上词表那部分,得到完整估算。
6.7 一个能跑的小 Block
python
import torch, torch.nn as nn
class Block(nn.Module):
def __init__(self, d, h):
super().__init__()
self.n1 = nn.LayerNorm(d)
self.attn = nn.MultiheadAttention(d, h, batch_first=True)
self.n2 = nn.LayerNorm(d)
self.ffn = nn.Sequential(nn.Linear(d, 4*d), nn.GELU(), nn.Linear(4*d, d))
def forward(self, x):
a, _ = self.attn(self.n1(x), self.n1(x), self.n1(x), need_weights=False)
x = x + a
return x + self.ffn(self.n2(x))这里借用了框架的
MultiheadAttention只为跑通;前四章手写的那版才是理解的关键。两者形状一致。
6.8 一次前向在 Block 内怎么走
本章小结
| 要点 | 说明 |
|---|---|
| 两个子层 | 注意力(横向交流)+ FFN(纵向加工) |
| 残差 | 子层只学增量,深层才训得动 |
| 归一化 | Pre-LN 更稳,RMSNorm 更省 |
| FFN | d → 4d → d,参数比注意力多 |
| 参数 | 每层约 12d²,总量约 12d²N |
| 深度 | N 常见 12 到 100 多层 |
下一章
Block 叠完了,输出还是一堆向量。怎么从向量变成"下一个字"?这一章讲采样,以及为什么同一个问题两次答案不同。