第 7 章:生成一个字的全过程
模型输出的不是"一句话",而是"下一个字的一堆分数"。把它变成字、接回末尾、再走一遍——这就是生成。
学习目标
- 看懂 logits → 概率 → 采样这条链路
- 说清 temperature、top-k、top-p 各自在调什么
- 理解自回归:为什么一个字一个字地出
- 明白 KV cache 为什么能显著加速,以及它贵在哪
7.1 从最后一层到词表
N 个 Block 走完,每个词都变成一个 d 维向量。要预测"下一个词",只关心最后一个位置:
python
h = out.hidden_states[-1] # [1, n, d]
last = h[0, -1] # [d] 最后一个词的向量
logits = lm_head(last) # [vocab] 每个候选词的分数lm_head 是一个 d × vocab 的矩阵。注意它的规模:vocab 常是十几万,所以这一层本身就有几千万参数(第 8 章会算)。
7.2 分数怎么变成概率
logits 是任意实数,可能有负数,也可能很大。softmax 把它们变成"加起来等于 1"的概率:
text
p_i = exp(z_i) / Σ exp(z_j)用一个只有 5 个候选的小词表演示:
| 候选 | logits | exp | 概率 |
|---|---|---|---|
| 今天 | 2.0 | 7.39 | 0.61 |
| 天气 | 1.0 | 2.72 | 0.22 |
| 不错 | 0.5 | 1.65 | 0.14 |
| 明天 | -0.5 | 0.61 | 0.05 |
| 昨天 | -1.0 | 0.37 | 0.03 |
7.3 自回归:一个字一个字地长
生成的流程是循环:
python
while len < max_new_tokens:
logits = model(ids)[:, -1] # 只看最后一位
next_id = sample(logits) # 采一个
ids = torch.cat([ids, next_id]) # 接回末尾python
# 采样实现(temperature + top-p)
def sample(logits, temperature=0.7, top_p=0.9):
logits = logits / temperature
probs = torch.softmax(logits, dim=-1)
sorted_p, sorted_i = probs.sort(descending=True)
cum = sorted_p.cumsum(-1)
keep = cum <= top_p
keep[..., 0] = True # 至少留一个
sorted_p = torch.where(keep, sorted_p, torch.zeros_like(sorted_p))
sorted_p = sorted_p / sorted_p.sum(-1, keepdim=True)
idx = torch.multinomial(sorted_p, 1)
return sorted_i.gather(-1, idx)一句话:模型只做一件事——给定前面所有字,算下一个字的概率。所谓"写文章",就是把这件事重复几百次。
7.4 KV cache:为什么能快十倍
第 t 步要算注意力时,前面 t−1 个词的 K、V 其实没有变(它们的输入没变,投影参数也没变)。既然如此,就没必要每步重算。
text
不缓存:每步都重算整段 → 第 t 步要算 t 个词的 QKV
用缓存:只算新词的 QKV,前面直接取缓存| 对比 | 每步计算量 | 总计算量(生成长度 T) |
|---|---|---|
| 不用缓存 | O(t²) | O(T³) |
| 用缓存 | O(t) | O(T²) |
代价是显存:每个词的 K、V 都要存着,长度越长占得越多。这就是第 8 章要算的那笔账,也是"上下文越长越贵"的机制来源。
python
past = None
for step in range(max_new):
out = model(ids[:, -1:], past_key_values=past, use_cache=True)
past = out.past_key_values # 每步只喂新词,历史在缓存里7.5 完整链路
注意那个回到 C 的箭头:每生成一个字,都要重新走一遍所有层。区别只在于有了 KV cache,前面的部分不用重算。
7.6 三个容易混的点
| 疑问 | 答案 |
|---|---|
| 为什么不用一次输出整句? | 因为训练目标就是"预测下一个词",模型没学过"一次吐一句" |
| 为什么重复? | 采样策略太保守(温度太低)或模型能力有限;调 top-p 有帮助 |
| 缓存会改变结果吗? | 不会。KV cache 只是省重复计算,数学上等价 |
本章小结
| 要点 | 说明 |
|---|---|
| 输出 | 最后一层的最后一位 → lm_head → logits |
| 概率 | softmax 归一化,得到词表分布 |
| 采样 | 贪心 / 温度 / top-k / top-p |
| 生成 | 自回归,一个字接一个字 |
| 加速 | KV cache 省掉历史重算,代价是显存 |
| 随机 | 非贪心就有随机性,温度 0 才可复现 |
下一章
把前面所有东西换成数字:这个模型到底有多少参数、要占多少显存、为什么上下文翻倍会让账单跳一档。