Skip to content

第 7 章:生成一个字的全过程 ​

模型输出的不是"一句话",而是"下一个字的一堆分数"。把它变成字、接回末尾、再走一遍——这就是生成。


学习目标 ​

  • 看懂 logits → 概率 → 采样这条链路
  • 说清 temperature、top-k、top-p 各自在调什么
  • 理解自回归:为什么一个字一个字地出
  • 明白 KV cache 为什么能显著加速,以及它贵在哪

7.1 从最后一层到词表 ​

N 个 Block 走完,每个词都变成一个 d 维向量。要预测"下一个词",只关心最后一个位置:

python
h = out.hidden_states[-1]        # [1, n, d]
last = h[0, -1]                  # [d] 最后一个词的向量

logits = lm_head(last)           # [vocab] 每个候选词的分数

lm_head 是一个 d × vocab 的矩阵。注意它的规模:vocab 常是十几万,所以这一层本身就有几千万参数(第 8 章会算)。


7.2 分数怎么变成概率 ​

logits 是任意实数,可能有负数,也可能很大。softmax 把它们变成"加起来等于 1"的概率:

text
p_i = exp(z_i) / Σ exp(z_j)

用一个只有 5 个候选的小词表演示:

候选logitsexp概率
今天2.07.390.61
天气1.02.720.22
不错0.51.650.14
明天-0.50.610.05
昨天-1.00.370.03
同一个 logits,三种采样策略给出三种结果原始概率分布今天 0.61天气 0.22不错 0.14明天 0.05昨天 0.03① 贪心 greedy永远选概率最高的那个结果:今天 …(稳定、可复现)缺点:容易重复、呆板② 调温度 temperaturelogits 先除以 T 再 softmaxT 小 → 更尖锐(趋近贪心)T 大 → 更平坦(更随机)③ 截断 top-p / top-k按概率从高到低累计累计到 0.9 就截断,只在前几个里抽top-k 则是固定只留 k 个作用:砍掉长尾的荒谬词T = 0.5 时再算一遍:logits 翻倍 → 概率变成 0.84 / 0.11 / 0.04 / 0.006 / 0.002,明显更"敢"选第一个。top-p = 0.9 时:0.61 + 0.22 + 0.14 = 0.97 已超过阈值,于是候选只剩三项,重新归一化后再抽。这就是"同一个问题两次答案不一样"的根源:只要不是贪心,就有随机性。想稳定输出就把温度调到 0。

7.3 自回归:一个字一个字地长 ​

生成的流程是循环:

python
while len < max_new_tokens:
    logits = model(ids)[:, -1]        # 只看最后一位
    next_id = sample(logits)          # 采一个
    ids = torch.cat([ids, next_id])   # 接回末尾
python
# 采样实现(temperature + top-p)
def sample(logits, temperature=0.7, top_p=0.9):
    logits = logits / temperature
    probs = torch.softmax(logits, dim=-1)
    sorted_p, sorted_i = probs.sort(descending=True)
    cum = sorted_p.cumsum(-1)
    keep = cum <= top_p
    keep[..., 0] = True                         # 至少留一个
    sorted_p = torch.where(keep, sorted_p, torch.zeros_like(sorted_p))
    sorted_p = sorted_p / sorted_p.sum(-1, keepdim=True)
    idx = torch.multinomial(sorted_p, 1)
    return sorted_i.gather(-1, idx)

一句话:模型只做一件事——给定前面所有字,算下一个字的概率。所谓"写文章",就是把这件事重复几百次。


7.4 KV cache:为什么能快十倍 ​

第 t 步要算注意力时,前面 t−1 个词的 K、V 其实没有变(它们的输入没变,投影参数也没变)。既然如此,就没必要每步重算。

text
不缓存:每步都重算整段 → 第 t 步要算 t 个词的 QKV
用缓存:只算新词的 QKV,前面直接取缓存
对比每步计算量总计算量(生成长度 T)
不用缓存O(t²)O(T³)
用缓存O(t)O(T²)

代价是显存:每个词的 K、V 都要存着,长度越长占得越多。这就是第 8 章要算的那笔账,也是"上下文越长越贵"的机制来源。

python
past = None
for step in range(max_new):
    out = model(ids[:, -1:], past_key_values=past, use_cache=True)
    past = out.past_key_values            # 每步只喂新词,历史在缓存里

7.5 完整链路 ​

注意那个回到 C 的箭头:每生成一个字,都要重新走一遍所有层。区别只在于有了 KV cache,前面的部分不用重算。


7.6 三个容易混的点 ​

疑问答案
为什么不用一次输出整句?因为训练目标就是"预测下一个词",模型没学过"一次吐一句"
为什么重复?采样策略太保守(温度太低)或模型能力有限;调 top-p 有帮助
缓存会改变结果吗?不会。KV cache 只是省重复计算,数学上等价

本章小结 ​

要点说明
输出最后一层的最后一位 → lm_head → logits
概率softmax 归一化,得到词表分布
采样贪心 / 温度 / top-k / top-p
生成自回归,一个字接一个字
加速KV cache 省掉历史重算,代价是显存
随机非贪心就有随机性,温度 0 才可复现

下一章 ​

把前面所有东西换成数字:这个模型到底有多少参数、要占多少显存、为什么上下文翻倍会让账单跳一档。

本文阅读--次|全站访问--次|访客--人