第 8 章:参数量与显存估算
前七章讲机制,这一章换成钱。同样一个模型,"能跑起来"和"跑得省钱"之间差的就是这几个公式。
学习目标
- 会用三个公式估算参数量、权重显存、KV cache
- 明白为什么上下文长度直接决定显存与成本
- 知道 GQA 为什么能省显存(第 4 章的伏笔)
- 能把估算结果接到 Lv5 的成本模型上
8.1 参数量的三块
| 部分 | 公式 | 说明 |
|---|---|---|
| embedding | vocab × d | 词表 × 维度 |
| Transformer 层 | 12 × d² × N | 第 6 章的结论 |
| 输出层 lm_head | vocab × d | 常与 embedding 共享权重 |
总参数 ≈ 12 × d² × N + vocab × d (共享时只加一次)举例(数量级感受即可):
| 配置 | 估算 | 说明 |
|---|---|---|
| d=768, N=12, vocab=5万 | 约 1.2 亿 | BERT-base 量级 |
| d=1024, N=24, vocab=5万 | 约 3.5 亿 | 小模型 |
| d=4096, N=32, vocab=12.8万 | 约 70 亿 | 8B 级 |
GQA 会让注意力那部分略小于
4d²(K/V 投影变窄),所以实际值比公式小一点。用公式估值时心里留 5%–15% 的余量。
8.2 权重显存:一个参数几个字节
| 精度 | 每参数字节 | 8B 模型权重 |
|---|---|---|
| fp32 | 4 | 约 32 GB |
| fp16 / bf16 | 2 | 约 16 GB |
| int8 | 1 | 约 8 GB |
| int4 | 0.5 | 约 4 GB |
8.1 的公式对用 GQA 的模型会估小一点(算出来 70 亿,实际标称 8B),所以这里统一按"8B 级"说;估算是为了做容量规划,差一两个 GB 不影响判断。
这就是量化存在的理由(Lv6 支线「量化与推理部署」的主题):权重是固定成本,量化是把它按倍数压小。
8.3 KV cache:随长度线性增长
第 7 章说生成时要缓存每个词的 K、V。它的公式是:
KV 显存 = 2 × N层 × kv头数 × d_head × 序列长 × batch × 每元素字节其中 2 是 K 和 V 各一份,kv头数 × d_head 就是 K/V 的实际宽度(GQA 时小于 d)。
算例(8B 级模型,配置取自公开的 Llama 3 8B,具体以官方 config 为准):
| 参数 | 值 |
|---|---|
| 层数 N | 32 |
| KV 头数 | 8 |
| d_head | 128 |
| 序列长 | 8192 |
| batch | 1 |
| 精度 | fp16(2 字节) |
2 × 32 × 8 × 128 × 8192 × 1 × 2
= 1,073,741,824 字节
≈ 1 GiB一个 8K 上下文的会话,光缓存就吃掉 1 GiB——和权重 16 GB 相比不算大,但它随并发和长度线性叠加。
| 场景 | KV cache |
|---|---|
| 1 会话 8K | 1 GiB |
| 8 会话 8K | 8 GiB |
| 1 会话 32K | 4 GiB |
| 8 会话 32K | 32 GiB |
这就是"长上下文 + 高并发"最贵的地方,也是线上必须限制 max_tokens 和并发数的原因。
8.4 那个 n×n 矩阵去哪了
第 3 章埋了一个伏笔:注意力要算一个 n × n 的分数矩阵,上下文翻倍,面积翻四倍。
它确实存在,但现代实现通常不把它整块放进显存:分块计算(FlashAttention 一类)一边算 softmax 一边聚合,避免物化整张表。所以:
| 对象 | 增长方式 | 是否常驻显存 |
|---|---|---|
| 权重 | 固定 | 是 |
| KV cache | 随长度线性 | 是 |
| n×n 分数矩阵 | 随长度平方 | 分块实现下不作为整块存在 |
一句话:平方的复杂度还在,但通常体现为"算得慢",而不是"显存炸"。 显存的主要压力来自 KV cache。
8.5 显存总账
8.6 接到成本模型上
Lv5 的「部署上线与成本控制」讲过按 token 计费;这门课解释了为什么那头会涨:
| 现象 | 机制 | 对策 |
|---|---|---|
| 上下文一长就变慢 | 注意力 O(n²) | 截断、摘要、检索代替全量塞入 |
| 并发一高就 OOM | KV cache 线性叠加 | 限制并发、限制 max_tokens、GQA |
| 权重占满显存 | 参数 × 字节 | 量化、换小模型 |
| 两次同样请求费用不同 | 输出长度不同 | 固定 max_tokens、缓存常见回答 |
8.7 三个可以直接用的估算式
def estimate_params(d, layers, vocab, tie_embedding=True):
body = 12 * d * d * layers
embed = vocab * d
return body + embed * (1 if tie_embedding else 2)
def weight_gb(params, bytes_per=2):
return params * bytes_per / 1e9
def kv_cache_gb(layers, kv_heads, head_dim, seq_len, batch=1, bytes_per=2):
return 2 * layers * kv_heads * head_dim * seq_len * batch * bytes_per / 1e9三个函数,覆盖了"选模型、选卡、定并发"时最常问的三个问题。
本章小结
| 要点 | 说明 |
|---|---|
| 参数量 | 12d²N + vocab × d,GQA 略小 |
| 权重 | 参数 × 每参数字节:fp16 2、int8 1、int4 0.5 |
| KV cache | 2 × 层 × kv头 × d_head × 长度 × batch × 字节 |
| 增长 | KV cache 线性,注意力计算平方 |
| 显存总账 | 权重 + KV + 激活 + 框架余量 |
| 成本 | 权重是固定成本,KV 是随流量变化的变动成本 |
全课回顾
| 章 | 一句话 |
|---|---|
| 1 | 文字先变成一张"词 × 维度"的表 |
| 2 | 注意力 = 打分 → 缩放 → 归一 → 加权 |
| 3 | Q/K/V 把"找什么"和"给什么"分开 |
| 4 | 多头 = 并行几组视角,参数不加价 |
| 5 | 位置靠旋转进去,相对距离自然出现 |
| 6 | Block = 注意力 + FFN + 残差 + 归一 |
| 7 | 生成 = 算下一个字的概率,接回去再来 |
| 8 | 参数与显存都能算,成本从机制来 |
走到这里,你已经能把一个模型"从输入到账单"完整讲一遍。下一步是把它用起来——Lv6 第二门「HuggingFace 上手」会接着这里的 AutoModel 往下走。