Skip to content

第 8 章:参数量与显存估算 ​

前七章讲机制,这一章换成钱。同样一个模型,"能跑起来"和"跑得省钱"之间差的就是这几个公式。


学习目标 ​

  • 会用三个公式估算参数量、权重显存、KV cache
  • 明白为什么上下文长度直接决定显存与成本
  • 知道 GQA 为什么能省显存(第 4 章的伏笔)
  • 能把估算结果接到 Lv5 的成本模型上

8.1 参数量的三块 ​

部分公式说明
embeddingvocab × d词表 × 维度
Transformer 层12 × d² × N第 6 章的结论
输出层 lm_headvocab × d常与 embedding 共享权重
text
总参数 ≈ 12 × d² × N + vocab × d        (共享时只加一次)

举例(数量级感受即可):

配置估算说明
d=768, N=12, vocab=5万约 1.2 亿BERT-base 量级
d=1024, N=24, vocab=5万约 3.5 亿小模型
d=4096, N=32, vocab=12.8万约 70 亿8B 级

GQA 会让注意力那部分略小于 4d²(K/V 投影变窄),所以实际值比公式小一点。用公式估值时心里留 5%–15% 的余量。


8.2 权重显存:一个参数几个字节 ​

精度每参数字节8B 模型权重
fp324约 32 GB
fp16 / bf162约 16 GB
int81约 8 GB
int40.5约 4 GB

8.1 的公式对用 GQA 的模型会估小一点(算出来 70 亿,实际标称 8B),所以这里统一按"8B 级"说;估算是为了做容量规划,差一两个 GB 不影响判断。

这就是量化存在的理由(Lv6 支线「量化与推理部署」的主题):权重是固定成本,量化是把它按倍数压小。


8.3 KV cache:随长度线性增长 ​

第 7 章说生成时要缓存每个词的 K、V。它的公式是:

text
KV 显存 = 2 × N层 × kv头数 × d_head × 序列长 × batch × 每元素字节

其中 2 是 K 和 V 各一份,kv头数 × d_head 就是 K/V 的实际宽度(GQA 时小于 d)。

算例(8B 级模型,配置取自公开的 Llama 3 8B,具体以官方 config 为准):

参数值
层数 N32
KV 头数8
d_head128
序列长8192
batch1
精度fp16(2 字节)
text
2 × 32 × 8 × 128 × 8192 × 1 × 2
= 1,073,741,824 字节
≈ 1 GiB

一个 8K 上下文的会话,光缓存就吃掉 1 GiB——和权重 16 GB 相比不算大,但它随并发和长度线性叠加。

场景KV cache
1 会话 8K1 GiB
8 会话 8K8 GiB
1 会话 32K4 GiB
8 会话 32K32 GiB

这就是"长上下文 + 高并发"最贵的地方,也是线上必须限制 max_tokens 和并发数的原因。


8.4 那个 n×n 矩阵去哪了 ​

第 3 章埋了一个伏笔:注意力要算一个 n × n 的分数矩阵,上下文翻倍,面积翻四倍。

它确实存在,但现代实现通常不把它整块放进显存:分块计算(FlashAttention 一类)一边算 softmax 一边聚合,避免物化整张表。所以:

对象增长方式是否常驻显存
权重固定是
KV cache随长度线性是
n×n 分数矩阵随长度平方分块实现下不作为整块存在

一句话:平方的复杂度还在,但通常体现为"算得慢",而不是"显存炸"。 显存的主要压力来自 KV cache。


8.5 显存总账 ​

跑一个模型,显存被四块东西分掉① 权重固定成本:参数 × 每参数字节8B fp16 ≈ 16 GB量化能把它压到 1/4 甚至 1/8② KV cache随长度线性、随并发线性8K / 单会话 ≈ 1 GiB线上最容易被低估的一块③ 激活与临时随 batch 与长度增长分块实现下可控④ 框架与碎片开销显存池、CUDA context、缓存碎片——实际部署常留 10%–20% 余量,不给就 OOM粗算顺序:权重决定"能不能装下",KV cache 决定"能同时服务几个"。前者是固定投入,后者是随流量变化的变动成本——这也是 Lv5 里"单位成本"的来源。先把权重算出来,再按并发 × 上下文算 KV cache,两个相加才是真实需求。

8.6 接到成本模型上 ​

Lv5 的「部署上线与成本控制」讲过按 token 计费;这门课解释了为什么那头会涨:

现象机制对策
上下文一长就变慢注意力 O(n²)截断、摘要、检索代替全量塞入
并发一高就 OOMKV cache 线性叠加限制并发、限制 max_tokens、GQA
权重占满显存参数 × 字节量化、换小模型
两次同样请求费用不同输出长度不同固定 max_tokens、缓存常见回答

8.7 三个可以直接用的估算式 ​

python
def estimate_params(d, layers, vocab, tie_embedding=True):
    body = 12 * d * d * layers
    embed = vocab * d
    return body + embed * (1 if tie_embedding else 2)

def weight_gb(params, bytes_per=2):
    return params * bytes_per / 1e9

def kv_cache_gb(layers, kv_heads, head_dim, seq_len, batch=1, bytes_per=2):
    return 2 * layers * kv_heads * head_dim * seq_len * batch * bytes_per / 1e9

三个函数,覆盖了"选模型、选卡、定并发"时最常问的三个问题。


本章小结 ​

要点说明
参数量12d²N + vocab × d,GQA 略小
权重参数 × 每参数字节:fp16 2、int8 1、int4 0.5
KV cache2 × 层 × kv头 × d_head × 长度 × batch × 字节
增长KV cache 线性,注意力计算平方
显存总账权重 + KV + 激活 + 框架余量
成本权重是固定成本,KV 是随流量变化的变动成本

全课回顾 ​

章一句话
1文字先变成一张"词 × 维度"的表
2注意力 = 打分 → 缩放 → 归一 → 加权
3Q/K/V 把"找什么"和"给什么"分开
4多头 = 并行几组视角,参数不加价
5位置靠旋转进去,相对距离自然出现
6Block = 注意力 + FFN + 残差 + 归一
7生成 = 算下一个字的概率,接回去再来
8参数与显存都能算,成本从机制来

走到这里,你已经能把一个模型"从输入到账单"完整讲一遍。下一步是把它用起来——Lv6 第二门「HuggingFace 上手」会接着这里的 AutoModel 往下走。

本文阅读--次|全站访问--次|访客--人