第 2 章:硬件够不够,显存怎么算
模型跑不动的第一征兆不是报错,是"等了三分钟还没吐第一个字"。这一章用一道乘法把这件事提前算清楚。
学习目标
- 用参数量和量化位数,估出一个模型的权重大小
- 知道 KV cache 是什么、为什么上下文越长占得越多
- 看到"8GB 显卡"这类配置,能立刻判断能跑多大的模型
- 显存不够时有四种降级手段,知道各自代价
2.1 显存里装了三样东西
一张显卡的显存不是全给模型的。跑推理时,里面同时装着:
| 组成 | 是什么 | 占多少 |
|---|---|---|
| 权重 | 模型参数本身,跑之前先加载进来 | 最大头,几 GB 到几十 GB |
| KV cache | 对话过程中缓存的"注意力账本" | 随上下文长度线性增长 |
| 计算缓冲 | 运行时临时算的中间结果 | 1–2 GB,比较固定 |
下面三节分别算这三块。算完你会发现:权重是死的,KV cache 是活的,所以"能跑多大模型"和"能开多长上下文"是两个问题。
2.2 权重:参数量 × 每参数字节
先记住一个换算:模型参数量以 B(十亿)为单位,每个参数在内存里占多少字节,取决于量化精度。
| 量化 | 每个参数约多少字节 | 7B 权重大小 | 说明 |
|---|---|---|---|
| f16(半精度) | 2.0 | ≈ 14 GB | 原始精度,最占地方 |
| q8_0 | 约 1.05 | ≈ 7.4 GB | 几乎无损 |
| q4_K_M | 约 0.55–0.6 | ≈ 4.4 GB | 最常用的平衡点 |
| q3_K_M | 约 0.45 | ≈ 3.2 GB | 明显退化,不推荐 |
| q2_K | 约 0.35 | ≈ 2.5 GB | 能跑,但回答会乱 |
所以估算公式很简单:
权重大小 ≈ 参数量(B)× 每参数字节几个常见模型的估算值(q4 量化):
| 模型 | 参数量 | 权重估算 | 实际拉取体积 |
|---|---|---|---|
| qwen2.5:7b | 7B | ≈ 4.4 GB | 4.7 GB |
| qwen2.5:14b | 14B | ≈ 8.5 GB | 9 GB 左右 |
| qwen2.5:32b | 32B | ≈ 19 GB | 20 GB 左右 |
| llama3.1:70b | 70B | ≈ 40 GB | 42 GB 左右 |
估算和实际会差 5%–20%,因为不同模型的层数、词表大小、量化实现都不一样。差这一点不影响判断——你要的是"这台机器能不能跑",不是精确到小数点。
2.3 KV cache:上下文越长,账本越厚
模型在读你的话时,会把每一层、每个注意力头的中间状态缓存下来,下次生成时直接复用。这份缓存就是 KV cache。
关键性质:它和上下文长度成正比。粗略经验值(q4 权重、f16 的 KV):
| 模型 | 4k 上下文 | 8k | 32k |
|---|---|---|---|
| 7B | ≈ 0.6 GB | ≈ 1.2 GB | ≈ 4.5 GB |
| 14B | ≈ 1.1 GB | ≈ 2.2 GB | ≈ 8 GB |
| 32B | ≈ 2.5 GB | ≈ 5 GB | ≈ 20 GB |
这张表解释了一个常见困惑:"我 8GB 显卡跑 7B 明明够,怎么一开长文档就崩?"——权重 4.4 GB 是固定的,但你把上下文从 4k 拉到 32k,KV cache 就从 0.6 GB 涨到 4.5 GB,加起来超过 8GB。
有些版本支持把 KV cache 也量化(比如
OLLAMA_KV_CACHE_TYPE=q4_0),能省一半,但精度会掉。生产上不建议拿它救命,只适合临时试。
2.4 一张表:你的配置能跑多大
把三块加起来,再加上 1–2 GB 缓冲,就是总需求。对照下表看:
| 显存 | 舒服跑 | 勉强跑(靠 offload) | 别想 |
|---|---|---|---|
| 6 GB(GTX 1660 / 2060) | 7B q4,8k 以内 | 14B q4,短上下文 | 32B |
| 8 GB(RTX 3060 Ti / 4060) | 7B q4,16k | 14B q4,8k | 32B |
| 12 GB(RTX 3060 12G / 4070) | 14B q4,16k | 32B q4,短上下文 | 70B |
| 16 GB(RTX 4060 Ti 16G / 4070 Ti S) | 14B q4,32k | 32B q4,16k | 70B |
| 24 GB(RTX 3090 / 4090) | 32B q4,32k | 70B q4,短上下文 | 70B 长上下文 |
| 48 GB 以上(A6000 / 双卡) | 70B q4 | — | — |
| Apple 统一内存 16 GB | 7B q4 | 14B q4 短上下文 | 32B |
| Apple 统一内存 32 GB | 14B q4,32k | 32B q4 短上下文 | 70B |
| 纯 CPU + 32 GB 内存 | 7B q4(慢,见第 6 章) | 14B q4(很慢) | 32B 以上 |
Apple 的统一内存和显卡显存不完全等价:GPU 能用的部分通常比标称少一些(系统要留一部分)。表里已经按保守估法算了。
2.5 显存不够,四种降级手段
按代价从小到大排:
- 缩上下文:把
num_ctx从 32k 降到 8k。代价是长文档读不了,速度反而变快; - 降量化:q4 → q3。代价是回答质量下降,尤其数学和代码;
- offload 到 CPU:Ollama 默认就会做,把放不下的层放到内存里用 CPU 算。代价是速度断崖式下跌,可能从 40 tok/s 掉到 5 tok/s;
- 换小模型:7B 换成 3B。代价是能力明显变弱,但至少能跑。
实际选择顺序是 1 → 4 → 2 → 3。offload 放最后,因为它带来的体验下降最直观:你以为在等模型思考,其实在等 CPU 搬运。
注意判断入口不是"报错",而是 ollama ps——很多慢其实是 offload,不是模型不行。
2.6 怎么验证实际占用
估算只是起点,跑起来要看真实数字:
# 看模型加载到哪、占了多少显存(Ollama 自带)
ollama ps
# 看显卡整体占用
nvidia-smi
# Windows 任务管理器 → 性能 → GPU → 专用 GPU 内存ollama ps 的输出里有一列 PROCESSOR,会写 100% GPU 或 60/40 CPU/GPU——后者就是 offload 了,速度慢的原因一眼可见。
本章小结
| 要点 | 说明 |
|---|---|
| 显存三块 | 权重(固定)+ KV cache(随上下文涨)+ 缓冲(1–2 GB) |
| 权重估算 | 参数量 × 每参数字节,q4 约 0.55–0.6 |
| KV cache | 与上下文长度成正比,32k 时可能比权重还大 |
| 判断方法 | 权重 + KV + 缓冲,和显存比 |
| 降级顺序 | 缩上下文 → 换小模型 → 降量化 → offload |
| 验证手段 | ollama ps 看 PROCESSOR 列,nvidia-smi 看总量 |
下一章
算清楚了,开始装。下一章从零把 Ollama 装好、拉下第一个模型、在命令行里问出第一句话,顺带把五个最常见的报错处理掉。