Skip to content

第 2 章:硬件够不够,显存怎么算 ​

模型跑不动的第一征兆不是报错,是"等了三分钟还没吐第一个字"。这一章用一道乘法把这件事提前算清楚。


学习目标 ​

  • 用参数量和量化位数,估出一个模型的权重大小
  • 知道 KV cache 是什么、为什么上下文越长占得越多
  • 看到"8GB 显卡"这类配置,能立刻判断能跑多大的模型
  • 显存不够时有四种降级手段,知道各自代价

2.1 显存里装了三样东西 ​

一张显卡的显存不是全给模型的。跑推理时,里面同时装着:

组成是什么占多少
权重模型参数本身,跑之前先加载进来最大头,几 GB 到几十 GB
KV cache对话过程中缓存的"注意力账本"随上下文长度线性增长
计算缓冲运行时临时算的中间结果1–2 GB,比较固定
显存预算:权重 + KV cache + 计算缓冲7B · q4 · 4k≈ 6 GB14B · q4 · 8k≈ 13 GB≈ 22 GB32B · q4 · 8k权重KV cache缓冲32B 需要 24 GB 级显卡;多数人的 8 GB 卡,天花板在第一行。

下面三节分别算这三块。算完你会发现:权重是死的,KV cache 是活的,所以"能跑多大模型"和"能开多长上下文"是两个问题。


2.2 权重:参数量 × 每参数字节 ​

先记住一个换算:模型参数量以 B(十亿)为单位,每个参数在内存里占多少字节,取决于量化精度。

量化每个参数约多少字节7B 权重大小说明
f16(半精度)2.0≈ 14 GB原始精度,最占地方
q8_0约 1.05≈ 7.4 GB几乎无损
q4_K_M约 0.55–0.6≈ 4.4 GB最常用的平衡点
q3_K_M约 0.45≈ 3.2 GB明显退化,不推荐
q2_K约 0.35≈ 2.5 GB能跑,但回答会乱

所以估算公式很简单:

权重大小 ≈ 参数量(B)× 每参数字节

几个常见模型的估算值(q4 量化):

模型参数量权重估算实际拉取体积
qwen2.5:7b7B≈ 4.4 GB4.7 GB
qwen2.5:14b14B≈ 8.5 GB9 GB 左右
qwen2.5:32b32B≈ 19 GB20 GB 左右
llama3.1:70b70B≈ 40 GB42 GB 左右

估算和实际会差 5%–20%,因为不同模型的层数、词表大小、量化实现都不一样。差这一点不影响判断——你要的是"这台机器能不能跑",不是精确到小数点。


2.3 KV cache:上下文越长,账本越厚 ​

模型在读你的话时,会把每一层、每个注意力头的中间状态缓存下来,下次生成时直接复用。这份缓存就是 KV cache。

关键性质:它和上下文长度成正比。粗略经验值(q4 权重、f16 的 KV):

模型4k 上下文8k32k
7B≈ 0.6 GB≈ 1.2 GB≈ 4.5 GB
14B≈ 1.1 GB≈ 2.2 GB≈ 8 GB
32B≈ 2.5 GB≈ 5 GB≈ 20 GB

这张表解释了一个常见困惑:"我 8GB 显卡跑 7B 明明够,怎么一开长文档就崩?"——权重 4.4 GB 是固定的,但你把上下文从 4k 拉到 32k,KV cache 就从 0.6 GB 涨到 4.5 GB,加起来超过 8GB。

有些版本支持把 KV cache 也量化(比如 OLLAMA_KV_CACHE_TYPE=q4_0),能省一半,但精度会掉。生产上不建议拿它救命,只适合临时试。


2.4 一张表:你的配置能跑多大 ​

把三块加起来,再加上 1–2 GB 缓冲,就是总需求。对照下表看:

显存舒服跑勉强跑(靠 offload)别想
6 GB(GTX 1660 / 2060)7B q4,8k 以内14B q4,短上下文32B
8 GB(RTX 3060 Ti / 4060)7B q4,16k14B q4,8k32B
12 GB(RTX 3060 12G / 4070)14B q4,16k32B q4,短上下文70B
16 GB(RTX 4060 Ti 16G / 4070 Ti S)14B q4,32k32B q4,16k70B
24 GB(RTX 3090 / 4090)32B q4,32k70B q4,短上下文70B 长上下文
48 GB 以上(A6000 / 双卡)70B q4——
Apple 统一内存 16 GB7B q414B q4 短上下文32B
Apple 统一内存 32 GB14B q4,32k32B q4 短上下文70B
纯 CPU + 32 GB 内存7B q4(慢,见第 6 章)14B q4(很慢)32B 以上

Apple 的统一内存和显卡显存不完全等价:GPU 能用的部分通常比标称少一些(系统要留一部分)。表里已经按保守估法算了。


2.5 显存不够,四种降级手段 ​

按代价从小到大排:

  1. 缩上下文:把 num_ctx 从 32k 降到 8k。代价是长文档读不了,速度反而变快;
  2. 降量化:q4 → q3。代价是回答质量下降,尤其数学和代码;
  3. offload 到 CPU:Ollama 默认就会做,把放不下的层放到内存里用 CPU 算。代价是速度断崖式下跌,可能从 40 tok/s 掉到 5 tok/s;
  4. 换小模型:7B 换成 3B。代价是能力明显变弱,但至少能跑。

实际选择顺序是 1 → 4 → 2 → 3。offload 放最后,因为它带来的体验下降最直观:你以为在等模型思考,其实在等 CPU 搬运。

注意判断入口不是"报错",而是 ollama ps——很多慢其实是 offload,不是模型不行。


2.6 怎么验证实际占用 ​

估算只是起点,跑起来要看真实数字:

bash
# 看模型加载到哪、占了多少显存(Ollama 自带)
ollama ps

# 看显卡整体占用
nvidia-smi

# Windows 任务管理器 → 性能 → GPU → 专用 GPU 内存

ollama ps 的输出里有一列 PROCESSOR,会写 100% GPU 或 60/40 CPU/GPU——后者就是 offload 了,速度慢的原因一眼可见。


本章小结 ​

要点说明
显存三块权重(固定)+ KV cache(随上下文涨)+ 缓冲(1–2 GB)
权重估算参数量 × 每参数字节,q4 约 0.55–0.6
KV cache与上下文长度成正比,32k 时可能比权重还大
判断方法权重 + KV + 缓冲,和显存比
降级顺序缩上下文 → 换小模型 → 降量化 → offload
验证手段ollama ps 看 PROCESSOR 列,nvidia-smi 看总量

下一章 ​

算清楚了,开始装。下一章从零把 Ollama 装好、拉下第一个模型、在命令行里问出第一句话,顺带把五个最常见的报错处理掉。

本文阅读--次|全站访问--次|访客--人