第 6 章:速度、上下文与并发
本地模型最容易让人失望的不是质量,是"它好像在想,其实是在搬数据"。
学习目标
- 用两个指标衡量本地模型快不快:首字延迟、tok/s
- 知道上下文长度在哪个版本、按什么规则决定默认值
- 理解并发为什么会排队,调
OLLAMA_NUM_PARALLEL的代价是什么 - 五招把手感调回来,按代价排序
6.1 三个指标,别混在一起谈
"快不快"其实是三件事:
| 指标 | 指的是 | 典型值 | 什么时候最在意 |
|---|---|---|---|
| 首字延迟 | 从发请求到吐第一个字 | GPU 0.3–1 s;CPU 2–5 s | 交互式对话、流式界面 |
| 生成速度 | 每秒出多少 token(tok/s) | GPU 30–60;CPU 3–8 | 长回答、批量处理 |
| 并发吞吐 | 同时 5 个请求时总耗时 | 取决于并行数 | 做服务给别人用 |
只测一个数会误判。比如首字延迟 1 秒感觉还行,但 tok/s 只有 5,一段 300 字的回答要等一分钟——体验照样很差。
6.2 上下文:默认不是你说了算
新版 Ollama 会按显存自动决定默认上下文:
| 显存 | 默认上下文 |
|---|---|
| 小于 24 GiB | 4k |
| 24–48 GiB | 32k |
| 48 GiB 以上 | 256k |
想改默认值,用环境变量:
OLLAMA_CONTEXT_LENGTH=8192 ollama serve也可以只对某个请求生效,在请求里传 num_ctx(原生接口的 options 字段):
curl http://localhost:11434/api/chat -d '{
"model": "qwen2.5:7b",
"messages": [{"role":"user","content":"读一下这段长文"}],
"options": {"num_ctx": 8192},
"stream": false
}'调大的代价是双向的:KV cache 线性增长(第 2 章),速度也会下降——注意力计算量和上下文长度是超线性的。日常对话 4k 足够,长文档才上 8k–16k,别无脑拉满。
老版本默认固定 4096,新版本改成按显存自动。看到别人说"默认 4096"不一定是错,可能就是版本不同。用
ollama show或ollama ps看当前实例的实际值最稳。
6.3 并发:默认一次只干一件事
OLLAMA_NUM_PARALLEL 默认是 1。这意味着同时来两个请求,第二个会排队等第一个跑完。
要并行,设环境变量:
OLLAMA_NUM_PARALLEL=2 ollama serve代价很容易被忽略:并行数 × 上下文长度,共同决定 KV cache 的预分配。设成 4、上下文 8k,KV cache 可能要按 32k 的总量预留——本来跑得动的模型,一下就跑不动了。
| 并行数 | 显存代价 | 适用 |
|---|---|---|
| 1(默认) | 最省 | 单人使用、本地开发 |
| 2–4 | 中 | 小团队共享、轻量服务 |
| 8 以上 | 高 | 需要算清楚 KV 总量,通常该上专用推理框架 |
另一个相关变量是 OLLAMA_MAX_LOADED_MODELS:同时能加载几个不同模型,默认是 GPU 数量的 3 倍(纯 CPU 推理为 3)。加载多个模型会抢显存,个人机器建议就设 1。
6.4 自己测一遍,别信感觉
原生接口的返回里有现成的两个数:
{"total_duration": 4821331200, "eval_count": 38}total_duration单位是纳秒;eval_count是生成的 token 数。
生成速度 ≈ eval_count ÷ (total_duration / 1e9)上面这组数就是 38 ÷ 4.82 ≈ 7.9 tok/s。测的时候注意:第一次调用包含模型加载时间,要跑第二遍才是纯推理速度。
命令行也有更省事的办法:
ollama run qwen2.5:7b --verbose "写一段 200 字的说明"结束时会打印 eval rate,直接就是 tok/s。
6.5 五招提速,按代价排
- 让模型留在显存里:
OLLAMA_KEEP_ALIVE=30m,避免每次冷启动; - 缩短输出:在 prompt 里限制字数,比任何硬件升级都有效;
- 降上下文:4k 而不是 32k,速度与显存双收益;
- 确认没有 offload:
ollama ps里PROCESSOR必须是100% GPU; - 降量化或换小模型:q4 换 q3、7B 换 3B,质量会掉,最后才用。
注意第 4 条:很多人以为自己在"用 GPU 跑",实际 ollama ps 显示 40/60 CPU/GPU,速度慢的根因在这里,不是模型不行。
本章小结
| 要点 | 说明 |
|---|---|
| 三个指标 | 首字延迟、tok/s、并发吞吐,要分开看 |
| 默认上下文 | 新版按显存自动:<24G 为 4k,24–48G 为 32k |
| 调上下文 | OLLAMA_CONTEXT_LENGTH 全局,num_ctx 单请求 |
| 并发默认 | OLLAMA_NUM_PARALLEL=1,第二个请求排队 |
| 并发代价 | 并行数 × 上下文决定 KV 预分配,显存可能不够 |
| 测速方法 | eval_count ÷ total_duration(秒),或用 --verbose |
下一章
到这里,本地模型已经能稳定对话了。但对话只是"你问它答",真正让它有用的是把你的资料喂给它——下一章讲 embedding,这是 RAG 的第一块地基。