Skip to content

第 6 章:速度、上下文与并发 ​

本地模型最容易让人失望的不是质量,是"它好像在想,其实是在搬数据"。


学习目标 ​

  • 用两个指标衡量本地模型快不快:首字延迟、tok/s
  • 知道上下文长度在哪个版本、按什么规则决定默认值
  • 理解并发为什么会排队,调 OLLAMA_NUM_PARALLEL 的代价是什么
  • 五招把手感调回来,按代价排序

6.1 三个指标,别混在一起谈 ​

"快不快"其实是三件事:

指标指的是典型值什么时候最在意
首字延迟从发请求到吐第一个字GPU 0.3–1 s;CPU 2–5 s交互式对话、流式界面
生成速度每秒出多少 token(tok/s)GPU 30–60;CPU 3–8长回答、批量处理
并发吞吐同时 5 个请求时总耗时取决于并行数做服务给别人用

只测一个数会误判。比如首字延迟 1 秒感觉还行,但 tok/s 只有 5,一段 300 字的回答要等一分钟——体验照样很差。

7B · q4 · 8k 上下文下的生成速度量级(tok/s)RTX 4090 24G80–120RTX 4060 8G40–60RTX 3060 12G35–55Mac M2 16G20–35i7 CPU 32G3–8量级参考,不是跑分。卡型、驱动、量化、上下文长度都会让数字上下浮动 30% 以上。看到 CPU 那一行就该明白:没显卡可以跑通,但不适合拿来做日常使用。

6.2 上下文:默认不是你说了算 ​

新版 Ollama 会按显存自动决定默认上下文:

显存默认上下文
小于 24 GiB4k
24–48 GiB32k
48 GiB 以上256k

想改默认值,用环境变量:

bash
OLLAMA_CONTEXT_LENGTH=8192 ollama serve

也可以只对某个请求生效,在请求里传 num_ctx(原生接口的 options 字段):

bash
curl http://localhost:11434/api/chat -d '{
  "model": "qwen2.5:7b",
  "messages": [{"role":"user","content":"读一下这段长文"}],
  "options": {"num_ctx": 8192},
  "stream": false
}'

调大的代价是双向的:KV cache 线性增长(第 2 章),速度也会下降——注意力计算量和上下文长度是超线性的。日常对话 4k 足够,长文档才上 8k–16k,别无脑拉满。

老版本默认固定 4096,新版本改成按显存自动。看到别人说"默认 4096"不一定是错,可能就是版本不同。用 ollama show 或 ollama ps 看当前实例的实际值最稳。


6.3 并发:默认一次只干一件事 ​

OLLAMA_NUM_PARALLEL 默认是 1。这意味着同时来两个请求,第二个会排队等第一个跑完。

要并行,设环境变量:

bash
OLLAMA_NUM_PARALLEL=2 ollama serve

代价很容易被忽略:并行数 × 上下文长度,共同决定 KV cache 的预分配。设成 4、上下文 8k,KV cache 可能要按 32k 的总量预留——本来跑得动的模型,一下就跑不动了。

并行数显存代价适用
1(默认)最省单人使用、本地开发
2–4中小团队共享、轻量服务
8 以上高需要算清楚 KV 总量,通常该上专用推理框架

另一个相关变量是 OLLAMA_MAX_LOADED_MODELS:同时能加载几个不同模型,默认是 GPU 数量的 3 倍(纯 CPU 推理为 3)。加载多个模型会抢显存,个人机器建议就设 1。


6.4 自己测一遍,别信感觉 ​

原生接口的返回里有现成的两个数:

json
{"total_duration": 4821331200, "eval_count": 38}
  • total_duration 单位是纳秒;
  • eval_count 是生成的 token 数。
生成速度 ≈ eval_count ÷ (total_duration / 1e9)

上面这组数就是 38 ÷ 4.82 ≈ 7.9 tok/s。测的时候注意:第一次调用包含模型加载时间,要跑第二遍才是纯推理速度。

命令行也有更省事的办法:

bash
ollama run qwen2.5:7b --verbose "写一段 200 字的说明"

结束时会打印 eval rate,直接就是 tok/s。


6.5 五招提速,按代价排 ​

  1. 让模型留在显存里:OLLAMA_KEEP_ALIVE=30m,避免每次冷启动;
  2. 缩短输出:在 prompt 里限制字数,比任何硬件升级都有效;
  3. 降上下文:4k 而不是 32k,速度与显存双收益;
  4. 确认没有 offload:ollama ps 里 PROCESSOR 必须是 100% GPU;
  5. 降量化或换小模型:q4 换 q3、7B 换 3B,质量会掉,最后才用。

注意第 4 条:很多人以为自己在"用 GPU 跑",实际 ollama ps 显示 40/60 CPU/GPU,速度慢的根因在这里,不是模型不行。


本章小结 ​

要点说明
三个指标首字延迟、tok/s、并发吞吐,要分开看
默认上下文新版按显存自动:<24G 为 4k,24–48G 为 32k
调上下文OLLAMA_CONTEXT_LENGTH 全局,num_ctx 单请求
并发默认OLLAMA_NUM_PARALLEL=1,第二个请求排队
并发代价并行数 × 上下文决定 KV 预分配,显存可能不够
测速方法eval_count ÷ total_duration(秒),或用 --verbose

下一章 ​

到这里,本地模型已经能稳定对话了。但对话只是"你问它答",真正让它有用的是把你的资料喂给它——下一章讲 embedding,这是 RAG 的第一块地基。

本文阅读--次|全站访问--次|访客--人