第 4 章:模型怎么挑,量化与中文能力
qwen2.5:7b只有十来个字符,但它决定了四件事:多大、多准、多快、能不能装得下。
学习目标
- 把一个模型标签拆成四段,说清每段在讲什么
- 读懂
q4_K_M、q8_0、f16这类量化标记 - 在体积与质量之间做取舍,知道哪种量化不该用
- 按自己的显存和中文任务,选出三个候选并做对比测试
4.1 标签拆开看
以 qwen2.5:7b 为例:
| 段 | 值 | 含义 |
|---|---|---|
| 模型名 | qwen2.5 | 哪个系列、哪一版 |
| 冒号后 | 7b | 参数量,70 亿 |
| 隐含的量化 | 默认 | 官方标签通常带默认量化,多为 q4 系列 |
| 可加标签 | qwen2.5:7b-instruct | 指令微调版;base 版不适合对话 |
标签里没写的量化,要以 ollama show 为准:
bash
ollama show qwen2.5:7b输出里会有一行 architecture、一段 parameters,以及 quantization——看到 q4_K_M 就说明它是 4 位混合量化。
4.2 量化:把每个参数从 2 字节压到半个字节
原始模型每个参数用 16 位浮点存,7B 就是 14 GB。量化就是降低每个参数的位数,换来体积变小、速度变快,代价是精度损失。
| 标记 | 位数 | 7B 体积 | 质量 | 什么时候用 |
|---|---|---|---|---|
f16 | 16 位 | ≈ 14 GB | 原始 | 显存富裕,做对照实验 |
q8_0 | 8 位 | ≈ 7.4 GB | 几乎无损 | 显存够、要求高 |
q5_K_M | 5 位混合 | ≈ 5.4 GB | 接近 q8 | 想稳一点,显存还够 |
q4_K_M | 4 位混合 | ≈ 4.4 GB | 主流平衡点 | 默认首选 |
q3_K_M | 3 位混合 | ≈ 3.2 GB | 明显退化 | 只用来应急 |
q2_K | 2 位混合 | ≈ 2.5 GB | 回答常跑偏 | 不建议 |
K 指 k-quant 系列(分块量化),_M 是 medium 档,同系列还有 _S(small,更小更差)和 _L(large,更大更好)。选型时记住一句话:q4_K_M 是性价比拐点,往下掉得很快,往上收益很小。
4.3 中文场景怎么选
| 模型 | 适合 | 注意 |
|---|---|---|
qwen2.5:7b | 中文通用首选,对话、抽取、摘要都能用 | 7B 复杂推理偏弱 |
qwen2.5:14b | 质量明显提升,适合当主力 | 需要 12 GB 以上显存 |
qwen2.5:32b | 接近商用质量 | 24 GB 起步 |
glm4:9b | 中文理解好,指令遵循稳 | 生态比 Qwen 小一些 |
deepseek-r1:7b | 需要推理步骤展示 | 输出长、慢,日常问答不必 |
llama3.1:8b | 英文、代码 | 中文明显弱于 Qwen |
Embedding 模型单独选:
| 模型 | 维度 | 用途 |
|---|---|---|
nomic-embed-text | 768 | 英文为主,体积小 |
bge-m3 | 1024 | 中英混合,RAG 常用 |
第 7 章会用到。注意 embedding 模型不做对话,只输出向量。
4.4 按显存给三档推荐
| 显存 | 主力模型 | 备选 | 说明 |
|---|---|---|---|
| 6–8 GB | qwen2.5:7b(q4) | phi3:mini | 7B 是这一档的天花板 |
| 12–16 GB | qwen2.5:14b(q4) | qwen2.5:7b(q8) | 14B q4 的质量提升最明显 |
| 24 GB+ | qwen2.5:32b(q4) | qwen2.5:14b(q8) | 32B 才有"接近商用"的感觉 |
4.5 别只看排行榜
排行榜测的是通用能力,你的任务可能完全不在那张表上。可靠的做法是自己做一个小测试集:
- 从真实业务里挑 20 条输入,覆盖常见和边界情况;
- 给每条写好"什么样的输出算对";
- 三个候选模型各跑一遍,人工打分;
- 选分数够用、体积最小的那个。
这套方法在 Prompt 工程那门课里已经用过一遍——本地选模型是同一件事,只是把"改 prompt"换成了"换模型"。20 条样本、半小时,比看十篇测评有用。
本章小结
| 要点 | 说明 |
|---|---|
| 标签四段 | 系列、参数量、量化、是否 instruct |
| 量化命名 | q4_K_M:4 位、k-quant、medium 档 |
| 性价比拐点 | q4_K_M;q3 以下质量掉得快 |
| 中文首选 | Qwen2.5 系列;英文场景才考虑 Llama |
| Embedding | nomic-embed-text / bge-m3,单独选 |
| 选型方法 | 按显存定档,再用 20 条真实样本打分 |
下一章
模型跑起来了,但你要的是在代码里调它。下一章把 Ollama 当成一个 API 服务:先用它自己的接口,再换成 OpenAI 兼容接口——那意味着第 2 层学过的代码,改一行地址就能跑。