Skip to content

第 4 章:模型怎么挑,量化与中文能力 ​

qwen2.5:7b 只有十来个字符,但它决定了四件事:多大、多准、多快、能不能装得下。


学习目标 ​

  • 把一个模型标签拆成四段,说清每段在讲什么
  • 读懂 q4_K_M、q8_0、f16 这类量化标记
  • 在体积与质量之间做取舍,知道哪种量化不该用
  • 按自己的显存和中文任务,选出三个候选并做对比测试

4.1 标签拆开看 ​

以 qwen2.5:7b 为例:

段值含义
模型名qwen2.5哪个系列、哪一版
冒号后7b参数量,70 亿
隐含的量化默认官方标签通常带默认量化,多为 q4 系列
可加标签qwen2.5:7b-instruct指令微调版;base 版不适合对话

标签里没写的量化,要以 ollama show 为准:

bash
ollama show qwen2.5:7b

输出里会有一行 architecture、一段 parameters,以及 quantization——看到 q4_K_M 就说明它是 4 位混合量化。


4.2 量化:把每个参数从 2 字节压到半个字节 ​

原始模型每个参数用 16 位浮点存,7B 就是 14 GB。量化就是降低每个参数的位数,换来体积变小、速度变快,代价是精度损失。

标记位数7B 体积质量什么时候用
f1616 位≈ 14 GB原始显存富裕,做对照实验
q8_08 位≈ 7.4 GB几乎无损显存够、要求高
q5_K_M5 位混合≈ 5.4 GB接近 q8想稳一点,显存还够
q4_K_M4 位混合≈ 4.4 GB主流平衡点默认首选
q3_K_M3 位混合≈ 3.2 GB明显退化只用来应急
q2_K2 位混合≈ 2.5 GB回答常跑偏不建议
体积往下走,质量也在往下走——拐点在 q4f1614 GB · 原始精度q8_07.4 GB · 几乎无损q5_K_M5.4 GB · 接近 q8q4_K_M4.4 GB · 主流平衡点q3_K_M3.2 GB · 明显退化q2_K2.5 GB · 不建议

K 指 k-quant 系列(分块量化),_M 是 medium 档,同系列还有 _S(small,更小更差)和 _L(large,更大更好)。选型时记住一句话:q4_K_M 是性价比拐点,往下掉得很快,往上收益很小。


4.3 中文场景怎么选 ​

模型适合注意
qwen2.5:7b中文通用首选,对话、抽取、摘要都能用7B 复杂推理偏弱
qwen2.5:14b质量明显提升,适合当主力需要 12 GB 以上显存
qwen2.5:32b接近商用质量24 GB 起步
glm4:9b中文理解好,指令遵循稳生态比 Qwen 小一些
deepseek-r1:7b需要推理步骤展示输出长、慢,日常问答不必
llama3.1:8b英文、代码中文明显弱于 Qwen

Embedding 模型单独选:

模型维度用途
nomic-embed-text768英文为主,体积小
bge-m31024中英混合,RAG 常用

第 7 章会用到。注意 embedding 模型不做对话,只输出向量。


4.4 按显存给三档推荐 ​

显存主力模型备选说明
6–8 GBqwen2.5:7b(q4)phi3:mini7B 是这一档的天花板
12–16 GBqwen2.5:14b(q4)qwen2.5:7b(q8)14B q4 的质量提升最明显
24 GB+qwen2.5:32b(q4)qwen2.5:14b(q8)32B 才有"接近商用"的感觉

4.5 别只看排行榜 ​

排行榜测的是通用能力,你的任务可能完全不在那张表上。可靠的做法是自己做一个小测试集:

  1. 从真实业务里挑 20 条输入,覆盖常见和边界情况;
  2. 给每条写好"什么样的输出算对";
  3. 三个候选模型各跑一遍,人工打分;
  4. 选分数够用、体积最小的那个。

这套方法在 Prompt 工程那门课里已经用过一遍——本地选模型是同一件事,只是把"改 prompt"换成了"换模型"。20 条样本、半小时,比看十篇测评有用。


本章小结 ​

要点说明
标签四段系列、参数量、量化、是否 instruct
量化命名q4_K_M:4 位、k-quant、medium 档
性价比拐点q4_K_M;q3 以下质量掉得快
中文首选Qwen2.5 系列;英文场景才考虑 Llama
Embeddingnomic-embed-text / bge-m3,单独选
选型方法按显存定档,再用 20 条真实样本打分

下一章 ​

模型跑起来了,但你要的是在代码里调它。下一章把 Ollama 当成一个 API 服务:先用它自己的接口,再换成 OpenAI 兼容接口——那意味着第 2 层学过的代码,改一行地址就能跑。

本文阅读--次|全站访问--次|访客--人