第 1 章:为什么要在自己电脑上跑
一句话:有些话,你只想说给一台不在互联网上的机器听。
学习目标
- 说清本地部署与云 API 各自的真实优势,不是"哪个更先进"
- 判断自己的场景该走本地、云,还是两者混着用
- 知道本地模型能做到什么、做不到什么,不抱错期待
- 算清一次"值不值得本地化"的账:硬件钱、电费、时间
1.1 三个场景,云 API 真的解决不了
大部分人第一次想本地跑模型,不是因为便宜,是因为有些数据不能出门。三个典型场景:
| 场景 | 为什么不能用云 | 本地的价值 |
|---|---|---|
| 病历、合同、身份证、内部财报 | 合规上不允许原始数据出境/出内网 | 数据从头到尾没离开这台机器 |
| 工厂车间、野外、断网环境 | 没有稳定外网 | 装好之后完全离线可用 |
| 每天几万次的高频调用 | 按 token 计费,账单会失控 | 硬件一次投入,之后只付电费 |
还有一种更微妙的:你只是想试。调一个 prompt 试二十遍,在云上每一遍都花钱;本地跑,试到满意为止。这件事对学习曲线的影响,比省钱本身更大——敢乱试,才学得快。
1.2 云和本地不是替代关系
常见的误解是"本地跑起来就不需要云了"。实际两者是两条不同的成本曲线:
交叉点的位置取决于三个变量:硬件花了多少钱、每天调多少次、云上的单价。这三个数你都有,就能算出自己的交叉点在哪。
所以真实的答案通常是混着用:高频、简单的活儿放本地;偶尔遇到难题,切到云端大模型。第 8 章会讲怎么把这条线画清楚。
1.3 一张决策表,省掉纠结
这张图的读法是从上往下:先问合规,再问量,最后问难度。顺序不能反——先算钱再看合规,容易做出合规上过不去的方案。
1.4 本地模型能做到什么水平
这是最容易失望的地方,先说清楚边界。
以 7B 量化模型(第 2 章会讲"7B""量化"是什么意思)为例:
| 任务 | 本地 7B 表现 | 说明 |
|---|---|---|
| 中文对话、问答 | 可用 | 日常问题能答得像个样 |
| 文本分类、打标签 | 很好 | 规则明确的任务,小模型够用 |
| 信息抽取(从合同里提字段) | 好 | 配合 JSON 输出,准确率能接受 |
| 摘要、改写 | 可用 | 长文摘要容易丢细节 |
| 写代码 | 一般 | 简单片段可以,复杂逻辑容易错 |
| 多步推理、数学 | 弱 | 明显不如云端大模型 |
| 长文档(10 万字) | 不行 | 上下文放不下,见第 6 章 |
| 工具调用(Function Calling) | 不稳 | 格式经常跑偏,需要额外校验 |
一句话总结:**本地模型擅长"把已经想清楚的事执行掉",不擅长"替你想"。**第 8 章会把这条边界展开成一张对照表。
本章小结
| 要点 | 说明 |
|---|---|
| 本地化的第一理由 | 不是省钱,是数据不能出门 |
| 成本结构 | 云是按量线性上涨,本地是硬件一次性投入 |
| 交叉点 | 由硬件价、日调用量、云单价三个数决定 |
| 决策顺序 | 合规 → 调用量 → 任务难度,不能反 |
| 能力边界 | 7B 擅长执行明确任务,不擅长复杂推理与长文档 |
| 常见用法 | 混合:本地跑高频简单活,云端解难题 |
下一章
本地跑得动跑不动,第一道关不是软件,是显存。下一章把"我这个配置能跑多大的模型"算清楚——不用试,用公式就能估。