第 8 章:什么时候该回云端
本地部署解决的是"能不能用",不是"用得够不够好"。这一章画一条线:哪些活留在本地,哪些必须交给云。
学习目标
- 列出本地模型的四条能力边界,知道各自的表现
- 用成本、能力、合规三个维度做分流判断
- 设计一个可执行的混合方案,而不是"看情况"
- 说清数据分流的合规底线:脱敏之后才允许出门
8.1 四条边界,遇到就该换
| 边界 | 本地 7B 的表现 | 云端的意义 |
|---|---|---|
| 长上下文 | 4k–8k 就吃紧,10 万字放不下 | 128k 以上,整本文档直接塞 |
| 工具调用 | 格式经常跑偏,参数错、字段缺 | 稳定遵循 schema,可校验 |
| 复杂推理 | 多步数学、逻辑链容易断 | 明显更强 |
| 并发 | 默认串行,第二个请求排队 | 按需扩容,几十上百并发 |
这四条里,长上下文和工具调用最容易踩。它们不是"质量差一点",而是"直接做不了":
- 让本地 7B 读一份 5 万字的合同,它只能看到前面一小段,后面的内容等于没读;
- 让它按 Function Calling 调一个工具,十次里有几次字段名写错,代码就得兜底重试。
遇到这两种情况,不用纠结优化,直接分流到云端。
8.2 不是二选一,是分工
一个能落地的方案通常长这样:
三个分支的含义:
- 敏感数据先本地处理:在本地做脱敏、摘要、字段抽取,只把处理后的结果送出去;
- 简单任务留本地:分类、打标、结构化抽取,7B 够用且便宜;
- 难题和工具调用走云:长文档、复杂推理、Function Calling,别在小模型上硬扛。
8.3 路由怎么实现,三种做法
| 做法 | 怎么判 | 适合 |
|---|---|---|
| 按任务类型 | 请求里带 task=classify,代码里查表决定走哪 | 任务边界清晰的产品 |
| 按输入长度 | 估算 token 数,超过阈值就上云 | 文档类应用 |
| 按失败重试 | 先用本地,质量不达标再升级 | 成本敏感、可容忍一次重试 |
第三种最实用,也最容易被低估:本地的答案让一个轻量校验器(甚至可以是很简单的规则)评一下,不合格就换云端重来。多数请求本地就能过,只有少数升级——成本曲线比"一律走云"低很多。
第 2 层「结构化输出与 Function Calling」那门课讲的校验思路,在这里正好复用:本地模型的输出必须校验,别信它说"已完成"。
8.4 算一笔账
假设每天 2000 次调用,每次输入 800 token、输出 300 token:
| 方案 | 成本构成 | 量级 |
|---|---|---|
| 全云 | 2000 × 1100 token ≈ 220 万 token/天 | 按各家单价算,一天几十元到上百元 |
| 全本地 | 硬件折旧 + 电费 | 8 小时满载约 1–3 度电,一天几元钱 |
| 混合(80% 本地) | 本地 + 20% 云的 token | 通常比全云省一半以上 |
注意"硬件折旧"这一项:一张 4000 元的卡用三年,摊下来一天约 3.6 元。加上电费,本地方案的日成本大概 5–8 元——这就是全云账单要对比的基准线。
具体单价各平台差异很大,别照抄数字。算法是:本地日成本 = 硬件价 ÷ 使用天数 + 日电费,再和云的日账单比。
8.5 合规这条线,比技术更重要
"脱敏后再出门"不是一句口号,要落到具体操作:
- 能删的删:姓名、身份证、手机号、地址,用占位符替换;
- 能概括的概括:把具体病历改写成"某 50 岁男性患者",保留医学信息、去掉身份信息;
- 能本地判的本地判:先本地判断"这条数据敏不敏感",再决定去向。
一个常见误区是"用了云就合规了"——恰恰相反,数据出境/出内网的风险来自内容,不来自供应商。把原文发出去,再合规的供应商也救不了。
8.6 五问决策清单
拿到一个新需求,按顺序问:
- 数据能不能出这台机器?(不能 → 本地,结束)
- 需不需要读长文档?(需要 → 云)
- 要不要稳定调用工具?(要 → 云)
- 每天调用多少次?(几百次以内 → 云更省事)
- 质量不达标能不能容忍一次重试?(能 → 本地优先,失败升级)
五个问题走完,方案基本就定了。剩下的只是调优。
全课收尾
回看这八章,其实是一条很短的链路:
为什么本地(第 1 章)→ 硬件够不够(第 2 章)→ 装起来(第 3 章)→ 挑模型(第 4 章)→ 变成 API(第 5 章)→ 调好手感(第 6 章)→ 接上你的资料(第 7 章)→ 知道什么时候不该用它(第 8 章)
最后一章是整门课最重要的:**本地部署的价值不在于"不用云",而在于"多了一个可以自己完全掌控的选择"。**知道边界在哪,才敢把合适的活交给它。
本章小结
| 要点 | 说明 |
|---|---|
| 四条边界 | 长上下文、工具调用、复杂推理、并发 |
| 分流原则 | 敏感先本地处理,简单留本地,难题走云 |
| 路由做法 | 按任务、按长度、按失败重试 |
| 成本算法 | 本地日成本 = 硬件 ÷ 天数 + 电费 |
| 合规底线 | 内容决定风险,不是供应商 |
| 五问清单 | 数据、长文、工具、频次、可重试性 |
下一章
Lv2 到此收尾。往上一层是 Lv3「后端工程化」:把这套东西包成能对外服务的接口——FastAPI 的路由与依赖注入、Docker 的打包与部署,都在那里。