Skip to content

第 8 章:什么时候该回云端 ​

本地部署解决的是"能不能用",不是"用得够不够好"。这一章画一条线:哪些活留在本地,哪些必须交给云。


学习目标 ​

  • 列出本地模型的四条能力边界,知道各自的表现
  • 用成本、能力、合规三个维度做分流判断
  • 设计一个可执行的混合方案,而不是"看情况"
  • 说清数据分流的合规底线:脱敏之后才允许出门

8.1 四条边界,遇到就该换 ​

边界本地 7B 的表现云端的意义
长上下文4k–8k 就吃紧,10 万字放不下128k 以上,整本文档直接塞
工具调用格式经常跑偏,参数错、字段缺稳定遵循 schema,可校验
复杂推理多步数学、逻辑链容易断明显更强
并发默认串行,第二个请求排队按需扩容,几十上百并发

这四条里,长上下文和工具调用最容易踩。它们不是"质量差一点",而是"直接做不了":

  • 让本地 7B 读一份 5 万字的合同,它只能看到前面一小段,后面的内容等于没读;
  • 让它按 Function Calling 调一个工具,十次里有几次字段名写错,代码就得兜底重试。

遇到这两种情况,不用纠结优化,直接分流到云端。


8.2 不是二选一,是分工 ​

一个能落地的方案通常长这样:

三个分支的含义:

  1. 敏感数据先本地处理:在本地做脱敏、摘要、字段抽取,只把处理后的结果送出去;
  2. 简单任务留本地:分类、打标、结构化抽取,7B 够用且便宜;
  3. 难题和工具调用走云:长文档、复杂推理、Function Calling,别在小模型上硬扛。

8.3 路由怎么实现,三种做法 ​

做法怎么判适合
按任务类型请求里带 task=classify,代码里查表决定走哪任务边界清晰的产品
按输入长度估算 token 数,超过阈值就上云文档类应用
按失败重试先用本地,质量不达标再升级成本敏感、可容忍一次重试

第三种最实用,也最容易被低估:本地的答案让一个轻量校验器(甚至可以是很简单的规则)评一下,不合格就换云端重来。多数请求本地就能过,只有少数升级——成本曲线比"一律走云"低很多。

第 2 层「结构化输出与 Function Calling」那门课讲的校验思路,在这里正好复用:本地模型的输出必须校验,别信它说"已完成"。


8.4 算一笔账 ​

假设每天 2000 次调用,每次输入 800 token、输出 300 token:

方案成本构成量级
全云2000 × 1100 token ≈ 220 万 token/天按各家单价算,一天几十元到上百元
全本地硬件折旧 + 电费8 小时满载约 1–3 度电,一天几元钱
混合(80% 本地)本地 + 20% 云的 token通常比全云省一半以上

注意"硬件折旧"这一项:一张 4000 元的卡用三年,摊下来一天约 3.6 元。加上电费,本地方案的日成本大概 5–8 元——这就是全云账单要对比的基准线。

具体单价各平台差异很大,别照抄数字。算法是:本地日成本 = 硬件价 ÷ 使用天数 + 日电费,再和云的日账单比。


8.5 合规这条线,比技术更重要 ​

"脱敏后再出门"不是一句口号,要落到具体操作:

  • 能删的删:姓名、身份证、手机号、地址,用占位符替换;
  • 能概括的概括:把具体病历改写成"某 50 岁男性患者",保留医学信息、去掉身份信息;
  • 能本地判的本地判:先本地判断"这条数据敏不敏感",再决定去向。

一个常见误区是"用了云就合规了"——恰恰相反,数据出境/出内网的风险来自内容,不来自供应商。把原文发出去,再合规的供应商也救不了。


8.6 五问决策清单 ​

拿到一个新需求,按顺序问:

  1. 数据能不能出这台机器?(不能 → 本地,结束)
  2. 需不需要读长文档?(需要 → 云)
  3. 要不要稳定调用工具?(要 → 云)
  4. 每天调用多少次?(几百次以内 → 云更省事)
  5. 质量不达标能不能容忍一次重试?(能 → 本地优先,失败升级)

五个问题走完,方案基本就定了。剩下的只是调优。


全课收尾 ​

回看这八章,其实是一条很短的链路:

为什么本地(第 1 章)→ 硬件够不够(第 2 章)→ 装起来(第 3 章)→ 挑模型(第 4 章)→ 变成 API(第 5 章)→ 调好手感(第 6 章)→ 接上你的资料(第 7 章)→ 知道什么时候不该用它(第 8 章)

最后一章是整门课最重要的:**本地部署的价值不在于"不用云",而在于"多了一个可以自己完全掌控的选择"。**知道边界在哪,才敢把合适的活交给它。


本章小结 ​

要点说明
四条边界长上下文、工具调用、复杂推理、并发
分流原则敏感先本地处理,简单留本地,难题走云
路由做法按任务、按长度、按失败重试
成本算法本地日成本 = 硬件 ÷ 天数 + 电费
合规底线内容决定风险,不是供应商
五问清单数据、长文、工具、频次、可重试性

下一章 ​

Lv2 到此收尾。往上一层是 Lv3「后端工程化」:把这套东西包成能对外服务的接口——FastAPI 的路由与依赖注入、Docker 的打包与部署,都在那里。

本文阅读--次|全站访问--次|访客--人