Skip to content

第 1 章:为什么要在自己电脑上跑 ​

一句话:有些话,你只想说给一台不在互联网上的机器听。


学习目标 ​

  • 说清本地部署与云 API 各自的真实优势,不是"哪个更先进"
  • 判断自己的场景该走本地、云,还是两者混着用
  • 知道本地模型能做到什么、做不到什么,不抱错期待
  • 算清一次"值不值得本地化"的账:硬件钱、电费、时间

1.1 三个场景,云 API 真的解决不了 ​

大部分人第一次想本地跑模型,不是因为便宜,是因为有些数据不能出门。三个典型场景:

场景为什么不能用云本地的价值
病历、合同、身份证、内部财报合规上不允许原始数据出境/出内网数据从头到尾没离开这台机器
工厂车间、野外、断网环境没有稳定外网装好之后完全离线可用
每天几万次的高频调用按 token 计费,账单会失控硬件一次投入,之后只付电费

还有一种更微妙的:你只是想试。调一个 prompt 试二十遍,在云上每一遍都花钱;本地跑,试到满意为止。这件事对学习曲线的影响,比省钱本身更大——敢乱试,才学得快。


1.2 云和本地不是替代关系 ​

常见的误解是"本地跑起来就不需要云了"。实际两者是两条不同的成本曲线:

累计调用量 →累计成本 →云 API:按 token 线性上涨本地:硬件一次性投入,之后只有电费交叉点:调用量到这儿,本地才开始划算低频、偶尔用高频、长期用

交叉点的位置取决于三个变量:硬件花了多少钱、每天调多少次、云上的单价。这三个数你都有,就能算出自己的交叉点在哪。

所以真实的答案通常是混着用:高频、简单的活儿放本地;偶尔遇到难题,切到云端大模型。第 8 章会讲怎么把这条线画清楚。


1.3 一张决策表,省掉纠结 ​

这张图的读法是从上往下:先问合规,再问量,最后问难度。顺序不能反——先算钱再看合规,容易做出合规上过不去的方案。


1.4 本地模型能做到什么水平 ​

这是最容易失望的地方,先说清楚边界。

以 7B 量化模型(第 2 章会讲"7B""量化"是什么意思)为例:

任务本地 7B 表现说明
中文对话、问答可用日常问题能答得像个样
文本分类、打标签很好规则明确的任务,小模型够用
信息抽取(从合同里提字段)好配合 JSON 输出,准确率能接受
摘要、改写可用长文摘要容易丢细节
写代码一般简单片段可以,复杂逻辑容易错
多步推理、数学弱明显不如云端大模型
长文档(10 万字)不行上下文放不下,见第 6 章
工具调用(Function Calling)不稳格式经常跑偏,需要额外校验

一句话总结:**本地模型擅长"把已经想清楚的事执行掉",不擅长"替你想"。**第 8 章会把这条边界展开成一张对照表。


本章小结 ​

要点说明
本地化的第一理由不是省钱,是数据不能出门
成本结构云是按量线性上涨,本地是硬件一次性投入
交叉点由硬件价、日调用量、云单价三个数决定
决策顺序合规 → 调用量 → 任务难度,不能反
能力边界7B 擅长执行明确任务,不擅长复杂推理与长文档
常见用法混合:本地跑高频简单活,云端解难题

下一章 ​

本地跑得动跑不动,第一道关不是软件,是显存。下一章把"我这个配置能跑多大的模型"算清楚——不用试,用公式就能估。

本文阅读--次|全站访问--次|访客--人