第 11 章:成本与延迟,把账算明白
RAG 的贵不贵,几乎全由"每次带多少上下文"和"重排了多少条"决定,而不是由用户数量决定。
学习目标
- 把一次问答的成本拆成四项,知道哪项最贵
- 用三层缓存砍掉重复计算
- 在延迟超标时按顺序降级,而不是直接换小模型
- 算出一个可交付的月度成本
11.1 一次问答,钱花在哪
粗略的账(以 1000 次/天为例):
| 项 | 每次量 | 说明 |
|---|---|---|
| 输入 token | 3000–6000 | 5 条片段 × 400 字 + 系统 + 历史 |
| 输出 token | 300–600 | 完整答案 + 引用 |
| 重排 | 15–30 对 | 本地免费;API 按千次计费 |
最有效的省钱动作只有一个:少放片段、放短片段。 从 8 条 600 字降到 4 条 400 字,输入 token 直接砍掉三分之二,质量通常还更好(见第 7 章)。
11.2 三层缓存
| 层 | 命中条件 | 收益 |
|---|---|---|
| 答案缓存 | 完全相同的问题(归一化后) | 最常见,直接省一次生成 |
| 语义缓存 | 问题向量相似度 > 阈值 | 覆盖"换个说法再问一遍" |
| 检索缓存 | 同一问题、同一过滤条件 | 省检索 + 重排 |
python
import hashlib
def cache_key(q: str, tenant: str) -> str:
norm = "".join(q.split()).lower()
return f"rag:{tenant}:{hashlib.sha256(norm.encode()).hexdigest()[:24]}"语义缓存的阈值要小心:太高(0.98)几乎不命中,太低(0.85)会把"保修几年"和"退款几天"当成同一个问题。建议 0.92 起步,用日志观察误命中。
缓存必须带 tenant 前缀——否则会跨租户串答案,这是安全事故。
11.3 延迟:按顺序降级
目标先定下来:
| 指标 | 目标 |
|---|---|
| 首 token | < 800 ms |
| 完整回答 P95 | < 3 s |
| 检索 + 重排 | < 600 ms |
超了按这个顺序降:
- 候选 30 → 15(重排耗时减半);
- 跳过重排,直接用融合分(省 300–900 ms);
- 片段 5 → 3(省生成输入,也省钱);
- 流式输出(首 token 提前,用户感知变快,总时长不变);
- 最后才考虑换小模型——它会同时降质量。
11.4 流式:不降延迟,降体感
SSE 的实现细节在 HTTP 课第 6 章讲过。RAG 里只多一件事:先发"正在检索",再发 token。
text
event: status
data: {"stage":"retrieving"}
event: delta
data: {"text":"本产品提供"}
event: citation
data: {"n":1,"doc":"A100 用户手册","page":12}用户等 1.5 秒能看到字在动,体感就从"卡住了"变成"在回答"。
11.5 五个常见浪费
| 浪费 | 表现 | 修法 |
|---|---|---|
| 历史全塞 | 多轮后输入 token 暴涨 | 只留 3 轮 + 摘要 |
| 片段重复 | 相邻片段都进上下文 | 第 7 章合并去重 |
| 每次重算文档向量 | 灌库脚本重复跑 | 第 4 章增量 + 指纹 |
| 重排 50 条 | 延迟和成本都翻倍 | 控制在 15–30 |
| 无缓存 | 同样的问题反复算 | 三层缓存 |
11.6 月度账单模板
日调用量:N
输入 token/次:T_in
输出 token/次:T_out
单价:p_in / p_out(按你的服务商)
月成本 ≈ N × 30 × (T_in × p_in + T_out × p_out) + 重排费用先算"不优化"和"优化后"两版,差额就是这一章的价值。多数项目能省 50–70%。
本章小结
| 要点 | 说明 |
|---|---|
| 成本大头 | 生成的输入 token |
| 延迟大头 | 重排 + 生成 |
| 省钱核心 | 少片段、短片段 |
| 三层缓存 | 答案、语义、检索,都要带 tenant |
| 语义缓存阈值 | 0.92 起步,观察误命中 |
| 降级顺序 | 减候选 → 跳重排 → 减片段 → 流式 |
| 流式 | 改善体感,不改总时长 |
| 五个浪费 | 历史、重复、重算、重排过多、无缓存 |
下一章
最后一步:把它装进一个服务,能部署、能监控、能回滚。