Skip to content

第 11 章:成本与延迟,把账算明白 ​

RAG 的贵不贵,几乎全由"每次带多少上下文"和"重排了多少条"决定,而不是由用户数量决定。


学习目标 ​

  • 把一次问答的成本拆成四项,知道哪项最贵
  • 用三层缓存砍掉重复计算
  • 在延迟超标时按顺序降级,而不是直接换小模型
  • 算出一个可交付的月度成本

11.1 一次问答,钱花在哪 ​

一次问答的四笔开销成本查询 embedding:极小(几十 token)检索:几乎为零(自建)重排:算力/次,本地免费,API 按次生成:输入 token 是大头(片段越多越贵)延迟embedding 20ms → 检索 15ms → 重排 400ms → 首 token 800ms → 完整回答 2-4s结论:成本看输入 token,延迟看重排 + 生成。别在 embedding 上省,省不出东西。月成本 ≈ 日调用量 × 30 ×(输入 token × 单价 + 输出 token × 单价)+ 重排 API 费用。

粗略的账(以 1000 次/天为例):

项每次量说明
输入 token3000–60005 条片段 × 400 字 + 系统 + 历史
输出 token300–600完整答案 + 引用
重排15–30 对本地免费;API 按千次计费

最有效的省钱动作只有一个:少放片段、放短片段。 从 8 条 600 字降到 4 条 400 字,输入 token 直接砍掉三分之二,质量通常还更好(见第 7 章)。


11.2 三层缓存 ​

层命中条件收益
答案缓存完全相同的问题(归一化后)最常见,直接省一次生成
语义缓存问题向量相似度 > 阈值覆盖"换个说法再问一遍"
检索缓存同一问题、同一过滤条件省检索 + 重排
python
import hashlib

def cache_key(q: str, tenant: str) -> str:
    norm = "".join(q.split()).lower()
    return f"rag:{tenant}:{hashlib.sha256(norm.encode()).hexdigest()[:24]}"

语义缓存的阈值要小心:太高(0.98)几乎不命中,太低(0.85)会把"保修几年"和"退款几天"当成同一个问题。建议 0.92 起步,用日志观察误命中。

缓存必须带 tenant 前缀——否则会跨租户串答案,这是安全事故。

请求进来,先别急着调模型用户问题归一化答案缓存完全相同 → 直接返回未命中语义缓存相似 → 返回并标注检索缓存省检索 + 重排完整链路生成 + 校验命中后要写回:答案缓存留 1–24 小时,语义缓存留 1 小时左右,检索缓存跟着文档版本失效。文档更新必须让缓存失效——用"文档版本号"做前缀,换版就换 key,比逐个删更省事。语义缓存返回时一定要标注"这是相似问题的答案",避免用户以为系统答错了题。缓存放 Redis 就够(Lv3 那门课的第 4 章讲 TTL,直接用)。

11.3 延迟:按顺序降级 ​

目标先定下来:

指标目标
首 token< 800 ms
完整回答 P95< 3 s
检索 + 重排< 600 ms

超了按这个顺序降:

  1. 候选 30 → 15(重排耗时减半);
  2. 跳过重排,直接用融合分(省 300–900 ms);
  3. 片段 5 → 3(省生成输入,也省钱);
  4. 流式输出(首 token 提前,用户感知变快,总时长不变);
  5. 最后才考虑换小模型——它会同时降质量。

11.4 流式:不降延迟,降体感 ​

SSE 的实现细节在 HTTP 课第 6 章讲过。RAG 里只多一件事:先发"正在检索",再发 token。

text
event: status
data: {"stage":"retrieving"}

event: delta
data: {"text":"本产品提供"}

event: citation
data: {"n":1,"doc":"A100 用户手册","page":12}

用户等 1.5 秒能看到字在动,体感就从"卡住了"变成"在回答"。


11.5 五个常见浪费 ​

浪费表现修法
历史全塞多轮后输入 token 暴涨只留 3 轮 + 摘要
片段重复相邻片段都进上下文第 7 章合并去重
每次重算文档向量灌库脚本重复跑第 4 章增量 + 指纹
重排 50 条延迟和成本都翻倍控制在 15–30
无缓存同样的问题反复算三层缓存

11.6 月度账单模板 ​

日调用量:N
输入 token/次:T_in
输出 token/次:T_out
单价:p_in / p_out(按你的服务商)
月成本 ≈ N × 30 × (T_in × p_in + T_out × p_out) + 重排费用

先算"不优化"和"优化后"两版,差额就是这一章的价值。多数项目能省 50–70%。


本章小结 ​

要点说明
成本大头生成的输入 token
延迟大头重排 + 生成
省钱核心少片段、短片段
三层缓存答案、语义、检索,都要带 tenant
语义缓存阈值0.92 起步,观察误命中
降级顺序减候选 → 跳重排 → 减片段 → 流式
流式改善体感,不改总时长
五个浪费历史、重复、重算、重排过多、无缓存

下一章 ​

最后一步:把它装进一个服务,能部署、能监控、能回滚。

本文阅读--次|全站访问--次|访客--人