跨境客服助手(八):90 条用例上线:分层评测、拒答口径与部署边界
规则、检索、工具、转人工都写完了,最后一个问题绕不过去:怎么知道它没变坏?
靠人随便问几句不够。问的人会挑自己熟悉的问题,答对一次就记住“能用”,答错一次可能归因于“模型今天不行”。评测要把这件事变成可重复的数字,而且要能说清楚“这个数字代表什么、不代表什么”。
一、五层用例,各考一件事
90 条用例按层划分:
| 层 | 数量 | 考什么 | 典型断言 |
|---|---|---|---|
| A 政策 | 30 | 检索与引用 | 关键词命中、至少 1 条引用、不得引用归档 |
| B 工具 | 25 | 订单/物流工具 | 工具名与状态、缺单号先追问、超时降级 |
| C 硬转 | 15 | 四类风险 | 必须转人工、类别正确 |
| D 应拒答 | 10 | 库外问题 | 必须拒答,不能编 |
| E 多语言 | 10 | 西/法/德 | 输出语言正确、政策数字与英文原文一致 |
用例写在 YAML 里,一条长这样:
- id: A-001
layer: A
question: "How long is the US return window?"
context: {country: US, locale: en}
expect:
keywords: ["30 days"]
citationsMin: 1
noArchived: true
note: "美国 30 天;同时挡住已归档的旧版 60 天"noArchived 是这套评测里最有价值的一条断言。它不检查模型说了什么,而是检查引用里有没有归档切片——那是第三篇埋下的坑,也是人眼最难发现的一类错误。
B 层里有 5 条超时用例、3 条缺单号用例。超时用例同时标 refuse: true,因为降级路径本来就不生成答案;如果不标,会被“应作答却拒答”的规则误判成失败。C 层同理,硬转不生成答案,但还要额外断言 handoff.category。
这种“同一件事在两层都成立”的写法看起来啰嗦,但它让指标口径保持简单:拒答就是拒答,不管是因为高风险、降级还是证据不足。
二、严格加载:坏用例不能悄悄跳过
评测最容易自欺的地方,是加载器容错太好:缺字段就跳过、重复 ID 就覆盖、层级写错就忽略。跑完得到一个漂亮分数,实际上少跑了十几条。
这里的 load_cases 是严格的:
- 缺
id或question:直接报错; id重复:直接报错;layer不在 A/B/C/D/E:直接报错;- 同时期望
refuse: true和safety:直接报错,因为这两个出口互斥。
跑之前还会检查“某一层一条用例都没有”,并在报告里标出来。--limit 5 只用于冒烟,正式报告不会拿它当结果。
三、指标:五个数,各有各的陷阱
报告里的核心指标只有五个:
| 指标 | 口径 | 防什么 |
|---|---|---|
| 检索命中率 | 可回答题中,关键词出现在 topN 证据正文 | 防止检索退化成随机 |
| 作答率 | 可回答题中未拒答的比例 | 和拒答准确率一起看 |
| 引用覆盖率 | 已作答题目里,带引用步骤 / 全部步骤 | 防止答案没依据 |
| 拒答准确率 | 应拒且拒 + 明示缺口 + 应答且答 / 全部 | 防止“全拒答”刷分 |
| 安全拦截率 | 安全题被 safe 拦截的比例 | 防止安全词失效 |
拒答准确率是最容易被做假的指标。如果只算“该拒的拒了”,那么一个“所有问题都拒答”的系统能拿满分。所以分母里包含应作答题,并且把“应拒答却作答”拆成两档:
- 明示缺口:回答里明确说“资料里没有”,不算失败;
- 编造作答:给出了像模像样的答案,算失败。
这个区分不是文字游戏。客服场景里,“我不知道”是可以接受的产品行为,“我猜一个”不是。
检索命中率用关键词做代理,是粗粒度的:换了说法但引用正确的回答会被低估。这一点写在 README 里,不假装它是语义匹配。
时延 p50/p90 只记录现状,不是目标值。同一台机器上跑、模型服务冷热不同,数字都会变。
四、评测跑的是生产管线
评测不另写一套“理想流程”,而是直接调 run_turn:
outcome = run_turn(
settings=settings, conn=conn, llm=llm, embedder=embedder,
question=case.question, context=case.context,
)这条决定很重要。如果评测自己拼提示词、自己调检索,那它测的是另一套系统;生产管线里的转人工短路、证据门、引用剥离,一个都不会被覆盖。
temperature=0,但推理模型仍有非确定性,所以每题只跑一次的结果只能当趋势看。多跑取多数票留到后续,没有在这个版本里做。
评测依赖真实 LLM 和 Ollama,不进 CI。CI 只跑离线单测:加载器、层级统计、指标计算。这是一个明确的边界——用 mock 模型跑出来的分数没有意义,不如不跑。
五、部署:三个容器,一张任务表
docker compose up -d --build 起三个服务:
db:pgvector/pgvector:pg16,数据卷cbecom_pgdata,宿主只绑127.0.0.1:5435;app:启动时先跑迁移、再建管理员,最后起 uvicorn;宿主127.0.0.1:8002;worker:同一个镜像,入口换成python -m app.worker,常驻消费jobs表。
没有 Redis、没有 Celery。任务队列就是一张表:
select id from jobs
where status = 'queued'
order by id
for update skip locked
limit 1;SKIP LOCKED 让多个 worker 不会抢同一行;领取时写 heartbeat_at,worker 崩了由 reap_stale() 把超时任务放回队列;重试次数由 attempts 和 max_attempts 控制,超过就标 failed 并留下错误。
这套方案的上限很清楚:任务量不大时,少一个中间件就少一处故障;任务量上来后,数据库会成为瓶颈,届时再换队列也不迟。
六、上线前必须知道的边界
- 端口只绑本机。
127.0.0.1:8002和127.0.0.1:5435是刻意的,公网部署要自己加反向代理、TLS 和鉴权; - 演示故障开关。
DEMO_FAULT_ENABLED=true时才接受X-Demo-Fault,生产必须关掉; - 模型与向量服务在容器外。默认连宿主机的 Ollama;embedding 服务不可用时,问答会降级,但不会静默返回空结果;
- 评测报告不是性能保证。仓库里保留的是历史报告,没有完整的模型、硬件和配置快照,换模型或改语料必须重跑;
- 数据是虚构的。15 条订单、13 份语料、品牌与客户全部虚构,不能直接当生产数据使用;
- 没有多租户。一个部署一套库,商店、语言、政策都按单租户处理。
七、九篇之后
回到最初的三条约束:
- 政策不能编——所以有证据门、引用校验、拒答与知识缺口;
- 订单不能猜——所以事实只来自工具,失败就降级,不润色;
- 风险不能接——所以四类诉求在调模型之前就转人工。
这套系统不大,也没有用最新的框架。它更像一份“把边界写进代码”的样本:每个决定都能在代码里找到对应的 if,每个失败都有固定的出口,每个数字都能追到证据或工具字段。
如果要在真实业务里用它,优先补的不是模型,而是身份校验、订单归属、审计与外部工单回写。这些事没有一件能靠提示词解决。