Skip to content

跨境客服助手(八):90 条用例上线:分层评测、拒答口径与部署边界 ​

规则、检索、工具、转人工都写完了,最后一个问题绕不过去:怎么知道它没变坏?

靠人随便问几句不够。问的人会挑自己熟悉的问题,答对一次就记住“能用”,答错一次可能归因于“模型今天不行”。评测要把这件事变成可重复的数字,而且要能说清楚“这个数字代表什么、不代表什么”。

一、五层用例,各考一件事 ​

90 条用例按层划分:

层数量考什么典型断言
A 政策30检索与引用关键词命中、至少 1 条引用、不得引用归档
B 工具25订单/物流工具工具名与状态、缺单号先追问、超时降级
C 硬转15四类风险必须转人工、类别正确
D 应拒答10库外问题必须拒答,不能编
E 多语言10西/法/德输出语言正确、政策数字与英文原文一致

用例写在 YAML 里,一条长这样:

yaml
- id: A-001
  layer: A
  question: "How long is the US return window?"
  context: {country: US, locale: en}
  expect:
    keywords: ["30 days"]
    citationsMin: 1
    noArchived: true
  note: "美国 30 天;同时挡住已归档的旧版 60 天"

noArchived 是这套评测里最有价值的一条断言。它不检查模型说了什么,而是检查引用里有没有归档切片——那是第三篇埋下的坑,也是人眼最难发现的一类错误。

B 层里有 5 条超时用例、3 条缺单号用例。超时用例同时标 refuse: true,因为降级路径本来就不生成答案;如果不标,会被“应作答却拒答”的规则误判成失败。C 层同理,硬转不生成答案,但还要额外断言 handoff.category。

这种“同一件事在两层都成立”的写法看起来啰嗦,但它让指标口径保持简单:拒答就是拒答,不管是因为高风险、降级还是证据不足。

二、严格加载:坏用例不能悄悄跳过 ​

评测最容易自欺的地方,是加载器容错太好:缺字段就跳过、重复 ID 就覆盖、层级写错就忽略。跑完得到一个漂亮分数,实际上少跑了十几条。

这里的 load_cases 是严格的:

  • 缺 id 或 question:直接报错;
  • id 重复:直接报错;
  • layer 不在 A/B/C/D/E:直接报错;
  • 同时期望 refuse: true 和 safety:直接报错,因为这两个出口互斥。

跑之前还会检查“某一层一条用例都没有”,并在报告里标出来。--limit 5 只用于冒烟,正式报告不会拿它当结果。

三、指标:五个数,各有各的陷阱 ​

报告里的核心指标只有五个:

指标口径防什么
检索命中率可回答题中,关键词出现在 topN 证据正文防止检索退化成随机
作答率可回答题中未拒答的比例和拒答准确率一起看
引用覆盖率已作答题目里,带引用步骤 / 全部步骤防止答案没依据
拒答准确率应拒且拒 + 明示缺口 + 应答且答 / 全部防止“全拒答”刷分
安全拦截率安全题被 safe 拦截的比例防止安全词失效

拒答准确率是最容易被做假的指标。如果只算“该拒的拒了”,那么一个“所有问题都拒答”的系统能拿满分。所以分母里包含应作答题,并且把“应拒答却作答”拆成两档:

  • 明示缺口:回答里明确说“资料里没有”,不算失败;
  • 编造作答:给出了像模像样的答案,算失败。

这个区分不是文字游戏。客服场景里,“我不知道”是可以接受的产品行为,“我猜一个”不是。

检索命中率用关键词做代理,是粗粒度的:换了说法但引用正确的回答会被低估。这一点写在 README 里,不假装它是语义匹配。

时延 p50/p90 只记录现状,不是目标值。同一台机器上跑、模型服务冷热不同,数字都会变。

四、评测跑的是生产管线 ​

评测不另写一套“理想流程”,而是直接调 run_turn:

python
outcome = run_turn(
    settings=settings, conn=conn, llm=llm, embedder=embedder,
    question=case.question, context=case.context,
)

这条决定很重要。如果评测自己拼提示词、自己调检索,那它测的是另一套系统;生产管线里的转人工短路、证据门、引用剥离,一个都不会被覆盖。

temperature=0,但推理模型仍有非确定性,所以每题只跑一次的结果只能当趋势看。多跑取多数票留到后续,没有在这个版本里做。

评测依赖真实 LLM 和 Ollama,不进 CI。CI 只跑离线单测:加载器、层级统计、指标计算。这是一个明确的边界——用 mock 模型跑出来的分数没有意义,不如不跑。

五、部署:三个容器,一张任务表 ​

docker compose up -d --build 起三个服务:

  • db:pgvector/pgvector:pg16,数据卷 cbecom_pgdata,宿主只绑 127.0.0.1:5435;
  • app:启动时先跑迁移、再建管理员,最后起 uvicorn;宿主 127.0.0.1:8002;
  • worker:同一个镜像,入口换成 python -m app.worker,常驻消费 jobs 表。

没有 Redis、没有 Celery。任务队列就是一张表:

sql
select id from jobs
 where status = 'queued'
 order by id
 for update skip locked
 limit 1;

SKIP LOCKED 让多个 worker 不会抢同一行;领取时写 heartbeat_at,worker 崩了由 reap_stale() 把超时任务放回队列;重试次数由 attempts 和 max_attempts 控制,超过就标 failed 并留下错误。

这套方案的上限很清楚:任务量不大时,少一个中间件就少一处故障;任务量上来后,数据库会成为瓶颈,届时再换队列也不迟。

六、上线前必须知道的边界 ​

  • 端口只绑本机。127.0.0.1:8002 和 127.0.0.1:5435 是刻意的,公网部署要自己加反向代理、TLS 和鉴权;
  • 演示故障开关。DEMO_FAULT_ENABLED=true 时才接受 X-Demo-Fault,生产必须关掉;
  • 模型与向量服务在容器外。默认连宿主机的 Ollama;embedding 服务不可用时,问答会降级,但不会静默返回空结果;
  • 评测报告不是性能保证。仓库里保留的是历史报告,没有完整的模型、硬件和配置快照,换模型或改语料必须重跑;
  • 数据是虚构的。15 条订单、13 份语料、品牌与客户全部虚构,不能直接当生产数据使用;
  • 没有多租户。一个部署一套库,商店、语言、政策都按单租户处理。

七、九篇之后 ​

回到最初的三条约束:

  • 政策不能编——所以有证据门、引用校验、拒答与知识缺口;
  • 订单不能猜——所以事实只来自工具,失败就降级,不润色;
  • 风险不能接——所以四类诉求在调模型之前就转人工。

这套系统不大,也没有用最新的框架。它更像一份“把边界写进代码”的样本:每个决定都能在代码里找到对应的 if,每个失败都有固定的出口,每个数字都能追到证据或工具字段。

如果要在真实业务里用它,优先补的不是模型,而是身份校验、订单归属、审计与外部工单回写。这些事没有一件能靠提示词解决。

本文阅读--次|全站访问--次|访客--人