跨境客服助手(四):订单别让模型猜:工具调用、超时降级与故障注入
订单查询是客服系统里最容易出事故的地方。
政策答错了,客户还能翻条款;订单答错了,客户会按你给的时间等货、按你给的状态决定要不要退款。而订单系统会超时、会报错、会查不到单号——这些都不是模型能“圆”过去的。
所以这条链路的底线只有一句:事实只能来自工具返回值;工具没给,就不说。
一、两个工具,一个选择函数
演示项目里只有两个工具:
| 工具 | 参数 | 返回 |
|---|---|---|
query_order | order_no | 订单状态、支付状态、收货城市/国家、物流概览、异常标记 |
query_logistics | tracking_no | 承运商、最新节点、预计送达、最近三条轨迹、异常标记 |
它们读的是数据库里的 15 条虚构订单,不调任何外部平台。工具选择不交给模型,而是由分流结果决定:
def plan(structured):
intent = structured.get("intent")
order_no = structured.get("orderNo")
tracking_no = structured.get("trackingNo")
if intent == "logistics":
if tracking_no:
return ToolPlan("query_logistics", "tracking_no", str(tracking_no))
if order_no:
return ToolPlan("query_order", "order_no", str(order_no))
return None
if intent == "order" and order_no:
return ToolPlan("query_order", "order_no", str(order_no))
return None返回 None 有两种情况:没有可查的参数,交给追问卡;或者这根本不是事实类问题。
值得注意的是“写请求”。取消订单、修改地址这类诉求,系统没有对应工具。不是没来得及做,而是这类写操作必须有人负责。它们会被转人工规则归到退款类,走人工处理。
二、成功路径也不让模型润色
工具返回后,回答由固定模板拼接:
lines = [f"Order {order_no} is currently {status}."]
if payment:
lines.append(f"Payment status: {payment}.")
if city or country:
lines.append(f"Shipping to: {', '.join(...)}.")
if tracking:
line = f"Tracking {tracking} via {carrier}."
if node:
line += f" Latest update: {node}."
if eta:
line += f" Estimated delivery: {eta}."
lines.append(line)字段缺了就少一行,不补“预计很快送达”这种话。
异常状态有单独的固定说明,比如 customs_hold 会解释“卡在清关,承运商放行后继续派送”,lost 会说明“承运商已标记丢失,将由人工安排补发或退款——退款不由本助手批准”。每一句都不推测、不承诺。
这套模板的英文读起来不如模型润色自然,但它是可审计的:任何一个数字都能追到工具返回的字段。客服系统里,可审计比流畅重要。
三、失败分两种,处理方向相反
工具执行统一走超时包装,默认 5 秒:
def call():
if fault == "tool_timeout":
time.sleep(timeout_s + 0.3) # 演示:稳定触发超时
if fault == "not_found":
return None
return fn(conn, tool_plan.value)
return run(call, timeout_s=timeout_s)失败分成两类,处理方式刻意不同:
| 状态 | 含义 | 回答 | 是否转人工 |
|---|---|---|---|
not_found | 单号在系统里不存在 | 提示核对单号格式(WB-10001) | 否 |
timeout / error | 系统没响应或报错 | 固定降级话术 | 是,强制 |
为什么 not_found 不转人工?因为这是一件我们能确定的事:这个单号不在库里。让客户先核对,比直接把人工坐席占满更合理。
为什么超时必须转人工?因为我们不知道订单现在是什么状态。这时候任何“应该快到了”都是编的,只能交给能看实时状态的人。
降级话术是固定的:
I can't check your order right now: our order system didn't respond in time. Rather than guess an arrival date, I'm connecting you to a human agent who can see the live status.
四、异常路径不发“半成品答案”
SSE 的事件设计在这里有一个硬约束:降级时不发 steps。
if outcome.degraded:
yield sse_event("degraded", {**outcome.degraded, "messageId": message_id})
yield sse_event("done", {"refused": True, "citationsCount": 0, ...})
returnsteps 在正常路径里代表“回答的第一步、第二步”,前端会把它渲染成带引用的正文。如果降级也发 steps,页面上就会出现一段看起来像答案的文字,客户很可能只读那段,忽略下面的转人工提示。
宁可只发一张降级卡,也不给中间态。
工具事件则照常发,包含工具名、参数、状态和耗时:
{
"name": "query_logistics",
"status": "timeout",
"latencyMs": 5003,
"args": {"tracking_no": "1Z..."}
}前端据此显示“已查询物流 / 超时”,而不是让用户面对一段没有来由的话。每次调用还会落 tool_calls 表,留痕失败不影响回答。
五、把故障变成可演示的一等公民
超时路径最难测,因为你没法让真实系统“按时慢 5 秒”。
项目里加了一个演示开关:只在本机或演示站设置 DEMO_FAULT_ENABLED=true 时,才接受请求头 X-Demo-Fault。取值 tool_timeout 或 not_found,由工具层注入:
curl -N http://localhost:8002/chat \
-H 'Content-Type: application/json' \
-H 'X-Demo-Fault: tool_timeout' \
-d '{"sessionId":"ses-1","question":"Where is my order WB-10001?"}'生产后端会忽略这个头。它不是一个隐藏后门,而是把“失败也是产品的一部分”写进了演示脚本:评测里的 5 条超时用例、前台演示里的降级卡片,都靠它稳定复现。

六、接真实订单系统时要补什么
当前工具是 mock 实现,边界很清楚:它只证明“事实来自工具、失败有兜底”,不代表已经完成平台接入。
接真实系统时,至少还要补三件事:
- 身份与归属校验。前端传来的
orderNo只是上下文,不是授权凭证;必须在服务端验证商店、访客身份和订单归属; - 字段裁剪。真实订单里有地址、电话、支付信息,返回给模型和前端之前要裁到最小必要字段;
- 审计与限流。谁在什么时候查了哪一单,要能追溯;外部 API 要有独立的超时、重试和熔断策略。
这三件事都不在“模型”这一层,但它们决定这个客服系统能不能上线。
订单这条路的尽头是工具;另一条路的尽头是人。下一篇讲四类必须转人工的诉求,以及为什么只匹配“退款”两个字会把正常咨询一起误伤。