Skip to content

跨境客服助手(四):订单别让模型猜:工具调用、超时降级与故障注入 ​

订单查询是客服系统里最容易出事故的地方。

政策答错了,客户还能翻条款;订单答错了,客户会按你给的时间等货、按你给的状态决定要不要退款。而订单系统会超时、会报错、会查不到单号——这些都不是模型能“圆”过去的。

所以这条链路的底线只有一句:事实只能来自工具返回值;工具没给,就不说。

一、两个工具,一个选择函数 ​

演示项目里只有两个工具:

工具参数返回
query_orderorder_no订单状态、支付状态、收货城市/国家、物流概览、异常标记
query_logisticstracking_no承运商、最新节点、预计送达、最近三条轨迹、异常标记

它们读的是数据库里的 15 条虚构订单,不调任何外部平台。工具选择不交给模型,而是由分流结果决定:

python
def plan(structured):
    intent = structured.get("intent")
    order_no = structured.get("orderNo")
    tracking_no = structured.get("trackingNo")
    if intent == "logistics":
        if tracking_no:
            return ToolPlan("query_logistics", "tracking_no", str(tracking_no))
        if order_no:
            return ToolPlan("query_order", "order_no", str(order_no))
        return None
    if intent == "order" and order_no:
        return ToolPlan("query_order", "order_no", str(order_no))
    return None

返回 None 有两种情况:没有可查的参数,交给追问卡;或者这根本不是事实类问题。

值得注意的是“写请求”。取消订单、修改地址这类诉求,系统没有对应工具。不是没来得及做,而是这类写操作必须有人负责。它们会被转人工规则归到退款类,走人工处理。

二、成功路径也不让模型润色 ​

工具返回后,回答由固定模板拼接:

python
lines = [f"Order {order_no} is currently {status}."]
if payment:
    lines.append(f"Payment status: {payment}.")
if city or country:
    lines.append(f"Shipping to: {', '.join(...)}.")
if tracking:
    line = f"Tracking {tracking} via {carrier}."
    if node:
        line += f" Latest update: {node}."
    if eta:
        line += f" Estimated delivery: {eta}."
    lines.append(line)

字段缺了就少一行,不补“预计很快送达”这种话。

异常状态有单独的固定说明,比如 customs_hold 会解释“卡在清关,承运商放行后继续派送”,lost 会说明“承运商已标记丢失,将由人工安排补发或退款——退款不由本助手批准”。每一句都不推测、不承诺。

这套模板的英文读起来不如模型润色自然,但它是可审计的:任何一个数字都能追到工具返回的字段。客服系统里,可审计比流畅重要。

三、失败分两种,处理方向相反 ​

工具执行统一走超时包装,默认 5 秒:

python
def call():
    if fault == "tool_timeout":
        time.sleep(timeout_s + 0.3)     # 演示:稳定触发超时
    if fault == "not_found":
        return None
    return fn(conn, tool_plan.value)

return run(call, timeout_s=timeout_s)

失败分成两类,处理方式刻意不同:

状态含义回答是否转人工
not_found单号在系统里不存在提示核对单号格式(WB-10001)否
timeout / error系统没响应或报错固定降级话术是,强制

为什么 not_found 不转人工?因为这是一件我们能确定的事:这个单号不在库里。让客户先核对,比直接把人工坐席占满更合理。

为什么超时必须转人工?因为我们不知道订单现在是什么状态。这时候任何“应该快到了”都是编的,只能交给能看实时状态的人。

降级话术是固定的:

I can't check your order right now: our order system didn't respond in time. Rather than guess an arrival date, I'm connecting you to a human agent who can see the live status.

四、异常路径不发“半成品答案” ​

SSE 的事件设计在这里有一个硬约束:降级时不发 steps。

python
if outcome.degraded:
    yield sse_event("degraded", {**outcome.degraded, "messageId": message_id})
    yield sse_event("done", {"refused": True, "citationsCount": 0, ...})
    return

steps 在正常路径里代表“回答的第一步、第二步”,前端会把它渲染成带引用的正文。如果降级也发 steps,页面上就会出现一段看起来像答案的文字,客户很可能只读那段,忽略下面的转人工提示。

宁可只发一张降级卡,也不给中间态。

工具事件则照常发,包含工具名、参数、状态和耗时:

json
{
  "name": "query_logistics",
  "status": "timeout",
  "latencyMs": 5003,
  "args": {"tracking_no": "1Z..."}
}

前端据此显示“已查询物流 / 超时”,而不是让用户面对一段没有来由的话。每次调用还会落 tool_calls 表,留痕失败不影响回答。

五、把故障变成可演示的一等公民 ​

超时路径最难测,因为你没法让真实系统“按时慢 5 秒”。

项目里加了一个演示开关:只在本机或演示站设置 DEMO_FAULT_ENABLED=true 时,才接受请求头 X-Demo-Fault。取值 tool_timeout 或 not_found,由工具层注入:

bash
curl -N http://localhost:8002/chat \
  -H 'Content-Type: application/json' \
  -H 'X-Demo-Fault: tool_timeout' \
  -d '{"sessionId":"ses-1","question":"Where is my order WB-10001?"}'

生产后端会忽略这个头。它不是一个隐藏后门,而是把“失败也是产品的一部分”写进了演示脚本:评测里的 5 条超时用例、前台演示里的降级卡片,都靠它稳定复现。

访客浮层里查询虚构订单:回答给出订单状态、承运商、最新物流节点与预计送达,下方是本次工具调用的记录

六、接真实订单系统时要补什么 ​

当前工具是 mock 实现,边界很清楚:它只证明“事实来自工具、失败有兜底”,不代表已经完成平台接入。

接真实系统时,至少还要补三件事:

  1. 身份与归属校验。前端传来的 orderNo 只是上下文,不是授权凭证;必须在服务端验证商店、访客身份和订单归属;
  2. 字段裁剪。真实订单里有地址、电话、支付信息,返回给模型和前端之前要裁到最小必要字段;
  3. 审计与限流。谁在什么时候查了哪一单,要能追溯;外部 API 要有独立的超时、重试和熔断策略。

这三件事都不在“模型”这一层,但它们决定这个客服系统能不能上线。

订单这条路的尽头是工具;另一条路的尽头是人。下一篇讲四类必须转人工的诉求,以及为什么只匹配“退款”两个字会把正常咨询一起误伤。

本文阅读--次|全站访问--次|访客--人