Skip to content

跨境客服助手(二):两路召回加证据门,跨境政策还要过国家和有效期 ​

假设知识库里同时躺着两份退货政策:一份新版写“美国 30 天”,一份旧版写“60 天”,旧版已经归档。

访客问“美国退货窗口多久”。稠密检索两份都能召回,BM25 两份都能命中,证据门一看条数够、分数高、覆盖率满分——放行。模型于是可能引用那条 60 天的旧政策,回答得有条有理,但它是错的。

这类错误靠提示词防不住。它必须在检索之后、生成之前,由代码把不合格的证据清出去,再重新判断“剩下的够不够回答”。

一、两路召回,各管一半 ​

政策问答里,向量和关键词各有用处:

  • 向量擅长“换了说法也能找到”。访客问“send it back”,文档写“return”,余弦相似度仍然高;
  • BM25 擅长稀有词和精确匹配。型号、国家代码、30 days 这种数字,关键词命中比语义更可靠。

所以两路都跑,各取前 20:

python
dense = dense_search(conn, vector, top_k=20)
bm25 = index.search(tokens, top_k=20)
fused = rrf_fuse(dense, bm25, k=60)

向量来自本机 Ollama 的 bge-m3,1024 维,pgvector 的 HNSW 余弦索引;BM25 是自己实现的,入库时用 jieba 的 cut_for_search 预分词存进 bm25_tokens,查询时用同一套分词,k1=1.5、b=0.75。

二、为什么是 RRF,不是分数加权 ​

向量余弦分和 BM25 分量纲不同。直接加权要调系数,换一份语料、换一个 embedding 模型就得重调,而且调完很难解释“为什么这条排第一”。

RRF 只看名次:

text
score = Σ 1 / (k + rank)

k=60 是常用值。它对两路召回的质量差异不敏感,不需要归一化,也不怕某一路突然整体偏高分。代价是丢掉了“差多少”的信息——但对“先跑通、再迭代”的阶段,这是划算的。

融合结果保留了两路的原始分数和来源标记(dense / bm25 / both),后台复盘时能看出来某条证据是语义召回的,还是关键词召回的。

三、先按正文去重,再截断到 12 条 ​

13 份虚构语料里有不少共享模板的段落。同一个“配送时效”段落,可能在多份文档里一字不差地出现。

如果不去重,RRF 前几名会被这些重复切片占满,真正稀有的那条被挤出最终证据集——它可能只被 BM25 命中一次,却恰好是唯一回答了问题的切片。

所以融合之后先按正文去重,再取前 12 条:

python
fused = dedupe_by_content(fused, limit=12)

12 这个数是折中:更少时,双路命中的模板切片容易把稀有条目挤出;再多,提示词变长、噪声变多,证据门反而更难判断。

四、跨境政策:过滤必须发生在证据门之前 ​

通用检索模块只认 model / batch 这类机制性过滤。但“这条政策适用哪些国家、什么时候过期”是行业语义,按项目的分层约定,它不能写进 modules/retrieval,只能由 app/ 在检索之后注入。

于是时序变成:

过滤逻辑在 app/retrieval_policy.py,只查一次 chunks.meta_json,因为文档级元数据在入库时已经下放到每条切片:

python
def _drop_reason(meta, *, country, today):
    status = str(meta.get("status") or "").lower()
    if status in {"archived", "expired", "superseded", "disabled"}:
        return "inactive"
    expiry = _as_date(meta.get("expiresOn"))
    if expiry is not None and expiry < today:
        return "expired"
    applies = {str(item).strip().upper() for item in meta.get("appliesTo") or []}
    if country and applies and country.strip().upper() not in applies:
        return "country"
    return None

三个丢弃原因分别对应三种坑:归档文档、过期文档、不适用当前国家的政策。

关键点是过滤后必须重算证据门。hits、top_score、coverage 都在这批证据上算;少了几条,可能从“过”变成“不过”。这正是想要的效果:宁可拒答,也不拿不适用的政策凑数。

五、证据门的三条硬指标 ​

证据门在 modules/evidence/gate.py,只关心两件事:正文和向量分。

python
if hits < min_hits:                 # 默认 1
    return GateResult(False, "gap", ...)
if top_score is not None and top_score < min_score:   # 默认 0.35
    return GateResult(False, "gap", ...)
if coverage < min_coverage:         # 默认 0.5
    return GateResult(False, "gap", ...)

三条指标各挡一种情况:

  • 命中条数:一条都没有,直接拒;
  • 最高向量分:有结果但都“不像”,这是幻觉高发区;
  • 查询词覆盖率:问题里的实词有多少在证据正文里出现过,防止“只搜到一个词就答”。

覆盖率有一个容易忽略的细节:先剔除问句骨架(what、how、the、my 这类),只留业务名词和数字。否则一句“How long is the return window?”的覆盖率会被虚高。

还有一个跨语种的例外:德语问题问退款,英文证据里不可能出现德语词,覆盖率天然低。实测德语问题的覆盖率在 0.125–0.14 之间,如果仍按 0.5 判,会全部误杀。所以非英语提问把覆盖率阈值放宽到 0.10,但命中数和向量分仍然照常要求。

六、多版本冲突:按同一份文档比较 ​

即使旧版被标了 archived 并禁用,系统里仍可能出现同一政策的两个现行版本,比如产品 FAQ 和 B2B FAQ 对同一问题给了不同数字。

冲突检测取前三条证据的文档标识,按同一份文档分组比较,而不是按证据 ID 前缀。这里踩过坑:两类 FAQ 的证据前缀都是 FQ,只看前缀会把两份不同文档误判成同一份政策的两版。

python
conflict_docs = retrieval_policy.doc_codes(
    conn, [item.evidence_id for item in retrieval.items[:3]]
)
outcome.conflict = detect_conflict(retrieval.items, doc_codes=conflict_docs)

检出冲突不会直接拒答,而是随 SSE 发一个 conflict 事件,让前端提示“资料中存在不同版本”。这比悄悄选一个更像负责。

七、这套检索现在不做什么 ​

  • 没有接重排。本机 Ollama 的 reranker 实测不可用,RERANKER_PROVIDER 默认 none,只用 RRF;代码里留了候选窗口,将来接上只换这一层;
  • 不做查询改写。多轮对话里“那英国呢”这种省略问法,仍然靠会话上下文里的国家兜底,不做单独的问题重写;
  • BM25 不支持国家过滤。所以融合后要再筛一遍,否则会串国家。

下一篇往回走一步:这些切片是怎么进来的。700 字的切片上限、页码归属、归档状态,都是在那条流水线上决定的。

本文阅读--次|全站访问--次|访客--人