跨境客服助手(二):两路召回加证据门,跨境政策还要过国家和有效期
假设知识库里同时躺着两份退货政策:一份新版写“美国 30 天”,一份旧版写“60 天”,旧版已经归档。
访客问“美国退货窗口多久”。稠密检索两份都能召回,BM25 两份都能命中,证据门一看条数够、分数高、覆盖率满分——放行。模型于是可能引用那条 60 天的旧政策,回答得有条有理,但它是错的。
这类错误靠提示词防不住。它必须在检索之后、生成之前,由代码把不合格的证据清出去,再重新判断“剩下的够不够回答”。
一、两路召回,各管一半
政策问答里,向量和关键词各有用处:
- 向量擅长“换了说法也能找到”。访客问“send it back”,文档写“return”,余弦相似度仍然高;
- BM25 擅长稀有词和精确匹配。型号、国家代码、
30 days这种数字,关键词命中比语义更可靠。
所以两路都跑,各取前 20:
dense = dense_search(conn, vector, top_k=20)
bm25 = index.search(tokens, top_k=20)
fused = rrf_fuse(dense, bm25, k=60)向量来自本机 Ollama 的 bge-m3,1024 维,pgvector 的 HNSW 余弦索引;BM25 是自己实现的,入库时用 jieba 的 cut_for_search 预分词存进 bm25_tokens,查询时用同一套分词,k1=1.5、b=0.75。
二、为什么是 RRF,不是分数加权
向量余弦分和 BM25 分量纲不同。直接加权要调系数,换一份语料、换一个 embedding 模型就得重调,而且调完很难解释“为什么这条排第一”。
RRF 只看名次:
score = Σ 1 / (k + rank)k=60 是常用值。它对两路召回的质量差异不敏感,不需要归一化,也不怕某一路突然整体偏高分。代价是丢掉了“差多少”的信息——但对“先跑通、再迭代”的阶段,这是划算的。
融合结果保留了两路的原始分数和来源标记(dense / bm25 / both),后台复盘时能看出来某条证据是语义召回的,还是关键词召回的。
三、先按正文去重,再截断到 12 条
13 份虚构语料里有不少共享模板的段落。同一个“配送时效”段落,可能在多份文档里一字不差地出现。
如果不去重,RRF 前几名会被这些重复切片占满,真正稀有的那条被挤出最终证据集——它可能只被 BM25 命中一次,却恰好是唯一回答了问题的切片。
所以融合之后先按正文去重,再取前 12 条:
fused = dedupe_by_content(fused, limit=12)12 这个数是折中:更少时,双路命中的模板切片容易把稀有条目挤出;再多,提示词变长、噪声变多,证据门反而更难判断。
四、跨境政策:过滤必须发生在证据门之前
通用检索模块只认 model / batch 这类机制性过滤。但“这条政策适用哪些国家、什么时候过期”是行业语义,按项目的分层约定,它不能写进 modules/retrieval,只能由 app/ 在检索之后注入。
于是时序变成:
过滤逻辑在 app/retrieval_policy.py,只查一次 chunks.meta_json,因为文档级元数据在入库时已经下放到每条切片:
def _drop_reason(meta, *, country, today):
status = str(meta.get("status") or "").lower()
if status in {"archived", "expired", "superseded", "disabled"}:
return "inactive"
expiry = _as_date(meta.get("expiresOn"))
if expiry is not None and expiry < today:
return "expired"
applies = {str(item).strip().upper() for item in meta.get("appliesTo") or []}
if country and applies and country.strip().upper() not in applies:
return "country"
return None三个丢弃原因分别对应三种坑:归档文档、过期文档、不适用当前国家的政策。
关键点是过滤后必须重算证据门。hits、top_score、coverage 都在这批证据上算;少了几条,可能从“过”变成“不过”。这正是想要的效果:宁可拒答,也不拿不适用的政策凑数。
五、证据门的三条硬指标
证据门在 modules/evidence/gate.py,只关心两件事:正文和向量分。
if hits < min_hits: # 默认 1
return GateResult(False, "gap", ...)
if top_score is not None and top_score < min_score: # 默认 0.35
return GateResult(False, "gap", ...)
if coverage < min_coverage: # 默认 0.5
return GateResult(False, "gap", ...)三条指标各挡一种情况:
- 命中条数:一条都没有,直接拒;
- 最高向量分:有结果但都“不像”,这是幻觉高发区;
- 查询词覆盖率:问题里的实词有多少在证据正文里出现过,防止“只搜到一个词就答”。
覆盖率有一个容易忽略的细节:先剔除问句骨架(what、how、the、my 这类),只留业务名词和数字。否则一句“How long is the return window?”的覆盖率会被虚高。
还有一个跨语种的例外:德语问题问退款,英文证据里不可能出现德语词,覆盖率天然低。实测德语问题的覆盖率在 0.125–0.14 之间,如果仍按 0.5 判,会全部误杀。所以非英语提问把覆盖率阈值放宽到 0.10,但命中数和向量分仍然照常要求。
六、多版本冲突:按同一份文档比较
即使旧版被标了 archived 并禁用,系统里仍可能出现同一政策的两个现行版本,比如产品 FAQ 和 B2B FAQ 对同一问题给了不同数字。
冲突检测取前三条证据的文档标识,按同一份文档分组比较,而不是按证据 ID 前缀。这里踩过坑:两类 FAQ 的证据前缀都是 FQ,只看前缀会把两份不同文档误判成同一份政策的两版。
conflict_docs = retrieval_policy.doc_codes(
conn, [item.evidence_id for item in retrieval.items[:3]]
)
outcome.conflict = detect_conflict(retrieval.items, doc_codes=conflict_docs)检出冲突不会直接拒答,而是随 SSE 发一个 conflict 事件,让前端提示“资料中存在不同版本”。这比悄悄选一个更像负责。
七、这套检索现在不做什么
- 没有接重排。本机 Ollama 的 reranker 实测不可用,
RERANKER_PROVIDER默认none,只用 RRF;代码里留了候选窗口,将来接上只换这一层; - 不做查询改写。多轮对话里“那英国呢”这种省略问法,仍然靠会话上下文里的国家兜底,不做单独的问题重写;
- BM25 不支持国家过滤。所以融合后要再筛一遍,否则会串国家。
下一篇往回走一步:这些切片是怎么进来的。700 字的切片上限、页码归属、归档状态,都是在那条流水线上决定的。