Skip to content

第 6 章:重排,把"差不多"筛成"确实" ​

召回负责不漏,重排负责不滥。前者决定上限,后者决定模型最终读到什么。


学习目标 ​

  • 说清双塔与交叉编码器的本质差别
  • 会在 RAG 里接入一个 reranker,并控制它的输入长度
  • 知道什么时候不该重排
  • 用 recall@3 前后对比,判断重排到底有没有用

6.1 两种模型的本质差别 ​

一个"各自编码",一个"一起看"双塔(召回用):问题和文档从没见过面问题文本编码器 A文档文本编码器 B=两个向量算余弦:快,但"没见过面"文档可以预先编码,10 万条也能秒查交叉编码器(重排用):拼在一起过模型[问题] + [文档] 拼接一个模型直接输出"相关性分数",能捕捉词序与否定但每对都要过一次模型:30 对 ≈ 30 次推理文档无法预先编码,这是它慢的根本原因所以分工:召回用双塔"筛出 30 条",重排用交叉编码器"从 30 条里挑 3 条"。反过来(用交叉编码器扫全库)在工程上不可行。

6.2 三种接入方式 ​

方式模型优点代价
本地 cross-encoderBAAI/bge-reranker-base 等免费、数据不出内网占 CPU/GPU,几十毫秒/对
托管 rerank APICohere Rerank、Jina Reranker 等免部署、多语言按次收费,多一次网络往返
用 LLM 打分让模型输出 0–10 分灵活、可解释最贵、最慢,不适合线上

小项目建议本地 bge-reranker-base:够用、可控、不花钱。量大再考虑 API。


6.3 输入长度:必须截断 ​

交叉编码器有最大输入长度(常见 512 token)。query + 文档 拼起来超了就会被截断,被截掉的部分等于没参与打分。

python
from sentence_transformers import CrossEncoder

reranker = CrossEncoder("BAAI/bge-reranker-base", max_length=512)

def rerank(query, candidates, top_n=5):
    pairs = [(query, c.payload["text"][:1500]) for c in candidates]   # 先按字符粗截
    scores = reranker.predict(pairs)
    ranked = sorted(zip(candidates, scores), key=lambda x: -x[1])
    return ranked[:top_n]

两条实操规则:

  • 片段本身别超过 ~400 汉字(正好对应第 3 章的切分建议);
  • 超长的片段,截头还是截尾要看内容:说明书类的结论常在段尾,先别急着截尾。

6.4 延迟预算怎么算 ​

环节典型耗时
embedding(查询)10–40 ms
稠密检索(30 条)5–20 ms
关键词检索5–15 ms
重排 30 对300–900 ms(CPU)
生成(首 token)300–1500 ms

重排很容易变成最大的一块。三个办法:

  1. 减候选数:30 → 15,延迟直接减半;
  2. 批处理:一次 predict 传所有对,比循环调用快得多;
  3. 只对"分数接近"的候选重排:如果稠密分数第 1 名遥遥领先,前 3 名内部重排即可。

6.5 分数不是概率 ​

重排模型输出的是相对排序依据,不是"相关概率"。所以:

  • 不要用"低于 0.5 就丢弃"这类固定阈值——换个模型或换批数据就失效;
  • 正确做法是固定取前 N,再看第 N 名和第 N+1 名的分数差,差很大说明 N 选得合适;
  • 需要"是否拒答"的判断,交给第 7 章的上下文预算和第 8 章的引用规则,别指望重排分数。

6.6 什么时候不该重排 ​

情况建议
延迟预算 < 500 ms跳过,或只对前 10 条重排
候选质量已经很好(recall@3 > 0.9)收益有限,可省
文档都是短句(< 100 字)双塔已经够准
需要严格可解释重排给不出"为什么",要靠引用

判断标准是数据,不是感觉:跑一次"有重排 / 无重排"的 recall@3 对比,涨不到 5 个点就别加。


6.7 两段式的完整流程 ​


6.8 验证重排是否值得 ​

同一个测试集,跑两次:

python
def evaluate(retrieve_fn, golden, k=3):
    hit = 0
    for item in golden:
        got = [p.id for p in retrieve_fn(item["q"], k)]
        if any(g in got for g in item["gold"]):
            hit += 1
    return hit / len(golden)

print("无重排 recall@3", evaluate(no_rerank, golden))
print("有重排 recall@3", evaluate(with_rerank, golden))

如果"有重排"反而更低,八成是截断把答案截掉了——这是最常见的翻车方式。


本章小结 ​

要点说明
结构差别双塔各自编码,交叉编码器拼一起
分工召回 30 条,重排挑 3–5 条
三种接入本地模型、托管 API、LLM 打分
截断超长会丢信息,片段控制在 400 字内
延迟重排常是最大一块,减候选 + 批处理
分数相对排序,不是概率,别设固定阈值
该不该用看 recall@3 是否真涨

下一章 ​

挑出 3–5 条之后,怎么把它们摆进提示词——顺序、预算、去重,这一章决定模型"读到什么"。

本文阅读--次|全站访问--次|访客--人