第 6 章:重排,把"差不多"筛成"确实"
召回负责不漏,重排负责不滥。前者决定上限,后者决定模型最终读到什么。
学习目标
- 说清双塔与交叉编码器的本质差别
- 会在 RAG 里接入一个 reranker,并控制它的输入长度
- 知道什么时候不该重排
- 用 recall@3 前后对比,判断重排到底有没有用
6.1 两种模型的本质差别
6.2 三种接入方式
| 方式 | 模型 | 优点 | 代价 |
|---|---|---|---|
| 本地 cross-encoder | BAAI/bge-reranker-base 等 | 免费、数据不出内网 | 占 CPU/GPU,几十毫秒/对 |
| 托管 rerank API | Cohere Rerank、Jina Reranker 等 | 免部署、多语言 | 按次收费,多一次网络往返 |
| 用 LLM 打分 | 让模型输出 0–10 分 | 灵活、可解释 | 最贵、最慢,不适合线上 |
小项目建议本地 bge-reranker-base:够用、可控、不花钱。量大再考虑 API。
6.3 输入长度:必须截断
交叉编码器有最大输入长度(常见 512 token)。query + 文档 拼起来超了就会被截断,被截掉的部分等于没参与打分。
python
from sentence_transformers import CrossEncoder
reranker = CrossEncoder("BAAI/bge-reranker-base", max_length=512)
def rerank(query, candidates, top_n=5):
pairs = [(query, c.payload["text"][:1500]) for c in candidates] # 先按字符粗截
scores = reranker.predict(pairs)
ranked = sorted(zip(candidates, scores), key=lambda x: -x[1])
return ranked[:top_n]两条实操规则:
- 片段本身别超过 ~400 汉字(正好对应第 3 章的切分建议);
- 超长的片段,截头还是截尾要看内容:说明书类的结论常在段尾,先别急着截尾。
6.4 延迟预算怎么算
| 环节 | 典型耗时 |
|---|---|
| embedding(查询) | 10–40 ms |
| 稠密检索(30 条) | 5–20 ms |
| 关键词检索 | 5–15 ms |
| 重排 30 对 | 300–900 ms(CPU) |
| 生成(首 token) | 300–1500 ms |
重排很容易变成最大的一块。三个办法:
- 减候选数:30 → 15,延迟直接减半;
- 批处理:一次
predict传所有对,比循环调用快得多; - 只对"分数接近"的候选重排:如果稠密分数第 1 名遥遥领先,前 3 名内部重排即可。
6.5 分数不是概率
重排模型输出的是相对排序依据,不是"相关概率"。所以:
- 不要用"低于 0.5 就丢弃"这类固定阈值——换个模型或换批数据就失效;
- 正确做法是固定取前 N,再看第 N 名和第 N+1 名的分数差,差很大说明 N 选得合适;
- 需要"是否拒答"的判断,交给第 7 章的上下文预算和第 8 章的引用规则,别指望重排分数。
6.6 什么时候不该重排
| 情况 | 建议 |
|---|---|
| 延迟预算 < 500 ms | 跳过,或只对前 10 条重排 |
| 候选质量已经很好(recall@3 > 0.9) | 收益有限,可省 |
| 文档都是短句(< 100 字) | 双塔已经够准 |
| 需要严格可解释 | 重排给不出"为什么",要靠引用 |
判断标准是数据,不是感觉:跑一次"有重排 / 无重排"的 recall@3 对比,涨不到 5 个点就别加。
6.7 两段式的完整流程
6.8 验证重排是否值得
同一个测试集,跑两次:
python
def evaluate(retrieve_fn, golden, k=3):
hit = 0
for item in golden:
got = [p.id for p in retrieve_fn(item["q"], k)]
if any(g in got for g in item["gold"]):
hit += 1
return hit / len(golden)
print("无重排 recall@3", evaluate(no_rerank, golden))
print("有重排 recall@3", evaluate(with_rerank, golden))如果"有重排"反而更低,八成是截断把答案截掉了——这是最常见的翻车方式。
本章小结
| 要点 | 说明 |
|---|---|
| 结构差别 | 双塔各自编码,交叉编码器拼一起 |
| 分工 | 召回 30 条,重排挑 3–5 条 |
| 三种接入 | 本地模型、托管 API、LLM 打分 |
| 截断 | 超长会丢信息,片段控制在 400 字内 |
| 延迟 | 重排常是最大一块,减候选 + 批处理 |
| 分数 | 相对排序,不是概率,别设固定阈值 |
| 该不该用 | 看 recall@3 是否真涨 |
下一章
挑出 3–5 条之后,怎么把它们摆进提示词——顺序、预算、去重,这一章决定模型"读到什么"。