第 5 章:检索:三路配合,且要能度量
检索的目标不是"找出最像的",而是"保证该出现的那条出现在候选池里"。
学习目标
- 配出稠密 + 关键词 + 过滤的三路检索
- 知道什么时候必须先过滤再检索(不是性能问题,是安全问题)
- 会做上下文扩展,把"半句答案"补成整段
- 建一个 50 条的小测试集,量出 recall@20
5.1 三路各自管什么
| 路 | 强项 | 弱项 | 典型查询 |
|---|---|---|---|
| 稠密(向量) | 同义、口语、跨语言 | 编号、型号、专有名词 | "怎么退货" |
| 关键词(BM25) | 精确串、稀有词 | 同义词、语序变化 | "A100"、"E1101" |
| 元数据过滤 | 缩小范围、隔离权限 | 不能单独用于语义 | "只看 2024 年的合同" |
三路不是三选一,是并联。 缺哪一路,就会在对应的查询类型上系统性失败。
5.2 稠密召回的两个参数
python
res = client.query_points(
collection_name=COL,
query=qvec,
limit=30, # 进候选池的数量
with_payload=True,
search_params=SearchParams(hnsw_ef=128),
)limit是候选池大小,不是最终给模型的条数。给模型的在第 6、7 章决定;- 别用分数阈值卡(比如"低于 0.7 丢弃")。余弦分数的分布随模型和数据变化,阈值一换模型就失效。固定 Top-K 更稳。
经验:候选池 20–50 条。少于 20 容易漏,多于 50 重排成本会吃掉延迟预算。
5.3 关键词路:中文要先分词
BM25 的核心是"词"。中文没有空格,直接按字切会得到一堆无意义的二元组。
python
import jieba
def tokenize(text: str) -> list[str]:
return [w for w in jieba.cut_for_search(text) if w.strip()]两种实现方式:
| 方式 | 做法 | 适合 |
|---|---|---|
| 稀疏向量进 Qdrant | 自己算 BM25 权重,转成 {index: weight} | 想一个库解决 |
| 外部引擎 | Elasticsearch / Meilisearch | 已有 ES、量大 |
稀疏向量的大致样子:
python
# 概念示意:词 → 维度,权重 → 值
sparse = {hash(w) % 2**20: bm25_weight(w) for w in tokenize(query)}再把稠密与稀疏两路用 RRF 融合(融合算法见向量库课第 5 章,这里不重复)。
5.4 过滤:先过滤还是后过滤
这不是性能问题,是正确性问题。
| 场景 | 必须先过滤 | 原因 |
|---|---|---|
| 多租户 / 多用户 | ✅ | 后过滤会把别人的文档召回到候选池,一旦日志或调试泄漏就是事故 |
| 权限分级(公开/内部/机密) | ✅ | 同上 |
| 时间范围(只要今年) | 可以后过滤 | 最多浪费算力 |
| 语言、文档类型 | 可以后过滤 | 无泄漏风险 |
Qdrant 的做法是把过滤条件带进查询,让索引层先缩小范围:
python
from qdrant_client.models import Filter, FieldCondition, MatchValue
flt = Filter(must=[
FieldCondition(key="tenant_id", match=MatchValue(value="t_42")),
])
res = client.query_points(collection_name=COL, query=qvec, limit=30, query_filter=flt)5.5 查询侧的两个技巧
① 多查询改写:让模型把用户问题改写成 2–3 个不同说法,分别检索再合并。
原问题:保修多久
改写:质保期是几年 / 保修政策 / 售后保修期限它能覆盖"用户用词和文档用词不一致"的情况,代价是多几次 embedding 和检索。
② HyDE(假设性回答):先让模型编一段"可能的答案",用这段答案去检索。原理是答案的用词更接近文档的用词。
风险很明显:模型编偏了,检索就跟着偏。只在反复出现"问了但搜不到"时再试。
5.6 上下文扩展:把半句补成整段
召回到一个片段,答案可能在它的前一段或后一段。
python
def expand_context(hit, window=1):
idx = hit.payload["chunk_index"]
neighbors = [idx - window, idx + window]
# 按 doc_id + chunk_index 过滤取出邻居,和命中片段一起给模型| 方式 | 效果 | 成本 |
|---|---|---|
| 前后各取 1 段 | 补全被切开的意思 | 上下文翻 3 倍 |
| 按 section 取整节 | 上下文完整 | 可能很长,要截断 |
| 不扩展 | 省 token | 答案容易缺条件 |
建议:先按 section 取整节、再按 token 预算截断,比机械取邻居更自然。
5.7 量召回率:最小测试集
不需要 500 条,50 条就够看出问题。
格式很简单,一个问题对应"正确片段的 id"(人工标):
json
[
{"q": "A100 保修几年", "gold": ["a100_p12_c03"]},
{"q": "退款多久到账", "gold": ["faq_p3_c01", "faq_p3_c02"]}
]然后:
python
hits = 0
for item in golden:
got = [p.id for p in retrieve(item["q"], k=20)]
if any(g in got for g in item["gold"]):
hits += 1
print("recall@20 =", hits / len(golden))**这个数字比任何体感都可靠。**改切分、改 K、加关键词路之后,各跑一遍,看它是升是降。
5.8 检索器长这样
python
class HybridRetriever:
def __init__(self, client, model, col, k=30):
self.client, self.model, self.col, self.k = client, model, col, k
def search(self, query: str, tenant: str | None = None):
qvec = self.model.encode([query], normalize_embeddings=True)[0].tolist()
flt = Filter(must=[FieldCondition(key="tenant_id", match=MatchValue(value=tenant)])] if tenant else None
dense = self.client.query_points(self.col, query=qvec, limit=self.k,
query_filter=flt, with_payload=True).points
sparse = self._bm25_search(query, tenant, self.k) # 关键词路
return rrf_merge([dense, sparse]) # 融合,见向量库课5.9 三路怎么并起来
注意三件事的顺序:过滤在检索前、融合在检索后、扩展在融合后。顺序反过来,要么泄漏数据,要么把融合分算错。
本章小结
| 要点 | 说明 |
|---|---|
| 三路并联 | 稠密、关键词、过滤,缺一路就系统性失败 |
| 候选池 | 20–50,别用分数阈值 |
| 中文 BM25 | 先分词,再算权重 |
| 过滤顺序 | 权限/租户必须先过滤 |
| 改写与 HyDE | 解决用词不一致,有编偏风险 |
| 上下文扩展 | 按 section 取整节,比取邻居自然 |
| 度量 | 50 条测试集,recall@20 |
下一章
候选池有了,但排序未必对。下一章讲重排:把 30 条里真正该用的 3 条挑出来。