Skip to content

第 5 章:检索:三路配合,且要能度量 ​

检索的目标不是"找出最像的",而是"保证该出现的那条出现在候选池里"。


学习目标 ​

  • 配出稠密 + 关键词 + 过滤的三路检索
  • 知道什么时候必须先过滤再检索(不是性能问题,是安全问题)
  • 会做上下文扩展,把"半句答案"补成整段
  • 建一个 50 条的小测试集,量出 recall@20

5.1 三路各自管什么 ​

路强项弱项典型查询
稠密(向量)同义、口语、跨语言编号、型号、专有名词"怎么退货"
关键词(BM25)精确串、稀有词同义词、语序变化"A100"、"E1101"
元数据过滤缩小范围、隔离权限不能单独用于语义"只看 2024 年的合同"

三路不是三选一,是并联。 缺哪一路,就会在对应的查询类型上系统性失败。


5.2 稠密召回的两个参数 ​

python
res = client.query_points(
    collection_name=COL,
    query=qvec,
    limit=30,                          # 进候选池的数量
    with_payload=True,
    search_params=SearchParams(hnsw_ef=128),
)
  • limit 是候选池大小,不是最终给模型的条数。给模型的在第 6、7 章决定;
  • 别用分数阈值卡(比如"低于 0.7 丢弃")。余弦分数的分布随模型和数据变化,阈值一换模型就失效。固定 Top-K 更稳。

经验:候选池 20–50 条。少于 20 容易漏,多于 50 重排成本会吃掉延迟预算。


5.3 关键词路:中文要先分词 ​

BM25 的核心是"词"。中文没有空格,直接按字切会得到一堆无意义的二元组。

python
import jieba

def tokenize(text: str) -> list[str]:
    return [w for w in jieba.cut_for_search(text) if w.strip()]

两种实现方式:

方式做法适合
稀疏向量进 Qdrant自己算 BM25 权重,转成 {index: weight}想一个库解决
外部引擎Elasticsearch / Meilisearch已有 ES、量大

稀疏向量的大致样子:

python
# 概念示意:词 → 维度,权重 → 值
sparse = {hash(w) % 2**20: bm25_weight(w) for w in tokenize(query)}

再把稠密与稀疏两路用 RRF 融合(融合算法见向量库课第 5 章,这里不重复)。


5.4 过滤:先过滤还是后过滤 ​

这不是性能问题,是正确性问题。

场景必须先过滤原因
多租户 / 多用户✅后过滤会把别人的文档召回到候选池,一旦日志或调试泄漏就是事故
权限分级(公开/内部/机密)✅同上
时间范围(只要今年)可以后过滤最多浪费算力
语言、文档类型可以后过滤无泄漏风险

Qdrant 的做法是把过滤条件带进查询,让索引层先缩小范围:

python
from qdrant_client.models import Filter, FieldCondition, MatchValue

flt = Filter(must=[
    FieldCondition(key="tenant_id", match=MatchValue(value="t_42")),
])
res = client.query_points(collection_name=COL, query=qvec, limit=30, query_filter=flt)
同样的查询,两种顺序,两种后果先过滤:候选池里只有自己的数据tenant=A 的4000 个片段检索 Top-30全部是同租户安全代价:过滤太严时可能召回不足,需要测多租户场景这是唯一正确的做法后过滤:候选池里混进了别人的数据全库 10 万片段含 A/B/C 租户检索 Top-30再按租户筛可能只剩 2 条两个问题:别人的数据进了内存与日志;自己的数据被挤掉多租户场景下,这是数据泄漏,不是性能问题判断口径:过滤条件能不能"事后补救"?不能(权限、租户)就必须先过滤。能补救的(时间、类型),后过滤更灵活,但也要注意"候选池被无关数据占满"。

5.5 查询侧的两个技巧 ​

① 多查询改写:让模型把用户问题改写成 2–3 个不同说法,分别检索再合并。

原问题:保修多久
改写:质保期是几年 / 保修政策 / 售后保修期限

它能覆盖"用户用词和文档用词不一致"的情况,代价是多几次 embedding 和检索。

② HyDE(假设性回答):先让模型编一段"可能的答案",用这段答案去检索。原理是答案的用词更接近文档的用词。

风险很明显:模型编偏了,检索就跟着偏。只在反复出现"问了但搜不到"时再试。


5.6 上下文扩展:把半句补成整段 ​

召回到一个片段,答案可能在它的前一段或后一段。

python
def expand_context(hit, window=1):
    idx = hit.payload["chunk_index"]
    neighbors = [idx - window, idx + window]
    # 按 doc_id + chunk_index 过滤取出邻居,和命中片段一起给模型
方式效果成本
前后各取 1 段补全被切开的意思上下文翻 3 倍
按 section 取整节上下文完整可能很长,要截断
不扩展省 token答案容易缺条件

建议:先按 section 取整节、再按 token 预算截断,比机械取邻居更自然。


5.7 量召回率:最小测试集 ​

不需要 500 条,50 条就够看出问题。

格式很简单,一个问题对应"正确片段的 id"(人工标):

json
[
  {"q": "A100 保修几年", "gold": ["a100_p12_c03"]},
  {"q": "退款多久到账", "gold": ["faq_p3_c01", "faq_p3_c02"]}
]

然后:

python
hits = 0
for item in golden:
    got = [p.id for p in retrieve(item["q"], k=20)]
    if any(g in got for g in item["gold"]):
        hits += 1
print("recall@20 =", hits / len(golden))

**这个数字比任何体感都可靠。**改切分、改 K、加关键词路之后,各跑一遍,看它是升是降。


5.8 检索器长这样 ​

python
class HybridRetriever:
    def __init__(self, client, model, col, k=30):
        self.client, self.model, self.col, self.k = client, model, col, k

    def search(self, query: str, tenant: str | None = None):
        qvec = self.model.encode([query], normalize_embeddings=True)[0].tolist()
        flt = Filter(must=[FieldCondition(key="tenant_id", match=MatchValue(value=tenant)])] if tenant else None
        dense = self.client.query_points(self.col, query=qvec, limit=self.k,
                                         query_filter=flt, with_payload=True).points
        sparse = self._bm25_search(query, tenant, self.k)      # 关键词路
        return rrf_merge([dense, sparse])                       # 融合,见向量库课

5.9 三路怎么并起来 ​

注意三件事的顺序:过滤在检索前、融合在检索后、扩展在融合后。顺序反过来,要么泄漏数据,要么把融合分算错。


本章小结 ​

要点说明
三路并联稠密、关键词、过滤,缺一路就系统性失败
候选池20–50,别用分数阈值
中文 BM25先分词,再算权重
过滤顺序权限/租户必须先过滤
改写与 HyDE解决用词不一致,有编偏风险
上下文扩展按 section 取整节,比取邻居自然
度量50 条测试集,recall@20

下一章 ​

候选池有了,但排序未必对。下一章讲重排:把 30 条里真正该用的 3 条挑出来。

本文阅读--次|全站访问--次|访客--人