Skip to content
Lv3向量数据库进度 4 / 7

第 4 章:索引与召回参数 ​

同一批数据,参数不同能差出 10 个百分点的召回率。这一章讲清楚三个参数、过滤的坑,以及什么时候该重建。


学习目标 ​

  • 知道 m、ef_construct、hnsw_ef 各自控制什么
  • 能看懂"召回率 vs 延迟"这条曲线,为自己的场景选一个点
  • 知道过滤没建索引会怎样,以及怎么修
  • 判断什么时候必须重建索引,重建时怎么不停机

4.1 三个参数,两个在建成时定 ​

参数在哪定默认管什么调大的代价
m建集合时16每个节点的连接数内存上涨、建索引变慢
ef_construct建集合时100建图时每点的候选队列长度建索引时间显著增加
hnsw_ef查询时128查询时每层的候选队列长度延迟上升

前两个改不了——它们决定了图长什么样,改就必须重建。第三个每次查询都能带,是最灵活的旋钮。

python
from qdrant_client.models import HnswConfigDiff, SearchParams

client.create_collection(
    collection_name="books__bge_small_zh_v15",
    vectors_config=VectorParams(size=512, distance=Distance.COSINE),
    hnsw_config=HnswConfigDiff(m=16, ef_construct=100),
)

# 查询时临时加大,只影响这一次
res = client.query_points(
    collection_name="books__bge_small_zh_v15",
    query=qvec, limit=5,
    search_params=SearchParams(hnsw_ef=256),
)

4.2 这三个参数到底在换什么 ​

一个旋钮,两个方向hnsw_ef(查询时候选队列)召回率召回率延迟ef=64多数场景的拐点ef=256召回几乎到顶,延迟翻倍左边一段召回涨得快,右边一段只涨延迟。拐点通常出现在 64–128 之间,具体位置要在自己的数据上量。

怎么量?用一批带标准答案的查询(比如 100 条人工标了正确片段的测试集),分别跑 hnsw_ef=32/64/128/256,算 recall@5 和 P95 延迟。

没有测试集就先按默认 128 跑,等真出现"明明库里有却搜不到",再回来调——别凭感觉乱调。


4.3 过滤的坑:不是加了 WHERE 就完事 ​

payload 过滤看起来像 SQL 的 WHERE,但它在图检索里的行为完全不同:

  • 过滤条件很严(比如只剩 1% 的数据),HNSW 沿着边找邻居时,大量候选被过滤掉,可能找不到够数的结果;
  • 过滤字段没有索引,Qdrant 要么退化成扫描,要么直接绕过 HNSW 做精确扫描。

两个修法:

python
from qdrant_client.models import PayloadSchemaType, Filter, FieldCondition, MatchValue

# 1. 给要过滤的字段建索引(建一次)
client.create_payload_index(
    collection_name="books__bge_small_zh_v15",
    field_name="book",
    field_schema=PayloadSchemaType.KEYWORD,
)

# 2. 基数很小时,允许精确扫描,牺牲速度换召回
res = client.query_points(
    collection_name="books__bge_small_zh_v15",
    query=qvec, limit=5,
    query_filter=Filter(must=[FieldCondition(key="book", match=MatchValue(value="育儿手册"))]),
    search_params=SearchParams(exact=True),
)

一条经验:过滤条件命中率低于 5% 时,先测召回,别默认它是对的。


4.4 省内存的一招:量化 ​

向量太占内存时,Qdrant 支持标量量化:把 float32 压成 int8,内存降到约 1/4,代价是精度损失。

python
from qdrant_client.models import ScalarQuantization, ScalarQuantizationConfig, ScalarType

client.create_collection(
    collection_name="books__bge_small_zh_v15_q8",
    vectors_config=VectorParams(size=512, distance=Distance.COSINE),
    quantization_config=ScalarQuantization(
        scalar=ScalarQuantizationConfig(type=ScalarType.INT8, quantile=0.99, always_ram=True)
    ),
)

默认会做 rescore:先用压缩向量粗筛,再用原始向量精排——所以精度损失通常可以接受。但这是"通常",不是保证,上线前要用测试集验一遍。

方案内存精度适用
float32 原始100%基准数据量小、要求高
int8 量化 + rescore~25% + 原始向量(若 rescore 在磁盘)接近基准百万级、内存吃紧
二值量化~3%明显下降超大规模粗筛

4.5 什么时候必须重建 ​

不停机切换的关键是集合别名:新集合灌完、验完,再把别名指过去,客户端永远只认别名。

python
# 伪代码,具体 API 以官方文档为准
client.update_collection_aliases(change_aliases_operations=[
    # 1) 把别名从旧集合摘掉
    # 2) 挂到新集合上
])

删除多到什么程度该重建?经验值:删除量超过总量 30%,或查询延迟明显上升。Qdrant 的删除是标记删除,后台优化器会合并段,但长期只删不建,图会越来越"空"。


4.6 一张自检表 ​

现象先查什么
库里明明有,搜不到是否同模型、是否被过滤、hnsw_ef 是否太小
召回够但延迟高hnsw_ef 是否过大、是否走了精确扫描
内存涨得快维度是否过高、是否该量化、payload 是否塞了大文本
结果时好时坏数据是否被增量删除、是否重建过索引

本章小结 ​

要点说明
m / ef_construct建索引时定,改了就重建
hnsw_ef查询时可调,召回与延迟的旋钮
拐点通常 64–128,要用测试集量
过滤必须建 payload 索引,命中率低时测召回
量化int8 省 3/4 内存,默认 rescore 兜精度
重建换模型、改参数、删除超 30%
不停机新集合 + 别名切换

下一章 ​

单靠向量,遇到"精确编号"和"专有名词"还是会翻车。下一章讲混合检索:向量 + 关键词怎么融合,以及重排为什么能把 Top-K 的质量再抬一档。

本文阅读--次|全站访问--次|访客--人