第 4 章:索引与召回参数
同一批数据,参数不同能差出 10 个百分点的召回率。这一章讲清楚三个参数、过滤的坑,以及什么时候该重建。
学习目标
- 知道
m、ef_construct、hnsw_ef各自控制什么 - 能看懂"召回率 vs 延迟"这条曲线,为自己的场景选一个点
- 知道过滤没建索引会怎样,以及怎么修
- 判断什么时候必须重建索引,重建时怎么不停机
4.1 三个参数,两个在建成时定
| 参数 | 在哪定 | 默认 | 管什么 | 调大的代价 |
|---|---|---|---|---|
m | 建集合时 | 16 | 每个节点的连接数 | 内存上涨、建索引变慢 |
ef_construct | 建集合时 | 100 | 建图时每点的候选队列长度 | 建索引时间显著增加 |
hnsw_ef | 查询时 | 128 | 查询时每层的候选队列长度 | 延迟上升 |
前两个改不了——它们决定了图长什么样,改就必须重建。第三个每次查询都能带,是最灵活的旋钮。
python
from qdrant_client.models import HnswConfigDiff, SearchParams
client.create_collection(
collection_name="books__bge_small_zh_v15",
vectors_config=VectorParams(size=512, distance=Distance.COSINE),
hnsw_config=HnswConfigDiff(m=16, ef_construct=100),
)
# 查询时临时加大,只影响这一次
res = client.query_points(
collection_name="books__bge_small_zh_v15",
query=qvec, limit=5,
search_params=SearchParams(hnsw_ef=256),
)4.2 这三个参数到底在换什么
怎么量?用一批带标准答案的查询(比如 100 条人工标了正确片段的测试集),分别跑 hnsw_ef=32/64/128/256,算 recall@5 和 P95 延迟。
没有测试集就先按默认 128 跑,等真出现"明明库里有却搜不到",再回来调——别凭感觉乱调。
4.3 过滤的坑:不是加了 WHERE 就完事
payload 过滤看起来像 SQL 的 WHERE,但它在图检索里的行为完全不同:
- 过滤条件很严(比如只剩 1% 的数据),HNSW 沿着边找邻居时,大量候选被过滤掉,可能找不到够数的结果;
- 过滤字段没有索引,Qdrant 要么退化成扫描,要么直接绕过 HNSW 做精确扫描。
两个修法:
python
from qdrant_client.models import PayloadSchemaType, Filter, FieldCondition, MatchValue
# 1. 给要过滤的字段建索引(建一次)
client.create_payload_index(
collection_name="books__bge_small_zh_v15",
field_name="book",
field_schema=PayloadSchemaType.KEYWORD,
)
# 2. 基数很小时,允许精确扫描,牺牲速度换召回
res = client.query_points(
collection_name="books__bge_small_zh_v15",
query=qvec, limit=5,
query_filter=Filter(must=[FieldCondition(key="book", match=MatchValue(value="育儿手册"))]),
search_params=SearchParams(exact=True),
)一条经验:过滤条件命中率低于 5% 时,先测召回,别默认它是对的。
4.4 省内存的一招:量化
向量太占内存时,Qdrant 支持标量量化:把 float32 压成 int8,内存降到约 1/4,代价是精度损失。
python
from qdrant_client.models import ScalarQuantization, ScalarQuantizationConfig, ScalarType
client.create_collection(
collection_name="books__bge_small_zh_v15_q8",
vectors_config=VectorParams(size=512, distance=Distance.COSINE),
quantization_config=ScalarQuantization(
scalar=ScalarQuantizationConfig(type=ScalarType.INT8, quantile=0.99, always_ram=True)
),
)默认会做 rescore:先用压缩向量粗筛,再用原始向量精排——所以精度损失通常可以接受。但这是"通常",不是保证,上线前要用测试集验一遍。
| 方案 | 内存 | 精度 | 适用 |
|---|---|---|---|
| float32 原始 | 100% | 基准 | 数据量小、要求高 |
| int8 量化 + rescore | ~25% + 原始向量(若 rescore 在磁盘) | 接近基准 | 百万级、内存吃紧 |
| 二值量化 | ~3% | 明显下降 | 超大规模粗筛 |
4.5 什么时候必须重建
不停机切换的关键是集合别名:新集合灌完、验完,再把别名指过去,客户端永远只认别名。
python
# 伪代码,具体 API 以官方文档为准
client.update_collection_aliases(change_aliases_operations=[
# 1) 把别名从旧集合摘掉
# 2) 挂到新集合上
])删除多到什么程度该重建?经验值:删除量超过总量 30%,或查询延迟明显上升。Qdrant 的删除是标记删除,后台优化器会合并段,但长期只删不建,图会越来越"空"。
4.6 一张自检表
| 现象 | 先查什么 |
|---|---|
| 库里明明有,搜不到 | 是否同模型、是否被过滤、hnsw_ef 是否太小 |
| 召回够但延迟高 | hnsw_ef 是否过大、是否走了精确扫描 |
| 内存涨得快 | 维度是否过高、是否该量化、payload 是否塞了大文本 |
| 结果时好时坏 | 数据是否被增量删除、是否重建过索引 |
本章小结
| 要点 | 说明 |
|---|---|
m / ef_construct | 建索引时定,改了就重建 |
hnsw_ef | 查询时可调,召回与延迟的旋钮 |
| 拐点 | 通常 64–128,要用测试集量 |
| 过滤 | 必须建 payload 索引,命中率低时测召回 |
| 量化 | int8 省 3/4 内存,默认 rescore 兜精度 |
| 重建 | 换模型、改参数、删除超 30% |
| 不停机 | 新集合 + 别名切换 |
下一章
单靠向量,遇到"精确编号"和"专有名词"还是会翻车。下一章讲混合检索:向量 + 关键词怎么融合,以及重排为什么能把 Top-K 的质量再抬一档。