第 7 章:上线:容量、更新、备份与降级
检索服务挂掉不该让整个产品挂掉。这一章讲的是把它接进系统时,那些必须提前想好的事。
学习目标
- 用公式估出内存需求,并知道哪一项最容易估错
- 会做增量更新与整库重建,且不影响线上查询
- 有一份备份、监控、降级的清单
- 给小团队一个可以直接抄的默认方案
7.1 容量:内存到底花在哪
粗略公式:
内存 ≈ N × dim × 4 × 2.5 + N × payload大小 + 余量 20%100 万条、512 维、payload 约 1 KB:
- 向量 + 索引:1M × 512 × 4 × 2.5 ≈ 5 GB
- payload:≈ 1 GB
- 合计约 6 GB,加余量按 8 GB 规划
7.2 数据怎么改
| 操作 | 怎么做 | 注意 |
|---|---|---|
| 新增 | upsert 带新 id | 批量写,别一条一条 |
| 更新内容 | 同一 id 重新 upsert(向量也要重算) | 只改 payload 可只更新 payload |
| 删除 | 按 id 或按过滤条件删 | 是标记删除,长期要重建 |
| 整库重建 | 新集合 + 别名切换 | 见第 4 章 |
id 必须稳定可推导。用"文档 id + 片段序号"(如 doc42_c007),重复灌库是幂等的,不会插进两份。
python
pid = f"{doc_id}_c{chunk_index:03d}"
client.upsert(collection_name=col, points=[PointStruct(id=pid, vector=vec, payload=meta)])Qdrant 的 point id 支持无符号整数或 UUID 字符串。用
doc42_c007这种自定义格式前,先确认客户端接受——稳妥做法是算一个稳定哈希映射成 UUID。
7.3 备份
两条路,建议都做:
- 卷快照:直接备份
qdrant_storage目录(或用宿主机/云盘的快照功能); - API 快照:Qdrant 提供集合快照接口(
POST /collections/{name}/snapshots),可以下载到对象存储。
恢复演练每年至少一次。没演练过的备份,等于没有备份。
7.4 监控看什么
| 指标 | 为什么看 |
|---|---|
集合点数(points_count) | 灌库是否成功、有没有异常掉数 |
| 查询 P95 延迟 | 最直接的体感指标 |
| 进程内存 / 容器内存 | 是否逼近上限 |
| 优化器是否长期运行 | 大量写入后可能在持续合并 |
| 错误率(4xx/5xx) | 维度不匹配、过滤字段类型错会在这暴露 |
Qdrant 暴露 Prometheus 格式的指标,接入现有监控即可。具体路径与字段以官方文档为准,别照抄二手教程。
7.5 向量库挂了怎么办
检索是"增强",不该是"单点"。三层保护:
三条原则:
- 必须有超时,别让检索把整个请求拖死;
- 降级要有兜底,哪怕是"空结果 + 模型直答",也比 500 好;
- 降级要打点,否则你不知道它一直在降级。
7.6 上线清单
- [ ] 集合名带模型版本,别名对外统一
- [ ] 维度、距离度量与模型一致(建完不可改)
- [ ] payload 索引建在常用过滤字段上
- [ ] 批量写入、
wait策略明确 - [ ] id 稳定可推导,重复灌库幂等
- [ ] 容量按"向量 × 2.5 + payload + 20%"规划
- [ ] 卷快照 + API 快照,且演练过恢复
- [ ] 查询超时 + 降级路径 + 降级打点
- [ ] 点数、P95 延迟、内存、错误率四项监控
- [ ] 重建脚本可用,别名切换演过一次
7.7 小团队的默认方案
如果不想纠结,这就是一个能跑很久的组合:
| 项 | 选择 |
|---|---|
| 向量库 | Qdrant 单机 Docker,卷挂载持久化 |
| embedding | bge-small-zh-v1.5(512 维)起步 |
| 检索 | 稠密 30 条 + RRF(有 BM25 就加) |
| 重排 | 有预算就上 bge-reranker-base,只排前 20 |
| 备份 | 每日卷快照,保留 7 天 |
| 监控 | 点数 + P95 + 内存 + 错误率 |
| 规模上限 | 单机 500 万条以内都还算舒服,超了再谈分片 |
全课收尾
七章下来是一条完整的线:
为什么需要(1)→ 向量从哪来(2)→ 跑通最小闭环(3)→ 调参让它准(4)→ 混合与重排让它更准(5)→ 选对库(6)→ 稳稳上线(7)
一句话记住这门课:向量库负责"找得像",不负责"答得对";它的质量上限由 embedding 模型决定,下限由切分和参数决定。
本章小结
| 要点 | 说明 |
|---|---|
| 容量 | 向量 × 2.5 + payload + 20% 余量 |
| 更新 | 同 id upsert 幂等;删除是标记删除 |
| 备份 | 卷快照 + API 快照,且演练恢复 |
| 监控 | 点数、P95、内存、错误率 |
| 降级 | 超时 → 缓存 → 关键词 → 空结果直答 |
| 默认方案 | Qdrant 单机 + bge-small + RRF + rerank |
下一章
这门课结束了。下一步是 Lv4 的「RAG 系统从零搭建」:把这里的检索能力,接上切分、提示词与引用,做出一个敢给人看的问答系统。