Skip to content
Lv3向量数据库进度 7 / 7

第 7 章:上线:容量、更新、备份与降级 ​

检索服务挂掉不该让整个产品挂掉。这一章讲的是把它接进系统时,那些必须提前想好的事。


学习目标 ​

  • 用公式估出内存需求,并知道哪一项最容易估错
  • 会做增量更新与整库重建,且不影响线上查询
  • 有一份备份、监控、降级的清单
  • 给小团队一个可以直接抄的默认方案

7.1 容量:内存到底花在哪 ​

100 万条 × 512 维,内存去哪了原始向量100 万 × 512 × 4 字节≈ 2.0 GB1536 维则约 6 GB维度是第一成本项HNSW 索引邻接表 + 层级结构≈ 1.5–2 倍向量m 越大,这里越胖放磁盘可省内存,换延迟payload + 元数据原文、书名、页码视内容而定最容易估错的一项每段 500 字就约 1 KB/条合计 ≈ 向量 × (1 + 索引倍数) + payload,再留 20–30% 余量给合并、重建和峰值。别把 payload 放整篇原文——存原文摘要 + 一个指向对象存储/数据库的 id,能省一截。

粗略公式:

内存 ≈ N × dim × 4 × 2.5 + N × payload大小 + 余量 20%

100 万条、512 维、payload 约 1 KB:

  • 向量 + 索引:1M × 512 × 4 × 2.5 ≈ 5 GB
  • payload:≈ 1 GB
  • 合计约 6 GB,加余量按 8 GB 规划

7.2 数据怎么改 ​

操作怎么做注意
新增upsert 带新 id批量写,别一条一条
更新内容同一 id 重新 upsert(向量也要重算)只改 payload 可只更新 payload
删除按 id 或按过滤条件删是标记删除,长期要重建
整库重建新集合 + 别名切换见第 4 章

id 必须稳定可推导。用"文档 id + 片段序号"(如 doc42_c007),重复灌库是幂等的,不会插进两份。

python
pid = f"{doc_id}_c{chunk_index:03d}"
client.upsert(collection_name=col, points=[PointStruct(id=pid, vector=vec, payload=meta)])

Qdrant 的 point id 支持无符号整数或 UUID 字符串。用 doc42_c007 这种自定义格式前,先确认客户端接受——稳妥做法是算一个稳定哈希映射成 UUID。


7.3 备份 ​

两条路,建议都做:

  1. 卷快照:直接备份 qdrant_storage 目录(或用宿主机/云盘的快照功能);
  2. API 快照:Qdrant 提供集合快照接口(POST /collections/{name}/snapshots),可以下载到对象存储。

恢复演练每年至少一次。没演练过的备份,等于没有备份。


7.4 监控看什么 ​

指标为什么看
集合点数(points_count)灌库是否成功、有没有异常掉数
查询 P95 延迟最直接的体感指标
进程内存 / 容器内存是否逼近上限
优化器是否长期运行大量写入后可能在持续合并
错误率(4xx/5xx)维度不匹配、过滤字段类型错会在这暴露

Qdrant 暴露 Prometheus 格式的指标,接入现有监控即可。具体路径与字段以官方文档为准,别照抄二手教程。


7.5 向量库挂了怎么办 ​

检索是"增强",不该是"单点"。三层保护:

三条原则:

  • 必须有超时,别让检索把整个请求拖死;
  • 降级要有兜底,哪怕是"空结果 + 模型直答",也比 500 好;
  • 降级要打点,否则你不知道它一直在降级。

7.6 上线清单 ​

  • [ ] 集合名带模型版本,别名对外统一
  • [ ] 维度、距离度量与模型一致(建完不可改)
  • [ ] payload 索引建在常用过滤字段上
  • [ ] 批量写入、wait 策略明确
  • [ ] id 稳定可推导,重复灌库幂等
  • [ ] 容量按"向量 × 2.5 + payload + 20%"规划
  • [ ] 卷快照 + API 快照,且演练过恢复
  • [ ] 查询超时 + 降级路径 + 降级打点
  • [ ] 点数、P95 延迟、内存、错误率四项监控
  • [ ] 重建脚本可用,别名切换演过一次

7.7 小团队的默认方案 ​

如果不想纠结,这就是一个能跑很久的组合:

项选择
向量库Qdrant 单机 Docker,卷挂载持久化
embeddingbge-small-zh-v1.5(512 维)起步
检索稠密 30 条 + RRF(有 BM25 就加)
重排有预算就上 bge-reranker-base,只排前 20
备份每日卷快照,保留 7 天
监控点数 + P95 + 内存 + 错误率
规模上限单机 500 万条以内都还算舒服,超了再谈分片

全课收尾 ​

七章下来是一条完整的线:

为什么需要(1)→ 向量从哪来(2)→ 跑通最小闭环(3)→ 调参让它准(4)→ 混合与重排让它更准(5)→ 选对库(6)→ 稳稳上线(7)

一句话记住这门课:向量库负责"找得像",不负责"答得对";它的质量上限由 embedding 模型决定,下限由切分和参数决定。


本章小结 ​

要点说明
容量向量 × 2.5 + payload + 20% 余量
更新同 id upsert 幂等;删除是标记删除
备份卷快照 + API 快照,且演练恢复
监控点数、P95、内存、错误率
降级超时 → 缓存 → 关键词 → 空结果直答
默认方案Qdrant 单机 + bge-small + RRF + rerank

下一章 ​

这门课结束了。下一步是 Lv4 的「RAG 系统从零搭建」:把这里的检索能力,接上切分、提示词与引用,做出一个敢给人看的问答系统。

本文阅读--次|全站访问--次|访客--人