第 1 章:为什么需要向量检索
用户搜"孩子发烧怎么办",库里存的是"婴幼儿体温异常的处理"。一个字都不重合,关键词检索会告诉他"没有结果"。
学习目标
- 说出关键词检索失手的三个典型场景
- 理解"语义相似"是怎么被算成一个分数的
- 知道为什么要建索引,而不是每次全量比对
- 清楚向量检索在 RAG 里的位置,以及它做不好什么
1.1 关键词检索的三个失手瞬间
| 场景 | 用户输入 | 库里的原文 | 关键词检索的结果 |
|---|---|---|---|
| 同义词 | 孩子发烧 | 婴幼儿体温异常 | 无结果 |
| 跨语言 | refund policy | 退款政策 | 无结果(除非做了翻译) |
| 语义相近 | 电脑开不了机 | 主机无法启动 | 可能命中,也可能不命中 |
反过来它也有很准的时候:搜订单号 ORD-2024-8831、搜错误码 E1101、搜人名——这些字符串本身就是答案,语义检索反而容易失准。
所以结论不是"向量检索取代关键词",而是两者管的事不一样:
- 关键词擅长:精确串、编号、代码、专有名词;
- 向量擅长:意思相近但说法不同、跨语言、口语化提问。
第 5 章会把两者合起来用,这一章先把向量这一半讲透。
1.2 "像不像"怎么变成一个数
模型把一段文本压成一串固定长度的数字,比如 1024 个浮点数。这串数字叫 embedding(嵌入向量)。
它的关键性质是:意思越接近,两串数字在空间里的方向越接近。
衡量"方向接近"最常用的是余弦相似度:
similarity = cos(θ) = (A · B) / (|A| × |B|)不用记公式,只要记住三个取值:
| 余弦值 | 含义 | 例子 |
|---|---|---|
| 接近 1 | 方向几乎一致 | "怎么退款" vs "退款流程是什么" |
| 接近 0 | 基本无关 | "怎么退款" vs "今天天气" |
| 接近 -1 | 方向相反 | 少见,多数 embedding 不会到负值 |
实际检索里你不会看到 -1 到 1 的完整区间,相关文本通常挤在 0.6–0.95 之间,所以阈值要按你自己数据的分布来定,不能照抄别人的 0.8。
1.3 为什么不能每次都全量比对
1000 条数据,逐条算余弦,毫秒级,没问题。
100 万条、每条 1536 维,一次查询就是 15 亿次浮点乘加——单核要几百毫秒到一秒。而检索通常要在一句话生成之前完成,延迟预算只有几十毫秒。
于是有了近似最近邻(ANN):不保证找到绝对最近的那个,但用远少的计算找到"足够近的几个"。代价是少量召回损失,换来一到两个数量级的加速。
最主流的结构是 HNSW(分层可导航小世界图):
不用记 M 是多少,只要建立这个直觉:它不是全量比对,而是"先粗走、再细找"。第 4 章再讲参数怎么调。
1.4 在 RAG 里处在哪一环
两个关键认识:
- 向量库只负责"找",不负责"答"。它给出的是候选片段,答案质量还取决于切分、提示词、模型;
- 入库链路和查询链路用的是同一个 embedding 模型。换模型必须重建全部向量,这一点第 2 章会强调。
1.5 它做不好的三件事
| 场景 | 问题 | 怎么办 |
|---|---|---|
| 精确匹配 | 搜 E1101、订单号、人名 | 关键词检索兜底,或混合检索(第 5 章) |
| 否定与数量 | "不含糖"、"不超过 3 个" | embedding 对否定词常失效,靠过滤条件或提示词 |
| 多跳推理 | "A 的作者的导师写过什么" | 单次检索解决不了,属于 Agent / 多轮检索的范畴 |
还有一条容易被忽略:向量检索没有"为什么"。它给你一个分数,但不告诉你匹配在哪句话上。要解释性,得靠重排模型或原文引用。
本章小结
| 要点 | 说明 |
|---|---|
| 关键词失手 | 同义词、跨语言、说法不同 |
| 关键词仍强 | 编号、错误码、专有名词 |
| embedding | 一段文本压成一串定长数字,方向代表语义 |
| 余弦相似度 | 1 相近、0 无关,阈值按自己数据定 |
| ANN | 用少量召回损失换数量级加速 |
| HNSW | 分层图,上层粗走、下层细找,O(log N) 量级 |
| RAG 中的位置 | 只负责召回,不负责回答 |
下一章
向量不是凭空来的。下一章讲 embedding 模型怎么选、维度和距离度量怎么影响结果,以及"换模型要重建"背后的原因。