第 2 章:向量从哪来
向量库不生产向量,它只是向量的仓库。真正决定检索质量上限的,是生成向量的那个模型。
学习目标
- 知道 embedding 模型输出的是什么,维度意味着什么成本
- 能在中文场景里挑一个够用的模型,不被排行榜牵着走
- 分清余弦、欧氏、点积三种度量,知道它们什么时候等价
- 记住一条硬规则:入库与查询必须用同一个模型
2.1 一段文本,怎么变成 1024 个数字
流程很短:
文本 → 分词 → Transformer 编码 → 池化(取 [CLS] 或平均)→ 归一化 → 定长向量1
几个你要关心的属性:
| 属性 | 含义 | 影响 |
|---|---|---|
| 维度 | 输出向量的长度,如 512 / 1024 / 1536 | 直接决定存储和计算成本 |
| 最大输入长度 | 一次能吃多少 token,如 512 / 8192 | 决定你的切分长度上限 |
| 训练语料 | 中文、多语言、代码等 | 决定它在你的领域准不准 |
| 是否归一化 | 输出是否已是单位向量 | 决定能不能直接用点积当余弦 |
维度成本很好算:1536 维 float32 = 1536 × 4 字节 ≈ 6 KB/条。100 万条就是 6 GB 裸向量,索引还要再占 1.5–2 倍。这个数字第 7 章会再算一次。
2.2 挑模型只看三件事
排行榜(MTEB 之类)上的分差,在你的业务里经常被切分方式和提示词抹平。实际选型按顺序看:
- 语言:中文文档就别用纯英文模型。中文场景常用 BGE 系列、M3E、text2vec;
- 长度:文档片段超过模型上限会被截断,超出的部分等于没进库;
- 成本:本地跑(免费但吃显卡)还是调 API(按 token 计费)。
几个常见选项,不构成推荐,按需核对最新版本:
| 模型 | 维度 | 特点 |
|---|---|---|
bge-small-zh-v1.5 | 512 | 小、快、CPU 也能跑,适合先跑通 |
bge-large-zh-v1.5 | 1024 | 中文效果更好,显存要求更高 |
bge-m3 | 1024 | 多语言、长文本(8192),一份模型兼顾中英 |
OpenAI text-embedding-3-small | 1536 | 免部署,按量付费 |
OpenAI text-embedding-3-large | 3072 | 效果更强,存储成本翻倍 |
务实做法:先用 bge-small-zh-v1.5 或 API 跑通全链路,等召回明显不够再换大的。换模型要重建索引,所以别一上来就上最贵的。
2.3 三种距离,什么时候可以混用
一条实操建议:跟着模型作者推荐的度量走。BGE 系列官方说明用余弦,OpenAI 的 embedding 也以余弦为准。Qdrant 建集合时就必须写死 distance,建完不能改——想换度量只能重建集合。
2.4 一条硬规则:同模型、同版本
向量只在同一个模型的同一个版本里有可比性。
- 用 A 模型入库、用 B 模型查询 → 两个空间无关,检索结果接近随机;
- 用
bge-small-zh-v1.5入库、升级到bge-m3→ 维度相同也没用,必须重新生成全部向量。
所以工程上一定要做两件事:
- 把模型名和版本写进配置,和集合名绑在一起(比如
books__bge_small_zh_v15); - 留一条重建脚本,能一键清空集合重新灌库。第 7 章会讲重建时怎么不影响线上。
2.5 生成一段向量
本地 BGE(pip install sentence-transformers):
python
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("BAAI/bge-small-zh-v1.5")
vecs = model.encode(["孩子发烧怎么办", "婴幼儿体温异常的处理"], normalize_embeddings=True)
print(vecs.shape) # (2, 512)
sim = vecs[0] @ vecs[1] # 已归一化,点积即余弦
print(round(float(sim), 4))1
2
3
4
5
6
7
8
2
3
4
5
6
7
8
走 API(以 OpenAI 兼容接口为例):
python
from openai import OpenAI
client = OpenAI(base_url="https://api.openai.com/v1", api_key="...")
resp = client.embeddings.create(model="text-embedding-3-small", input=["孩子发烧怎么办"])
print(len(resp.data[0].embedding)) # 15361
2
3
4
5
2
3
4
5
两个细节:
normalize_embeddings=True:很多库默认不归一化,忘了它后面算余弦会偏;- 批量:一次传一批(如 32–64 条),比一条一条调用快得多,也省钱。
2.6 常见误区
| 误区 | 后果 |
|---|---|
| 觉得维度越高越好 | 存储和计算线性上涨,效果提升常常不明显 |
| 直接拿未归一化的向量算余弦 | 结果偏差,尤其长文本 |
| 入库和查询用了不同模型 | 检索结果基本随机,且很难察觉 |
| 把整篇文档(几千字)直接塞进去 | 超出上限被截断,或语义被"平均"成一团 |
最后一条要展开一句:长文本 embedding 会把多个主题压成一个平均向量,检索时哪个主题都不像。正确做法是先切分再逐段转向量——这也是 Lv4 RAG 课的核心话题之一。
本章小结
| 要点 | 说明 |
|---|---|
| embedding | 文本 → 定长向量,维度决定存储成本 |
| 选型三件事 | 语言、最大长度、成本 |
| 三种度量 | 余弦看夹角,欧氏看距离,点积看夹角+长度 |
| 归一化 | 归一化后余弦 = 点积 |
| 硬规则 | 入库与查询必须同模型同版本 |
| 换模型 | 必须重建全部向量 |
| 长文本 | 先切分再嵌入,别整篇压成一个向量 |
下一章
理论够了。下一章真的把库跑起来:Docker 起 Qdrant、建集合、灌 1000 条、查一次,看看召回长什么样。