第 7 章:本地 RAG 的地基,embedding
模型不知道你公司的事。要让它知道,第一条路是把资料塞进 prompt,第二条路是先把资料变成向量——这一章讲第二条。
学习目标
- 说清 embedding 在做什么:把一段话变成一个固定长度的数字数组
- 用 Ollama 的 embedding 接口批量向量化
- 知道维度的含义,以及为什么换了模型就得重建索引
- 明白这一步和后面 RAG 课的分工:这章只打地基
7.1 关键词搜不到的东西,向量能搜到
假设你的文档里有这么一句:
员工出差住宿标准:一线城市每晚不超过 500 元。
用户问的是「我去上海出差,酒店能报多少」。
- 关键词检索:搜「上海」「酒店」,原文里写的是「一线城市」「住宿」,一个都对不上,搜不到;
- 向量检索:把两句话都变成向量,它们在语义空间里距离很近,能匹配上。
这就是 embedding 的作用:把"字面不同、意思相近"变成"数字上接近"。
7.2 调一次接口,看清返回什么
bash
curl http://localhost:11434/api/embed -d '{
"model": "nomic-embed-text",
"input": "员工出差住宿标准:一线城市每晚不超过 500 元。"
}'1
2
3
4
2
3
4
返回:
json
{
"model": "nomic-embed-text",
"embeddings": [[0.0234, -0.0117, 0.0442, "..."]],
"total_duration": 81203400
}1
2
3
4
5
2
3
4
5
embeddings 是一个二维数组:外层是"每条输入一个",内层是那条输入的向量。nomic-embed-text 的输出是 768 维,也就是说每段文本被压成 768 个浮点数。
批量更划算,一次传数组:
python
import requests
texts = [
"员工出差住宿标准:一线城市每晚不超过 500 元。",
"报销需在出差结束后 10 个工作日内提交。",
"一线城市指北京、上海、广州、深圳。",
]
resp = requests.post(
"http://localhost:11434/api/embed",
json={"model": "nomic-embed-text", "input": texts},
timeout=60,
)
vectors = resp.json()["embeddings"]
print(len(vectors), len(vectors[0])) # 3 条,每条 768 维1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
2
3
4
5
6
7
8
9
10
11
12
13
14
15
旧接口是
/api/embeddings,字段叫prompt,一次只能传一条;新接口/api/embed用input,支持数组。看到老教程用prompt不必奇怪,那是版本差异。
7.3 相似度怎么算
拿到向量之后,比较两段话像不像,最常用的是余弦相似度:
python
import numpy as np
def cosine(a, b):
a, b = np.array(a), np.array(b)
return float(a @ b / (np.linalg.norm(a) * np.linalg.norm(b))
v = vectors
print(cosine(v[0], v[2])) # 「一线城市」的定义 vs 住宿标准,应该较高
print(cosine(v[0], v[1])) # 住宿标准 vs 报销时限,应该较低1
2
3
4
5
6
7
8
9
2
3
4
5
6
7
8
9
结果在 -1 到 1 之间,越接近 1 越相似。实际系统里就是:把用户问题也向量化,和库里所有向量算一遍分数,取前 K 条。
7.4 本地做 embedding 很划算
| 本地 embedding | 云端 embedding | |
|---|---|---|
| 成本 | 电费,几乎为零 | 按 token 计费,建库时最贵 |
| 隐私 | 文档不出机器 | 全文上传 |
| 速度 | 274 MB 模型,批量很快 | 受网络与限流影响 |
| 质量 | 够用 | 通常更强 |
建索引是一次性大批量操作——几十万字的文档全部向量化。这一步放本地,省的是真金白银,而且文档不需要出门。
查询时算一条,本地也完全够快,几十毫秒的量级。
7.5 这章不讲的,留给下一层
这里只到"有向量、能算相似度"。真正做一个 RAG 系统还要处理:
- 切分策略:按段落、按标题、还是按语义;
- 检索后的重排(rerank);
- 引用与溯源;
- 检索不到时怎么办。
这些是 Lv4「RAG 系统从零搭建」的内容。本章的定位是把最容易被卡住的那一步(embedding 与向量化)先打通,让你在学 RAG 时不用同时对付模型部署和向量计算。
7.6 三个常见坑
| 现象 | 原因 | 处理 |
|---|---|---|
| 检索结果完全不合理 | 用了对话模型当 embedding | 必须换 nomic-embed-text / bge-m3 这类专用模型 |
| 换模型后报维度不匹配 | 新旧模型维度不同(768 vs 1024) | 换模型必须重建全部向量 |
| 一次传几千条,超时 | 批量太大,单请求算太久 | 分批,每批 50–200 条,串行或小并发 |
第三个坑很常见:批量不是越大越好,单请求超过几十秒就会被超时打断,反而要重跑。
本章小结
| 要点 | 说明 |
|---|---|
| embedding 是什么 | 把文本压成固定长度数字数组,语义近则距离近 |
| 接口 | /api/embed,input 支持数组;旧接口是 /api/embeddings |
| 维度 | nomic-embed-text 768 维,bge-m3 1024 维 |
| 相似度 | 余弦相似度,结果 -1 到 1 |
| 本地优势 | 建库零成本、文档不出门、批量快 |
| 换模型 | 维度变了必须重建索引 |
下一章
最后一章回到最开始的问题:既然本地有这么多限制,什么时候该老老实实回云端?答案不是"看情况",而是一张能照着执行的分流表。