Skip to content

第 7 章:本地 RAG 的地基,embedding ​

模型不知道你公司的事。要让它知道,第一条路是把资料塞进 prompt,第二条路是先把资料变成向量——这一章讲第二条。


学习目标 ​

  • 说清 embedding 在做什么:把一段话变成一个固定长度的数字数组
  • 用 Ollama 的 embedding 接口批量向量化
  • 知道维度的含义,以及为什么换了模型就得重建索引
  • 明白这一步和后面 RAG 课的分工:这章只打地基

7.1 关键词搜不到的东西,向量能搜到 ​

假设你的文档里有这么一句:

员工出差住宿标准:一线城市每晚不超过 500 元。

用户问的是「我去上海出差,酒店能报多少」。

  • 关键词检索:搜「上海」「酒店」,原文里写的是「一线城市」「住宿」,一个都对不上,搜不到;
  • 向量检索:把两句话都变成向量,它们在语义空间里距离很近,能匹配上。

这就是 embedding 的作用:把"字面不同、意思相近"变成"数字上接近"。


7.2 调一次接口,看清返回什么 ​

bash
curl http://localhost:11434/api/embed -d '{
  "model": "nomic-embed-text",
  "input": "员工出差住宿标准:一线城市每晚不超过 500 元。"
}'

返回:

json
{
  "model": "nomic-embed-text",
  "embeddings": [[0.0234, -0.0117, 0.0442, "..."]],
  "total_duration": 81203400
}

embeddings 是一个二维数组:外层是"每条输入一个",内层是那条输入的向量。nomic-embed-text 的输出是 768 维,也就是说每段文本被压成 768 个浮点数。

批量更划算,一次传数组:

python
import requests

texts = [
    "员工出差住宿标准:一线城市每晚不超过 500 元。",
    "报销需在出差结束后 10 个工作日内提交。",
    "一线城市指北京、上海、广州、深圳。",
]

resp = requests.post(
    "http://localhost:11434/api/embed",
    json={"model": "nomic-embed-text", "input": texts},
    timeout=60,
)
vectors = resp.json()["embeddings"]
print(len(vectors), len(vectors[0]))   # 3 条,每条 768 维

旧接口是 /api/embeddings,字段叫 prompt,一次只能传一条;新接口 /api/embed 用 input,支持数组。看到老教程用 prompt 不必奇怪,那是版本差异。


7.3 相似度怎么算 ​

拿到向量之后,比较两段话像不像,最常用的是余弦相似度:

python
import numpy as np

def cosine(a, b):
    a, b = np.array(a), np.array(b)
    return float(a @ b / (np.linalg.norm(a) * np.linalg.norm(b))

v = vectors
print(cosine(v[0], v[2]))   # 「一线城市」的定义 vs 住宿标准,应该较高
print(cosine(v[0], v[1]))   # 住宿标准 vs 报销时限,应该较低

结果在 -1 到 1 之间,越接近 1 越相似。实际系统里就是:把用户问题也向量化,和库里所有向量算一遍分数,取前 K 条。

建索引一次,查询很多次原始文档几百页 txt / pdf切分成段每段 200–500 字embed 向量化768 维 × N 段向量库先存文件也行用户问题同样 embed相似度排序取 Top-K拼进 prompt关键点:建索引用一次批量,查询每次只算一条。所以批量接口越大越好,单条查询要快。

7.4 本地做 embedding 很划算 ​

本地 embedding云端 embedding
成本电费,几乎为零按 token 计费,建库时最贵
隐私文档不出机器全文上传
速度274 MB 模型,批量很快受网络与限流影响
质量够用通常更强

建索引是一次性大批量操作——几十万字的文档全部向量化。这一步放本地,省的是真金白银,而且文档不需要出门。

查询时算一条,本地也完全够快,几十毫秒的量级。


7.5 这章不讲的,留给下一层 ​

这里只到"有向量、能算相似度"。真正做一个 RAG 系统还要处理:

  • 切分策略:按段落、按标题、还是按语义;
  • 检索后的重排(rerank);
  • 引用与溯源;
  • 检索不到时怎么办。

这些是 Lv4「RAG 系统从零搭建」的内容。本章的定位是把最容易被卡住的那一步(embedding 与向量化)先打通,让你在学 RAG 时不用同时对付模型部署和向量计算。


7.6 三个常见坑 ​

现象原因处理
检索结果完全不合理用了对话模型当 embedding必须换 nomic-embed-text / bge-m3 这类专用模型
换模型后报维度不匹配新旧模型维度不同(768 vs 1024)换模型必须重建全部向量
一次传几千条,超时批量太大,单请求算太久分批,每批 50–200 条,串行或小并发

第三个坑很常见:批量不是越大越好,单请求超过几十秒就会被超时打断,反而要重跑。


本章小结 ​

要点说明
embedding 是什么把文本压成固定长度数字数组,语义近则距离近
接口/api/embed,input 支持数组;旧接口是 /api/embeddings
维度nomic-embed-text 768 维,bge-m3 1024 维
相似度余弦相似度,结果 -1 到 1
本地优势建库零成本、文档不出门、批量快
换模型维度变了必须重建索引

下一章 ​

最后一章回到最开始的问题:既然本地有这么多限制,什么时候该老老实实回云端?答案不是"看情况",而是一张能照着执行的分流表。

本文阅读--次|全站访问--次|访客--人