第 3 章:切分,性价比最高的一步
切分决定了模型"一次能看到多少完整的意思"。切错了,再好的 embedding 也救不回来。
学习目标
- 说清"切太小"和"切太大"各自的失败方式
- 会用递归切分和结构切分,知道什么时候该上语义切分
- 给每个片段补上文档与章节信息
- 用 10 个片段抽检切分质量
3.1 切分在权衡什么
一个片段要同时满足两件矛盾的事:
- 足够小:向量才能聚焦,检索时"像不像"才准;
- 足够完整:包含一个完整的论断,模型读了能回答。
| 切得太小 | 切得太大 |
|---|---|
| "三年质保"和"自购买之日起"被切开 | 一个片段里有五个主题 |
| 召回时各命中一半 | 向量被"平均",哪个主题都不像 |
| 模型看到的是残句 | 关键那句被埋在 800 字里 |
3.2 四种切分策略
① 固定长度 + 重叠
最简单:按 chunk_size=500、chunk_overlap=50 滑窗切。
- 优点:实现零成本、长度可控;
- 缺点:完全不看语义,句中被切断。
重叠(overlap)的作用是"让被切断的句子在下一段里重新出现一次"。
② 递归切分(推荐默认)
按分隔符优先级尝试:先按段落 \n\n,太长再按句子 。!?,再长才按字符。
python
def split_recursive(text, size=500, overlap=50):
seps = ["\n\n", "\n", "。", "!", "?", ";", ",", ""]
def _split(t, i):
if len(t) <= size:
return [t]
sep = seps[i]
parts = t.split(sep) if sep else list(t)
chunks, buf = [], ""
for p in parts:
piece = p + (sep if sep else "")
if len(buf) + len(piece) <= size:
buf += piece
else:
if buf: chunks.append(buf)
if len(piece) > size and i + 1 < len(seps):
chunks.extend(_split(piece, i + 1))
else:
buf = piece
if buf: chunks.append(buf)
return [chunks[0]] + [(chunks[k-1][-overlap:] + chunks[k]) for k in range(1, len(chunks))]
return _split(text, 0)实际项目里可以直接用 langchain_text_splitters.RecursiveCharacterTextSplitter,逻辑一致。
③ 结构切分(文档类首选)
按标题层级切:一个三级标题一节,超长再递归。
python
def split_by_headings(md_text, max_len=600):
import re
parts = re.split(r"\n(?=#{2,4} )", md_text)
out = []
for p in parts:
body = p
if len(body) > max_len:
out.extend(split_recursive(body, max_len))
else:
out.append(body)
return out好处是天然带章节信息,后面做引用和上下文增强都用得上。
④ 语义切分
把长文按句子逐句算相邻相似度,在"相似度骤降"的位置断开。它更贴近语义边界,但成本高(要先算 embedding),且效果不一定比结构切分好。
结论:有标题结构的文档用③,没结构的用②,别一上来就上④。
3.3 给片段补上下文
单独一段"三年质保,自购买之日起算",脱离文档后没人知道"什么产品"。
两种补法:
补前缀(便宜、有效):
【《A100 用户手册》第 4 章 售后服务 · 4.2 质保】
本产品提供三年质保,自购买之日起算……让模型写摘要(贵、更强):用一次 LLM 调用,为每个片段生成"它在文档里的位置与主题"的一句话,拼在片段前面。有团队用这种做法明显降低了检索失败率,但要多付一轮 token。
建议:先做补前缀,它几乎零成本,且对"产品名/型号"这类检索帮助很大。
3.4 元数据要带全
每个片段入库时至少带这几个字段:
| 字段 | 用途 |
|---|---|
doc_id | 定位到哪份文件 |
doc_title | 引用时展示 |
section | 章节路径,拼接与引用都用 |
page | 页码,溯源用 |
chunk_index | 同文档内的顺序,用于上下文扩展 |
char_start/char_end | 原始位置,精确高亮用 |
没有这些字段,第 8 章的"引用"就做不出来。
3.5 怎么验证切分
不用建测试集,先做三件事:
- 抽 10 个片段,逐个问:这段话单独看,意思完整吗?
- 找 3 个已知答案,检查答案所在的那句话有没有被切开;
- 看长度分布:如果一半片段都在 20 字以下,说明分隔符选错了。
python
import statistics
lens = [len(c) for c in chunks]
print("数量", len(lens), "中位", statistics.median(lens), "最短", min(lens), "最长", max(lens))3.6 切分决策
本章小结
| 要点 | 说明 |
|---|---|
| 两个矛盾 | 太小碎片化,太大稀释 |
| 经验值 | 中文 300–600 字,以"语义完整"为准 |
| 四种策略 | 固定、递归、结构、语义 |
| 默认 | 有结构按结构,无结构用递归 |
| overlap | 50 字左右,救被切断的句子 |
| 补上下文 | 片段前加"文档 + 章节"前缀 |
| 元数据 | doc/section/page/index 必须带 |
| 验证 | 抽 10 段 + 查答案句是否完整 |
下一章
切好了,接下来入库。向量库课已经讲过怎么建,这一章只讲 RAG 场景里额外的两件事:增量更新和版本管理。