Skip to content

第 3 章:切分,性价比最高的一步 ​

切分决定了模型"一次能看到多少完整的意思"。切错了,再好的 embedding 也救不回来。


学习目标 ​

  • 说清"切太小"和"切太大"各自的失败方式
  • 会用递归切分和结构切分,知道什么时候该上语义切分
  • 给每个片段补上文档与章节信息
  • 用 10 个片段抽检切分质量

3.1 切分在权衡什么 ​

一个片段要同时满足两件矛盾的事:

  • 足够小:向量才能聚焦,检索时"像不像"才准;
  • 足够完整:包含一个完整的论断,模型读了能回答。
切得太小切得太大
"三年质保"和"自购买之日起"被切开一个片段里有五个主题
召回时各命中一半向量被"平均",哪个主题都不像
模型看到的是残句关键那句被埋在 800 字里

3.2 四种切分策略 ​

同一段原文,三种切法切太小:语义被腰斩片段1「本产品提供三年」片段2「质保,自购买之日」片段3「起算,不含人为」三句都残缺,谁都不够回答合适:一个完整论断本产品提供三年质保,自购买之日起算,不含人为损坏。质保期内免费上门维修。一句话三要素齐全,能直接回答切太大:主题被稀释质保三年…上门费…退换货…发票…维修网点…配件价格…客服电话…(共 900 字)一个片段里五六个主题向量被平均,谁都像一点经验值:中文文档 300–600 字一段,约等于一个自然段或一个小节。判断标准不是字数,是"拿掉这一段,回答还完整吗"——不完整就说明切早了。表格、代码块、列表要整块保留,绝不按字数硬切。

① 固定长度 + 重叠 ​

最简单:按 chunk_size=500、chunk_overlap=50 滑窗切。

  • 优点:实现零成本、长度可控;
  • 缺点:完全不看语义,句中被切断。

重叠(overlap)的作用是"让被切断的句子在下一段里重新出现一次"。

② 递归切分(推荐默认) ​

按分隔符优先级尝试:先按段落 \n\n,太长再按句子 。!?,再长才按字符。

python
def split_recursive(text, size=500, overlap=50):
    seps = ["\n\n", "\n", "。", "!", "?", ";", ",", ""]
    def _split(t, i):
        if len(t) <= size:
            return [t]
        sep = seps[i]
        parts = t.split(sep) if sep else list(t)
        chunks, buf = [], ""
        for p in parts:
            piece = p + (sep if sep else "")
            if len(buf) + len(piece) <= size:
                buf += piece
            else:
                if buf: chunks.append(buf)
                if len(piece) > size and i + 1 < len(seps):
                    chunks.extend(_split(piece, i + 1))
                else:
                    buf = piece
        if buf: chunks.append(buf)
        return [chunks[0]] + [(chunks[k-1][-overlap:] + chunks[k]) for k in range(1, len(chunks))]
    return _split(text, 0)

实际项目里可以直接用 langchain_text_splitters.RecursiveCharacterTextSplitter,逻辑一致。

③ 结构切分(文档类首选) ​

按标题层级切:一个三级标题一节,超长再递归。

python
def split_by_headings(md_text, max_len=600):
    import re
    parts = re.split(r"\n(?=#{2,4} )", md_text)
    out = []
    for p in parts:
        body = p
        if len(body) > max_len:
            out.extend(split_recursive(body, max_len))
        else:
            out.append(body)
    return out

好处是天然带章节信息,后面做引用和上下文增强都用得上。

④ 语义切分 ​

把长文按句子逐句算相邻相似度,在"相似度骤降"的位置断开。它更贴近语义边界,但成本高(要先算 embedding),且效果不一定比结构切分好。

结论:有标题结构的文档用③,没结构的用②,别一上来就上④。


3.3 给片段补上下文 ​

单独一段"三年质保,自购买之日起算",脱离文档后没人知道"什么产品"。

两种补法:

补前缀(便宜、有效):

【《A100 用户手册》第 4 章 售后服务 · 4.2 质保】
本产品提供三年质保,自购买之日起算……

让模型写摘要(贵、更强):用一次 LLM 调用,为每个片段生成"它在文档里的位置与主题"的一句话,拼在片段前面。有团队用这种做法明显降低了检索失败率,但要多付一轮 token。

建议:先做补前缀,它几乎零成本,且对"产品名/型号"这类检索帮助很大。


3.4 元数据要带全 ​

每个片段入库时至少带这几个字段:

字段用途
doc_id定位到哪份文件
doc_title引用时展示
section章节路径,拼接与引用都用
page页码,溯源用
chunk_index同文档内的顺序,用于上下文扩展
char_start/char_end原始位置,精确高亮用

没有这些字段,第 8 章的"引用"就做不出来。


3.5 怎么验证切分 ​

不用建测试集,先做三件事:

  1. 抽 10 个片段,逐个问:这段话单独看,意思完整吗?
  2. 找 3 个已知答案,检查答案所在的那句话有没有被切开;
  3. 看长度分布:如果一半片段都在 20 字以下,说明分隔符选错了。
python
import statistics
lens = [len(c) for c in chunks]
print("数量", len(lens), "中位", statistics.median(lens), "最短", min(lens), "最长", max(lens))

3.6 切分决策 ​


本章小结 ​

要点说明
两个矛盾太小碎片化,太大稀释
经验值中文 300–600 字,以"语义完整"为准
四种策略固定、递归、结构、语义
默认有结构按结构,无结构用递归
overlap50 字左右,救被切断的句子
补上下文片段前加"文档 + 章节"前缀
元数据doc/section/page/index 必须带
验证抽 10 段 + 查答案句是否完整

下一章 ​

切好了,接下来入库。向量库课已经讲过怎么建,这一章只讲 RAG 场景里额外的两件事:增量更新和版本管理。

本文阅读--次|全站访问--次|访客--人