第 2 章:解析,最脏也最值钱的一步
PDF 不是"文档",是"打印指令"。它告诉打印机每个字形该出现在哪个坐标,却不告诉任何人"这两列字该先读哪一列"。
学习目标
- 说清 PDF 为什么容易读错,错在哪
- 会用三种解析器,知道各自擅长什么
- 能处理双栏、页眉页脚、表格、扫描件四类常见坑
- 给解析质量做一次可复现的抽检
2.1 PDF 的结构决定了它的坑
一份 PDF 里,文字是按"页面上的字形"存的,每个字形带坐标。阅读顺序是渲染时才推断的:
- 字形的写入顺序往往是排版软件的生成顺序,不一定等于人的阅读顺序;
- 双栏排版的 PDF,字形可能按"横跨整页的一行"写入,抽出来就是左右两栏交错;
- 页眉页脚、页码、水印会混进正文;
- 表格的线是矢量图形,文字和格子是两套东西。
所以"解析"不是简单 pdf.extract_text(),而是重建阅读顺序。
2.2 三种解析器,别只用一个
| 工具 | 定位 | 强项 | 弱项 |
|---|---|---|---|
pypdf | 纯 Python,轻 | 读文本层、拆页、加密处理 | 不懂布局,双栏会乱 |
pdfplumber | 基于 pdfminer | 能取每个字符的坐标、能抓表格 | 慢,大文件吃力 |
PyMuPDF(fitz) | C 内核 | 快,能按 block 取文本和位置 | 表格结构要自己拼 |
python
# pypdf:能用,但不知道布局
from pypdf import PdfReader
text = "".join(p.extract_text() for p in PdfReader("manual.pdf").pages)
# pdfplumber:拿坐标自己排
import pdfplumber
with pdfplumber.open("manual.pdf") as pdf:
for page in pdf.pages:
words = page.extract_words() # 每个词带 x0/x1/top/bottom
tables = page.extract_tables() # 表格直接给二维数组务实策略:先用 pypdf 快速判断"有没有文本层",再用 pdfplumber 处理需要布局的页面。全用 pdfplumber 最省心,但要接受它慢。
2.3 双栏:最典型的读错
自己分栏的代码不长:
python
def read_two_columns(page, split_x=None):
words = page.extract_words()
xs = [w["x0"] for w in words]
split_x = split_x or (min(xs) + max(xs)) / 2
left, right = [], []
for w in words:
(left if w["x0"] < split_x else right).append(w)
def join(ws):
return " ".join(x["text"] for x in sorted(ws, key=lambda x: (x["top"], x["x0"])))
return join(left), join(right)简单的启发式够用了:分栏判断 + 栏内按 top 排序,能解决 80% 的技术文档。剩下 20% 交给人工或换更强的解析服务。
2.4 页眉页脚与表格
| 问题 | 做法 |
|---|---|
| 每页重复的页眉、页码 | 统计"同一位置在多数页重复出现的短文本",直接剔除 |
| 表格 | pdfplumber.extract_tables() 拿二维数组,转成 Markdown 表再入库 |
| 跨页表格 | 合并时要判断"表头是否重复",重复就丢弃第二次的表头 |
| 脚注 | 通常在页面底部小字号,可按字号过滤,或保留但标记 |
表格入库要转成结构化文本,不要拍平成一行字:
markdown
| 型号 | 保修期 | 上门费 |
|------|--------|--------|
| A100 | 3 年 | 免费 |
| B200 | 1 年 | 80 元 |这样模型能读懂"行与列"的对应关系,抽成"型号 A100 保修期 3 年 上门费 免费"就丢了结构。
2.5 扫描件:OCR 是另一条路
判断依据:文本层为空,但页面有图像。
python
import pdfplumber
with pdfplumber.open("scan.pdf") as pdf:
page = pdf.pages[0]
has_text = bool(page.extract_text().strip())
has_image = bool(page.images)
print("文本层:", has_text, "图片:", has_image) # False True → 扫描件扫描件要 OCR:
| 方案 | 特点 |
|---|---|
| PaddleOCR | 中文效果好,本地可跑 |
| Tesseract | 轻,中文精度一般 |
| 云 OCR | 准、快、按量收费 |
OCR 出来的文本错误率明显高于文本层,所以:
- 保留 OCR 置信度低的片段标记,检索时降权或标注"识别可能有误";
- 数字、型号、单位这类关键字段,最好人工抽查。
2.6 HTML 与 Markdown:把结构留下来
网页和 Markdown 最大的优势是有标题层级。别把它压成纯文本:
python
# 保留标题路径:每个片段都知道自己属于哪一节
section = "第 3 章 > 3.2 安装 > 3.2.1 依赖"这个 section 路径后面有两个用处:切分时知道"这是同一节"、引用时能告诉用户"出自哪一节"。
2.7 解析路由与自检
自检方法(很重要,很多人跳过):
- 随机抽 20 页,把解析出的文本和原 PDF 对照;
- 重点看:段落顺序、表格是否完整、有没有夹进页眉;
- 记录错误类型,决定是"换工具"还是"加规则"。
解析错误一旦进入向量库,后面所有环节都在为它买单,而且极难定位——因为向量里看不出"这句话被腰斩了"。
本章小结
| 要点 | 说明 |
|---|---|
| PDF 本质 | 字形 + 坐标,阅读顺序要重建 |
| 三个工具 | pypdf 快、pdfplumber 懂布局、PyMuPDF 更快 |
| 双栏 | 按 x 聚簇分栏,栏内按 y 排序 |
| 页眉 | 找"多页同位置重复短文本"剔除 |
| 表格 | 转 Markdown 表,别拍平 |
| 扫描件 | 文本层为空 → OCR,保留置信度 |
| 自检 | 抽 20 页人工对照,别跳 |
下一章
读干净了,接下来决定每段多大。切分是 RAG 里性价比最高的一步——改对了,召回和回答会同时变好。