Skip to content

第 2 章:解析,最脏也最值钱的一步 ​

PDF 不是"文档",是"打印指令"。它告诉打印机每个字形该出现在哪个坐标,却不告诉任何人"这两列字该先读哪一列"。


学习目标 ​

  • 说清 PDF 为什么容易读错,错在哪
  • 会用三种解析器,知道各自擅长什么
  • 能处理双栏、页眉页脚、表格、扫描件四类常见坑
  • 给解析质量做一次可复现的抽检

2.1 PDF 的结构决定了它的坑 ​

一份 PDF 里,文字是按"页面上的字形"存的,每个字形带坐标。阅读顺序是渲染时才推断的:

  • 字形的写入顺序往往是排版软件的生成顺序,不一定等于人的阅读顺序;
  • 双栏排版的 PDF,字形可能按"横跨整页的一行"写入,抽出来就是左右两栏交错;
  • 页眉页脚、页码、水印会混进正文;
  • 表格的线是矢量图形,文字和格子是两套东西。

所以"解析"不是简单 pdf.extract_text(),而是重建阅读顺序。


2.2 三种解析器,别只用一个 ​

工具定位强项弱项
pypdf纯 Python,轻读文本层、拆页、加密处理不懂布局,双栏会乱
pdfplumber基于 pdfminer能取每个字符的坐标、能抓表格慢,大文件吃力
PyMuPDF(fitz)C 内核快,能按 block 取文本和位置表格结构要自己拼
python
# pypdf:能用,但不知道布局
from pypdf import PdfReader
text = "".join(p.extract_text() for p in PdfReader("manual.pdf").pages)

# pdfplumber:拿坐标自己排
import pdfplumber
with pdfplumber.open("manual.pdf") as pdf:
    for page in pdf.pages:
        words = page.extract_words()          # 每个词带 x0/x1/top/bottom
        tables = page.extract_tables()        # 表格直接给二维数组

务实策略:先用 pypdf 快速判断"有没有文本层",再用 pdfplumber 处理需要布局的页面。全用 pdfplumber 最省心,但要接受它慢。


2.3 双栏:最典型的读错 ​

同一页,两种读法天真读法:一行一行横着读① 左栏第一段开头…④ 右栏第一段…② 左栏继续…⑤ 右栏继续…③ 左栏结尾…⑥ 右栏结尾…读出来:①④②⑤③⑥ —— 句子被腰斩这类错误在向量里表现为"语义混乱"正确读法:按栏切,先左后右① 左栏第一段开头…② 左栏继续…③ 左栏结尾…④ 右栏第一段…⑤ 右栏继续…⑥ 右栏结尾…读出来:①②③④⑤⑥ —— 语义连贯按 x 坐标分栏,再按 y 排序,就能拿到判断有没有双栏:看字符的 x 坐标是否聚成两簇。有,就按簇分栏,栏内按 y 排。

自己分栏的代码不长:

python
def read_two_columns(page, split_x=None):
    words = page.extract_words()
    xs = [w["x0"] for w in words]
    split_x = split_x or (min(xs) + max(xs)) / 2
    left, right = [], []
    for w in words:
        (left if w["x0"] < split_x else right).append(w)
    def join(ws):
        return " ".join(x["text"] for x in sorted(ws, key=lambda x: (x["top"], x["x0"])))
    return join(left), join(right)

简单的启发式够用了:分栏判断 + 栏内按 top 排序,能解决 80% 的技术文档。剩下 20% 交给人工或换更强的解析服务。


2.4 页眉页脚与表格 ​

问题做法
每页重复的页眉、页码统计"同一位置在多数页重复出现的短文本",直接剔除
表格pdfplumber.extract_tables() 拿二维数组,转成 Markdown 表再入库
跨页表格合并时要判断"表头是否重复",重复就丢弃第二次的表头
脚注通常在页面底部小字号,可按字号过滤,或保留但标记

表格入库要转成结构化文本,不要拍平成一行字:

markdown
| 型号 | 保修期 | 上门费 |
|------|--------|--------|
| A100 | 3 年 | 免费 |
| B200 | 1 年 | 80 元 |

这样模型能读懂"行与列"的对应关系,抽成"型号 A100 保修期 3 年 上门费 免费"就丢了结构。


2.5 扫描件:OCR 是另一条路 ​

判断依据:文本层为空,但页面有图像。

python
import pdfplumber

with pdfplumber.open("scan.pdf") as pdf:
    page = pdf.pages[0]
    has_text = bool(page.extract_text().strip())
    has_image = bool(page.images)
    print("文本层:", has_text, "图片:", has_image)   # False True → 扫描件

扫描件要 OCR:

方案特点
PaddleOCR中文效果好,本地可跑
Tesseract轻,中文精度一般
云 OCR准、快、按量收费

OCR 出来的文本错误率明显高于文本层,所以:

  • 保留 OCR 置信度低的片段标记,检索时降权或标注"识别可能有误";
  • 数字、型号、单位这类关键字段,最好人工抽查。

2.6 HTML 与 Markdown:把结构留下来 ​

网页和 Markdown 最大的优势是有标题层级。别把它压成纯文本:

python
# 保留标题路径:每个片段都知道自己属于哪一节
section = "第 3 章 > 3.2 安装 > 3.2.1 依赖"

这个 section 路径后面有两个用处:切分时知道"这是同一节"、引用时能告诉用户"出自哪一节"。


2.7 解析路由与自检 ​

自检方法(很重要,很多人跳过):

  1. 随机抽 20 页,把解析出的文本和原 PDF 对照;
  2. 重点看:段落顺序、表格是否完整、有没有夹进页眉;
  3. 记录错误类型,决定是"换工具"还是"加规则"。

解析错误一旦进入向量库,后面所有环节都在为它买单,而且极难定位——因为向量里看不出"这句话被腰斩了"。


本章小结 ​

要点说明
PDF 本质字形 + 坐标,阅读顺序要重建
三个工具pypdf 快、pdfplumber 懂布局、PyMuPDF 更快
双栏按 x 聚簇分栏,栏内按 y 排序
页眉找"多页同位置重复短文本"剔除
表格转 Markdown 表,别拍平
扫描件文本层为空 → OCR,保留置信度
自检抽 20 页人工对照,别跳

下一章 ​

读干净了,接下来决定每段多大。切分是 RAG 里性价比最高的一步——改对了,召回和回答会同时变好。

本文阅读--次|全站访问--次|访客--人