财报透视(二):三百页里找三张表
老周的第一步永远是 Ctrl+F,搜「合并资产负债表」。
以科大讯飞 2024 年年报为例,289 页,这几个字出现在 5 页上:第 114 页是真正的报表,第 147、148、151、179 页是会计政策附注,比如「编制合并资产负债表时,调整合并资产负债表的期初数……」。运气好,第一下就跳到了第 114 页。
换成中芯国际 2024 年年报,Ctrl+F 第一下跳到的是第 113 页:
我们审计了中芯国际集成电路制造有限公司的财务报表,包括 2024 年 12 月 31 日的合并资产负债表……
这是审计报告,真正的报表在第 117 页。人一眼就能看出来,程序不行:对字符串匹配来说,审计报告里的「合并资产负债表」和报表标题里的「合并资产负债表」是同样的六个字。
这一篇讲解析的前两步:从三百页里找到三张表,再把表格还原成一行一行带页码的数字。
你在这里
上传年报 → 三表定位 → 表格还原 → 数值归一 → 科目对齐 → 指标计算 → 勾稽与异常 → 呈现
一、难在哪
年报的版式是证监会规定过的,但只规定了「要有什么」,没规定「长什么样」。落到 PDF 上,麻烦有这么几类:
- 同名标题到处都是。审计报告、会计政策附注、管理层讨论里,都会提到「合并资产负债表」「合并利润表」。还有母公司报表,标题只差三个字:「母公司资产负债表」。
- 跨页。资产负债表一般占 3~5 页,表格在页尾断开,下一页接着来。有时候一行的科目名在上一页,数字在下一页。
- 表头吞行。报表第一行的「货币资金」或「一、营业总收入」,会被表格识别当成表头的一部分,整行消失。
- 单元格不规矩。长科目名在单元格里折成两行,两个相邻科目被识别成一个单元格。
后面每一节对应一类。
二、三表定位:六道筛子
为什么不用书签和目录
最先想到的办法是读 PDF 书签。很多年报的 PDF 带书签,点「合并资产负债表」直接跳过去,准确无比。
问题在「很多」两个字。评测集里 10 份年报,有书签可用的是 6 份。剩下 4 份,2 份只能靠带编号的标题,2 份只能靠页面内容判断。书签后来被我用在了评测里:给定位结果出金标的时候,书签是最可信的独立来源。产品里不能依赖一个「有时候有」的东西。
目录页也不行。目录上写的是年报自己的页码,和 PDF 的物理页码之间差着封面、目录本身这些页,偏移量每份年报都不一样。
为什么不用书签
书签是发行方自己打的,有的时候最准。但产品要对每一份上传的 PDF 负责,不能对「没书签的那 40%」说抱歉。书签留给评测当裁判正合适:裁判要独立于选手,而书签和定位逻辑是两条完全不相干的路。
六道筛子
最后的办法很朴素:逐页过筛子。一页纸要被认作某张报表的起始页,得连过六关:
def is_statement_page(text: str, kind: str, next_text: str | None = None) -> bool:
normalized = compress_whitespace(text)
if len(normalized) < 50:
return False
if looks_like_toc(normalized):
return False
if any(phrase in normalized for phrase in EXCLUDE_PHRASES):
return False
if find_heading(normalized, kind) is None:
return False
if not any(marker in normalized for marker in STATEMENT_HEADER_MARKERS):
# 兜底:报表页数字密度显著高于叙述页
if sum(char.isdigit() for char in normalized) < 80:
return False
if any(account in normalized for account in REQUIRED_ACCOUNTS[kind]):
return True
# 表格可能刚好在标题页断开:科目行落在下一页
if next_text is not None:
following = compress_whitespace(next_text)
if any(account in following for account in REQUIRED_ACCOUNTS[kind]):
return True
return False逐关看:
- 字太少的不要。去掉空白后不到 50 个字的页,多半是分隔页或者空白页。
- 目录页不要。页面开头 120 个字里有「目录」两个字。
- 管理层讨论里的分析表不要。这一关是被坑出来的:管理层讨论里有一张「利润表及现金流量表相关科目变动分析表」,表头写着「单位:元」,满页数字,还有「营业收入」。它和真报表的特征几乎全部重合,只能按名字点名排除。同一张排除名单里还有「主要会计数据」「主要财务指标」。
- 标题必须对,且前面不能是「母公司」。
find_heading找「合并资产负债表」时会看前面三个字,是「母公司」就跳过,继续往后找。 - 得像一张报表。页面里有「单位:元」「编制单位」这类表头标记;没有的话,数字字符至少 80 个。审计报告和会计政策附注就倒在这一关:中芯国际第 113 页那段审计意见,全页 34 个数字字符,没有任何表头标记。
- 得有这张表一定会有的科目。资产负债表要有「资产总计」「负债合计」之类,利润表要有「营业收入」「净利润」之类。还有个特殊情况:标题恰好印在页底,科目全在下一页,所以这一关允许看下一页。
三张表各自找到起始页之后,结束页好办:按起始页排序,每张表到下一张表开始前一页为止。
这六关里没有一关是聪明的,每一关都很笨,笨到你一眼就能看懂它在挡什么。我更喜欢这样的规则:哪天它把一页认错了,你能很快说出是哪一关漏了。
结果
评测集 10 份年报,30 张表的起始页 30/30 全对。耗时方面,全文文本抽取 1~2.5 秒(pypdfium2,200~300 页),定位本身 20~40 毫秒。定位快,是因为它只做字符串判断,不碰表格结构。贵的活留给下一步,而且只在定位出来的那十来页上做。
三、表格还原:主路和兜底
定位给出的是页码范围,比如资产负债表在第 114~118 页。接下来要把这几页上的表格变成行:
科目名 本期 上期 页码 原文片段
货币资金 2,451,175,870.25 3,387,380,425.36 109 货币资金 | 2,451,175,870.25 | 3,387,…主路:pdfplumber 的表格接口
pdfplumber 的 extract_tables() 根据表格线和文字位置识别单元格,返回一个二维数组。数组里没有「哪一列是本期」的信息,得自己判断:
header_index = -1
for index, row in enumerate(grid):
if any("项目" in text for text in row):
header_index = index
break
data = grid[header_index + 1:] if header_index >= 0 else grid
width = max((len(row) for row in data), default=0)
counts = [0] * width
for row in data:
for column, text in enumerate(row):
if is_value_token(text):
counts[column] += 1
required = 2 if len(data) >= 3 else 1
valuated = [column for column, count in enumerate(counts) if count >= required]
if len(valuated) < 2:
return []
current_col, previous_col = valuated[-2], valuated[-1]规则就一句:数一数每一列有几个像金额的单元格,最后两个「数字列」就是本期和上期。
这条规则能成立,靠的是年报格式本身:A 股合并报表的列固定是「项目 | 附注 | 本期 | 上期」。附注列里是「七、1」这样的编号(有的年报这一列干脆是空的),is_value_token 要求至少 5 位数字(或者带千分位、小数点)才算金额,编号、页码、年份都会被滤掉。剩下的数字列只有两个,排在最后的是上期。
监管格式是最好的朋友。能用格式规范推出来的东西,就不要用算法去猜。
兜底:坐标聚类
万一某一页 extract_tables() 什么都没识别出来(比如无边框表格),还有一条兜底路:拿 pdfplumber 的词块坐标,纵坐标相差 4 个点以内的算一行,横坐标聚成列。
说句实话:评测集 10 份年报,这条兜底路一次都没触发。表格接口每一页都识别出了东西。兜底代码是 v1.0 早期为无边框表格准备的,同一个文件里还有一段「同页多表切分」,函数第一行就是 return [list(words)],注释写着「实验性,当前关闭」。这两段代码都有单测,但没有真实年报验证过,算是初代版本留下的存量。
四、四个坑
坑 1:科目名折行
长科目名在单元格里放不下,会折成两行。表格接口有时把它识别成两行:第一行只有科目名的前半截、没有数字,第二行是后半截加上数字。
购建固定资产、无形资产和其他长 (无数字)
期资产支付的现金 1,234,567.00 987,654.00对策分两层。第一层在表格还原里:上一行没有数字、这一行有数字,并且这一行的科目名以右括号开头,或者上一行很长(≥ 8 个字)、这一行很短(≤ 6 个字),就把两行拼起来。第二层在科目对齐里:如果拼完还是半截,比如只剩「购建固定资产、无形资产和其他长」,就看它是不是某个标准科目名的前缀,并且长度至少占到 60%、只指向唯一一个科目。
第二层在 10 份年报上一共接住了 29 行。v0.4.0 修掉的一个问题就在这里:「购建固定资产、无形资产和其他长」和「五、净利润(净亏损以…」这两个半截科目名取不到数,导致自由现金流和净利润缺失。
踩坑:拼行规则别写太宽
「上一行没数字、这一行有数字」这个条件本身太宽:分组标题(比如「流动资产:」)下面紧跟的第一个科目也满足。所以必须再加长度或括号条件,否则「流动资产:」会和「货币资金」拼成一行「流动资产:货币资金」。
坑 2:首行被表头吞掉
科大讯飞 2024 年报第 114 页,是审计报告结尾和资产负债表开头共用的一页。表格识别把资产负债表第一行「货币资金」并进了表头,这一行整个消失了。后果不只是少一个数:货币资金缺了,溯源页码还跟着错了一位。
对策是按页面文本回填:每张表有一个「首行锚点」(资产负债表是「货币资金」,利润表是「营业总收入」或「营业收入」,现金流量表是「销售商品」)。如果表格前两页里没看到锚点科目,就去起始页和下一页的纯文本里,用正则找「锚点科目 + 两个金额」这一行,补到表格最前面。
FIRST_ROW_ANCHORS = {
"balance": ("货币资金",),
"income": ("营业总收入", "营业收入"),
"cashflow": ("销售商品",),
}
ROW_LINE = re.compile(
r"^(?P<label>[^\d]{2,40}?)\s+(?P<current>\(?-?[\d,]+(?:\.\d{2})?\)?)\s+"
r"(?P<previous>\(?-?[\d,]+(?:\.\d{2})?\)?)\s*$"
)src/dashboard/session.py#L218-L226
这个补丁是因为科大讯飞那一页加上的。加完之后我在 10 份年报上统计了一下它触发了几次:7 次,其中 6 次补回的是利润表第一行「一、营业总收入」。也就是说,这个坑在评测集里不是个例,营业总收入是被吞得最多的一行。TASK-019 当时的验收用例只盯着科大讯飞的货币资金,这个补丁其实一直在替利润表干活,只是没人数过。
坑 3:两个科目挤进一个单元格
打开单年报表,能看到这样一行:
应收分保合同准备金其他应收款 329,036,310.10 321,170,391.00「应收分保合同准备金」是银行、保险才有的科目,在科技公司的报表里是空的,「其他应收款」才有数。表格识别把两个相邻单元格合成了一个,科目名就拼在了一起。
对策在科目对齐那一层:精确匹配失败时,试「最长后缀」匹配。「应收分保合同准备金其他应收款」以「其他应收款」结尾,就挂到其他应收款上。为了不误挂,有两个限制:剩下的前缀不能本身是另一个科目(避免把「流动负债合计」挂到「负债合计」上),以「流动」「非流动」「归属于」开头的标签不做后缀匹配。10 份年报里,后缀匹配一共接住了 39 行,比如「买入返售金融资产存货」挂到了「存货」(这 39 行里也有「2.少数股东损益」这种带阿拉伯数字编号的,编号让精确匹配失败,后缀匹配顺手接住了)。
踩坑:取数对了,展示还是错的
后缀匹配只修了取数,没修展示。单年报表上那一行的科目名,还是原样显示「应收分保合同准备金其他应收款」。数字是对的,页码也是对的,但读的人会愣一下。这个算初代版本的已知问题,记在第 7 篇的账本上。
坑 4:合并报表和母公司报表串表
定位找的是合并报表的起始页,但页范围是「到下一张表开始前一页为止」。很多年报里,合并资产负债表后面紧跟着母公司资产负债表,母公司的那几行就被一起读了进来。母公司报表里也有「货币资金」「存货」,两份数字打架。
对策两条。第一条,同一个科目出现多次时,按行出现顺序取第一个:合并报表总在前面。v0.2.0 之前是后面覆盖前面,金山办公的存货一度取成了母公司报表上的 79,594.31,而合并报表上是 802,036.62。第二条,用每张表的「末行」把母公司部分截掉:资产负债表的末行是「负债和所有者权益总计」,利润表是「稀释每股收益」,现金流量表是「期末现金及现金等价物余额」。
五、扣非净利润:不在三张表里的数
最后说一个特例。「扣除非经常性损益后的净利润」是读年报的人最关心的数之一,但它不在三张报表里。它在年报前面的「主要会计数据和财务指标」一节。
最早的版本只看三张表,扣非净利润 10 份年报里取到 0 份。后来加了一个兜底:三张表里找不到,就在全文文本里找「扣除非经常性损益」后面紧跟「净利润」的位置,往后读两个金额。10 份年报现在全部取到,而且全部是走兜底取到的。
v0.4.2 更新:取到了,不等于取对了
修千元单位(TASK-023)时在评测年报上逐份复跑,发现中芯国际的扣非净利润一直是错的:2024 年读成了 -19.11 元。兜底逻辑先把页面上的空白全部删掉,再用「带两位小数的金额」去找数。中芯国际的报表单位是千元,金额是不带小数的整数,「2,645,419 3,269,518 -19.1 10,133,988」删掉空格粘成一串,正则只能在唯一的小数点那里断开。用元的年报碰巧没事,因为每个数都有两位小数当分隔。
v0.4.2 改成保留空白当分隔符,科目名允许折行,后面紧跟两个金额才采用,科目名后的「(元)」「(千元)」当作单位。中芯国际现在是 2,645,419,000 元,其余 8 份和修复前逐分一致。「10 份全部取到」这句话当时是真的,只是其中 2 份取到的是错的数。
这个兜底和定位里的「排除主要会计数据」并不矛盾:定位要排除那一节,是因为它不是报表;扣非要去那一节找,是因为它只在那里。规则跟着数据走,不跟着「看起来一致」走。
六、结果和还没解决的
表格还原的评测是 200 行金标:每份年报 20 行,比对「科目名对得上、本期数字一致」。v0.4.1 的结果是 192/200 = 96.0%,需求文档的门槛是 99%,没达标。
剩下的 8 行:
- 4 行出在金标自己身上。金山办公 2024 年报第 130 页,金标里有「益)合计」「填列)」这样的条目,是生成金标的脚本把折行科目名的后半截当成了一行。产品侧拼行之后,自然找不到这种「行」。
- 4 行是真问题:金山办公、中芯国际 4 份年报的「利息收入」(财务费用下面的「其中:利息收入」)没取到数。这一行的数字落在附注列右侧,列归属判断错了。
金标自己也会错,这件事第 6 篇会专门讲:自动生成的金标省人力,但它和产品一样会被同一个坑绊倒,得有人回头看它。
| 环节 | 做法 | 结果 |
|---|---|---|
| 三表定位 | 六道筛子,不靠书签和目录 | 30/30 |
| 表格还原 | pdfplumber 表格接口,最后两个数字列取本期、上期 | 192/200 = 96.0% |
| 坐标聚类兜底 | 已实现,有单测 | 评测集未触发 |
| 折行 | 表内拼行 + 前缀匹配 | 前缀匹配接住 29 行 |
| 首行丢失 | 页面文本按锚点回填 | 触发 7 次 |
| 合并单元格 | 最长后缀匹配 | 接住 39 行,展示未修 |
| 母公司串表 | 按出现顺序取首值 + 末行截断 | 资产 = 负债 + 权益:v0.4.1 是 6 通过 4 跳过(权益合计行没取到),v0.4.2 补上写法后 10/10 通过 |
到这里,PDF 已经变成了一行一行带页码的「科目名 + 本期 + 上期」。但这些行里的数字还是原文的写法:「(1,234.56)」「—」「1.2 亿元」都有,科目名也还是原文的写法。下一篇讲怎么把它们统一:空值为什么不能当 0,一个科目为什么能有一百多种写法。
版本说明
本文基于 v0.4.1(提交 5150928)。表格还原 96% 未达 99%、「利息收入」列归属、合并单元格的展示名,都记在第 7 篇的账本上,修复后会在这里更新。