财报透视(七):初代的账本
年报里有一节,老周每次都会认真读:「公司面临的风险和应对措施」。
公司自己写自己可能出什么问题,听起来有点反直觉。但这一节恰恰最能看出一家公司对自己的了解有多深。写得空泛的,通常是没想清楚;写得具体的,至少说明有人认真看过。
这一篇就是财报透视自己的这一节。它分三部分:写这个系列的过程中已经还上的账,还欠着的账,以及 v1.1 要做、但还没开工的事。
你在这里
这一篇不在数据流上,讲的是全景图里那个虚线框,和画不进图里的东西。
一、账是怎么查出来的
写第 2 篇之前,我按惯例把仓库 README、需求文档、接口契约和代码对着读了一遍。目的本来是找素材,结果找出了 5 处「文档这么说、代码没这么做」:
| 文档里的说法 | 代码的实际行为 |
|---|---|
| 异常项无页码的不展示(需求文档、接口契约) | 异常项的页码字段永远是空列表,照样展示 |
| ROE 口径为「加权平均」 | 公式是归母净利润 ÷ 平均所有者权益(含少数股东),也不是加权平均 |
| 8 条异常规则,含「经营现金流连续下滑」「毛利率连续下滑」 | 7 条;异常项的输入只有本期和上期两个点,「连续」根本判断不了 |
| 概览摘要列出应收账款增速 | 这一行引用了一个不存在的指标,永远不显示 |
| 上传第 2 份时校验公司与报告期 | 公司名和年份是从文件名里截出来的,文件叫「年报.pdf」,期次就是 unknown |
每一条单独看都不大。放在一起看就有问题了:这个项目最核心的卖点是「可核对」,README 第一句话就是「每个数字都能回到原文页码」,而最先被查出来的,恰恰是异常项没有页码。
按仓库自己的规矩,这种事不能顺手改。先开任务卡(TASK-022),写清楚每一项的验收标准和评测方案,人工确认之后才动代码。
二、补测试时撞上的两个问题
并发解析会让进程直接崩溃
第 5 项的验收标准是:评测集 10 份年报全部改名为「年报.pdf」上传,公司和年度都要从正文里识别对。我写了个集成测试,把 10 份年报连续传进去。
测试没有失败,它直接段错误,整个 Python 进程退出了。
缩小到最小复现:5 个线程,每个线程用 pypdfium2 读一份年报。跑 3 次,崩 3 次,退出码 133 和 134。改成串行,一次都不崩。
原因不复杂:pdfium 不是线程安全的。哪怕是 5 个线程各读各的文件,同时调用也会出事。而解析任务恰好跑在一个 5 线程的线程池里。换句话说,v0.4.0 部署出去,两个人同时上传年报,服务就可能整个挂掉。
修法很小:PdfDoc 里所有 pdfium 调用都经过一把进程内的锁,一次只放一个线程进去。pdfplumber 底层走的是 pdfminer,纯 Python,不受影响,表格识别照样并行。
# pdfium 不是线程安全的:即使是不同文档,并发调用也会让进程直接崩溃(5 线程并发解析实测必现)。
# 解析任务跑在线程池里,所以本进程内所有 pdfium 调用都经过这把锁串行。
_PDFIUM_LOCK = threading.RLock()这个坑最值得记下来的不是锁,是它是怎么溜过去的。翻回去看,有两处其实都指向过它:
- 架构文档的 ADR-004 写的是「进程内 asyncio + 解析进程池」。进程池里每个进程各有一份 pdfium,不会有这个问题。代码写的是
ThreadPoolExecutor,线程池。 - TASK-010(上传与解析入队)的评测结果里有一行「待确认」:「6 份真实并发只做了任务管理器的单测,没有跑 6 份年报同时上传的压测」。
文档写对了,风险也记下了,就是没人回头去做。一份文档写下「待确认」,不等于有人会去确认。
任务先报「完成」,后保存会话
修完并发,全量测试里又冒出一个偶发失败:多期上传的测试,第一份年报的任务完成后紧接着追加第二份,返回了 404「会话不存在」。
排查时我在任务管理器里看到了一个时序问题:它先把任务状态置为 done,再调用保存会话的回调。中间有一个很窄的窗口,客户端看到「完成」,会话还没写进库。改成先保存、再报完成,保存失败就报失败。
老实交代一句:那次 404 的直接原因,后来查明是我的笔记本合盖睡着了,测试里 120 秒的等待被睡眠吃掉,任务其实还没跑完。但这个窗口是真实存在的,只是平时窄到撞不上。
这一个的教训和上一个一样:「完成」这个状态说出口之前,结果必须已经可读。这和异常项「没页码就不展示」是同一条原则,只是一个在数据上,一个在时序上。
三、已经还上的账
v0.4.1(TASK-022)
| # | 问题 | 怎么修的 | 验证 |
|---|---|---|---|
| 1 | 异常项没有页码 | 取数时记录每个科目的来源页,异常项带上证据科目的页码;没页码的不展示 | 10 份年报 14 条异常项,页码 14/14 与报表一致 |
| 2 | ROE 名不副实 | 改为归母口径,去掉「加权平均」字样 | 单测断言名称、公式、依赖科目一致 |
| 3 | 异常规则 7 条且「连续」判断不了 | 两条改为「同比下降」,新增「毛利率同比下降」 | 8 条规则各有命中、未命中用例 |
| 4 | 摘要里应收增速永远不显示 | 直接用三表取数计算;措辞只陈述数值 | 禁用词与评价词校验 |
| 5 | 公司和年度取自文件名 | 从正文前 10 页识别证券代码、简称、年度、报告类型;半年报明确拒收 | 改名上传 10/10 识别正确 |
| 6 | 并发解析崩溃 | pdfium 调用加锁串行 | 修复前 3/3 崩溃,修复后 3/3 正常 |
| 7 | 任务先报完成后保存 | 保存成功才置 done | 单测 |
还有一个小的:README 徽章写「238 项测试、覆盖率 90.55%」,那是放了评测年报之后的数。新克隆的仓库没有年报,实际是 255 通过、19 跳过、覆盖率 83.71%。现在 README 两种都写了。
修完之后,评测和 v0.4.0 逐项对比,三表定位、数值归一、科目对齐、表格还原、指标,数字都一样,没有退步。
v0.4.2(TASK-023)
写第 3、4 篇时在评测年报上逐份复跑指标,又查出 4 个数值层面的问题,开了 TASK-023:
| # | 问题 | 怎么修的 | 验证 |
|---|---|---|---|
| 8 | 千元报表的金额小了 1000 倍 | 表格还原读出各表表头的「单位:…」,按单位换算成元;单年报表仍显示原文 | 中芯国际 2024 营业收入 57,795,570,000 元 |
| 9 | 科创板的两行关键科目取不到 | 补 3 个上交所写法别名;科目名归一去掉「1.」编号和「(……填列)」说明 | ROE 10 份都能算(原来 6 份);两条勾稽 20/20 通过 |
| 10 | 缺项判定太死 | 未列示营业总收入时相关指标与图表用营业收入;有息负债至少一项借款即计算,同比按合计 | 海康威视 13/20 → 19/20;10 份合计 167/200 → 194/200 |
| 11 | 扣非净利润读错(评测中追加) | 找金额前不再去掉空白,空白就是分隔符;科目名后的「(元)」当作单位 | 中芯国际 2,645,419,000 元;其余 8 份逐分不变 |
第 11 笔是复跑时撞上的:中芯国际的扣非净利润读成了 -19,110 元。原因是兜底逻辑先把页面上的空白全删掉再找数,千元报表的金额是整数,「2,645,419 3,269,518」删掉空格就粘成一串,只能靠小数点断开。用元的年报碰巧没事,因为每个数都带两位小数。这个错 v0.4.1 里就有(当时读成 -19.11 元),TASK-014 记下的「扣非 10/10 可提取」,其实包含了两个错误的值。「取到了」和「取对了」是两件事。
剩下 6 项算不出的指标,原文里都没有对应的行:海康威视没有「营业总收入」,金山办公没有任何借款,中芯国际没有商誉。
这次修复用的金标,是读取单位之后重新生成的。生成前先确认了一件事:用 v0.4.1 的代码重新生成,金标和仓库里的版本逐字节一致。所以新金标里的 25 条变化,可以全部归到这次修复上,逐条列在 tests/eval/reports/task-023-gold-diff.md 里。
四、还欠着的账
下面每一笔都按「现状 / 为什么还没还 / 打算怎么还」写。
1. 表格还原 96%,没到 99%
- 现状:200 行金标对上 192 行。没对上的 8 行,4 行是金标自己把折行的半截科目名当成了一行,4 行是「利息收入」的数字落在附注列右侧,列归属判断错了。
- 为什么还没还:金标那 4 行要先修金标;「利息收入」要看表格接口给出的列结构,修列归属的规则容易牵连别的行,得先补针对这种版式的用例。
- 打算:先把金标那 4 行修正(并记录为什么改),再单独处理列归属。目标是到 99%,或者能逐条说清楚剩下的为什么做不到。
2. 任务卡上的数字和代码对不上
- 现状:TASK-007 和 TASK-014 都记着「资产 = 负债 + 权益,10 份年报 10/10 通过」。v0.4.1 的代码实测是 6 份通过、4 份跳过(科创板写法没认出来,见第三节 v0.4.2 那张表)。TASK-014 记的指标一致率「163/170 = 95.88%」,用仓库里的脚本和金标也复现不出来,同一方法实测是 153/160。还有第三条勾稽「利润表净利润 = 现金流量表补充资料净利润」,10 份全部跳过,因为补充资料不在三张表的页范围里。
- 为什么会这样:当时的数字很可能是某一次跑出来、手抄进任务卡的,而不是脚本输出。脚本和金标后来改过,数字没跟着改。
- 还有一件相关的事:CI 环境里没有评测年报,凡是需要真实年报的 19 个测试永远是跳过的。CI 一直是绿的,因为它没机会变红。
- 进展(v0.4.2):「评测数字只认脚本输出」从 TASK-023 开始执行:各评测脚本的输出、全量测试结果、金标变化的逐条归因,都存档在仓库的
tests/eval/reports/,任务卡只引用文件。勾稽也不再是 6 通过 4 跳过,两条都 10/10 通过。 - 还欠着:CI 里仍然没有真实年报;TASK-007、TASK-014 当年的手抄数字没有回头更正(按规矩历史记录不改,以新存档为准);上一版打算加的两条评测断言(报表营业收入与「主要会计数据」一节交叉核对、凡标「原文未披露」的科目原文里确实找不到)还没做。
- 打算:两条断言进下一张卡;发版前在有年报的机器上跑全量并存档已成惯例,再评估做几份不涉及版权的合成 PDF 放进 CI。这件事第 6 篇展开讲。
3. 未对齐的科目没有出现在页面上
- 现状:需求文档要求页面可见「未对齐 N 项」,每项能展开看原文科目名和页码,「禁止静默丢弃」。接口里
unaligned_count写死的是 0,页面上也没有这个入口。需求文档里还有一条「会计政策变更时标注口径变更」,也没做。 - 更尴尬的一点:仓库里有一个对齐模块
align/matcher.py,规则匹配、模糊匹配、带原因的未对齐清单都有,评测 100/100。可是主流程没有调用它。实际取数走的是指标模块里另一套匹配(精确、后缀、前缀),两边共用一张科目表,但模糊匹配和未对齐清单只存在于那个没人调用的模块里。评测分数是真的,测的却不是产品在跑的那条路。 - 打算:先把两套匹配合成一套,让主流程真正走对齐模块,评测才算数;然后和 LLM 科目兜底一起做未对齐清单,兜底给不出高置信候选的科目正好进这个清单。
4. 合并单元格的科目名照原样展示
- 现状:「应收分保合同准备金其他应收款」这样的行,取数已经挂到了「其他应收款」,但单年报表上还是原样显示拼在一起的科目名。
- 打算:展示时,后缀匹配命中的行显示标准科目名,原文写法放进溯源浮层。
5. 溯源只到页码,而且只到「第一个依赖科目」
- 现状:报表上的每一行能溯源到页码和原文片段。指标的溯源只指向它依赖的第一个科目:毛利率依赖营业总收入和营业成本,点开只看到营业总收入那一行。另外,表格接口不返回单元格坐标,坐标字段现在都是 0。
- 打算:指标溯源列出全部依赖科目;坐标级溯源(点开直接在 PDF 上高亮那个数字)是 v1.1 的计划,数据库里坐标字段已经预留,见 ADR-006。
6. 持久化只用了设计的一小部分
- 现状:架构文档设计了 9 张表(会话、财报、单元格、科目值、指标、勾稽、异常、任务、导出)。实际只用了两张:会话表,和财报表里一个存整份 JSON 快照的字段。排队中的任务和导出下载链接都在内存里,服务重启就没了。ADR-004 写的「任务状态落库,重启可恢复」也还没兑现。
- 为什么还没还:v1.0 单机、单人用,快照够用,而且快照让「重启后会话还在」这件事很早就成立了。
- 打算:有了账号体系(v1.1)以后,「我的历史会话」「按科目查跨公司数据」这类需求才会真正用到结构化表,到时候一起迁。
7. 评测集只有 5 家科技公司
- 现状:需求文档的评测集设计要求覆盖制造、银行、地产、医药、新能源,主板和北交所,2019~2024 每年至少一份,还要有 2 份半年报。实际是 5 家科技公司、2024 和 2025 两年。
- 为什么要说:银行、保险的报表科目和格式和科技公司差得很远。这套规则在那些行业上表现如何,我没有数据,所以不能说它能用。
- 打算:每补一个行业,先补评测年报和金标,再改规则。
8. 代码里的存量
- 坐标聚类兜底和「同页多表切分」在评测集上从没触发过,后者第一行就是
return - 首行回填有两套实现,老的那套(只补「货币资金」)已经没人调用
- 图表模块的文档字符串还写着「10 张图」,实际是 11 张
- 后缀匹配会把「2.终止经营净利润」挂到净利润上,目前靠「取第一次出现的值」侥幸没出错
- 指标的口径文本是手写字符串,和公式之间没有机制保证一致(ROE 那次就是这么错的)
这些不影响结果,但影响下一个读代码的人。下次碰到相关文件时顺手清掉。
五、规划中:v1.1 的骨架
下面这些是需求文档里明确放到 v1.1 的事。现在只有方向,没有代码,做完一件,写一篇,到时候这张表里的状态会改成链接。
| 计划 | 要解决什么 | 方向 | 状态 |
|---|---|---|---|
| LLM 科目兜底 | 规则和模糊匹配都对不上的科目 | 只让模型从标准科目表里选候选,不让它碰数字;低置信度进「待确认」 | 🗓 规划中 |
| 扫描件识别 | 图片型页面没有文本层,现在会直接解析失败 | 先识别出扫描页、标「需人工核对」,不输出这一页的数字;OCR 要看许可证和算力成本再定 | 🗓 规划中 |
| 坐标级溯源 | 页码 + 片段还得自己翻页对照 | 记录单元格坐标,点开直接在 PDF 上高亮 | 🗓 规划中 |
| 半年报 | 现在识别出半年报会直接拒收(错误码 42203) | 半年报的报表范围和附注深度不同,要单独的评测集 | 🗓 规划中 |
| 账号与额度 | v1.0 没有账号,只靠按 IP 限流防刷 | 账号、额度、历史会话管理 | 🗓 规划中 |
| 同业对比 | 只能看一家公司 | 属于破坏性升级,按 MAJOR 流程走,先归档 v1.0 文档 | 🗓 v2.0 再议 |
LLM 科目兜底是我最想先做的一件。原因前面说过:这个仓库最初叫 finance-agent,到今天调用大模型的次数还是 0。等它真正接上大模型的那天,第一条规矩已经写在 ADR-005 里了:模型只能从给定的科目里选,不能自己编一个;数字永远不经过模型。
六、这本账怎么记下去
这一篇不是写完就不管的。规则很简单:
- 欠着的账还上一笔,就从第四节挪到第三节,写上版本号和验证方式
- v1.1 的事做完一件,第五节的状态改成链接,指向新写的那一篇
- 每次更新,在文末的更新记录里加一行
一个项目最危险的状态,不是缺口多,而是缺口写在一个没人看的地方。TASK-010 里那行「没有跑并发压测」就是例子:它从 10 月 31 日一直躺到 11 月 4 日,直到我写测试撞上了段错误。
账摊开了,下一步就只剩还了。
更新记录
| 日期 | 版本 | 变化 |
|---|---|---|
| 2026-11-04 | v0.4.1 | 首次发布:已还 7 笔,欠 11 笔,v1.1 规划 6 件 |
| 2026-11-04 | v0.4.2 | 第 8~11 笔还上(千元单位、科创板写法、缺项判定、扣非兜底);评测输出开始存档;已还 11 笔,欠 8 笔 |