财报透视(六):金标也会错
TASK-007 的评测跑出来,指标和金标的一致率是 76.5%。
第一反应自然是产品有问题。逐条看差异,结果有点意外:200 个指标里,有 30 个是金标自己缺了,还有一批是金标取错了数。比如某份年报的「负债合计」,金标取到的是 169 亿,产品取到的是 227.6 亿,翻原文,227.6 亿是对的:金标把紧挨着的母公司资产负债表的尾行,当成了合并报表的数。
金标是用来判对错的,它自己错了,所有的「一致率」就都失去了参照。这一篇讲这个项目的评测是怎么做的,哪里做得对,哪里是在自己考自己。
你在这里
这一篇不在数据流上:它讲的是全景图底部左边那条,怎么证明前面那条路是靠谱的。
一、10 份年报
评测集是 5 家 A 股科技公司(中芯国际、立讯精密、海康威视、科大讯飞、金山办公)2024、2025 两个年度的年报全文,一共 10 份,都从巨潮资讯网下载。
仓库里有一份来源清单,每份记着公告标题、披露日期、页数、文件大小和原文链接,并且明确排除了摘要、英文版、港股公告和更正文件。PDF 本身不进仓库:一份几 MB 到十几 MB,而且涉及版权。想复现评测,照着清单下载,按「代码_简称/代码_简称_年份年年度报告.pdf」放好即可。
需要坦白的是,这个评测集比需求文档里设计的小得多。需求文档附录 A 的要求是:覆盖制造、银行、地产、医药、新能源五个行业;单栏、双栏、跨页、横向页、单位混用五种版式;2019~2024 每年至少一份;主板和北交所都要有;年报至少 8 份、半年报至少 2 份。实际做出来的是 5 家科技公司、两个年度、全是年报。
科技公司的报表格式比较规整,银行和保险的科目体系完全不同。所以我能说的只是:这套规则在这 10 份科技公司年报上的表现如下。别的行业,没有数据。
二、五套金标,各自有多独立
| 金标 | 规模 | 怎么生成 | 独立程度 |
|---|---|---|---|
| 三表定位 | 10 份 × 3 张表 | 优先 PDF 书签,其次带编号的标题,最后启发式(标为弱金标,人工复核) | 高:书签是发行方给的,和定位逻辑无关 |
| 数值归一 | 100 个数字 | 另一套简化实现(字符串清洗 + Decimal + 单位倍数) | 中:实现不同,但思路相同 |
| 科目对齐 | 100 条 | 60 条真实标签的期望值取自科目表别名;25 条变体;15 条负样本 | 低:用别名表出题、用别名表答题 |
| 表格还原 | 200 行 | 三表页纯文本按行正则提取「科目名 + 两个金额」 | 中:路径不同,但会踩同样的坑 |
| 指标 | 200 个 | 纯文本行取数,再调用产品的指标公式 | 中偏低:取数独立,公式共用 |
需求文档附录 A.2 写的是「标注由人工完成,结果随代码入库」。实际上,五套金标全是脚本生成的。有两个脚本在注释里老老实实承认了,数值归一那个写着:
独立性说明:期望值由本脚本内另一套简化实现计算……但不是人工标注;如需更强证据,应人工抽检。
科目对齐那个写着「60 条……构造性通过,用于验证链路接线」。
这不是隐瞒,注释写得清清楚楚,TASK-005 的评测说明里也照抄了这句。问题出在下游:到了验收记录那一行,只剩下「对齐 100/100、误配 0」。只看验收记录的人,看到的是一个满分。
为什么不直接人工标注
人工标注 10 份年报、每份几百个数字,是几天的工作量,而这个项目从第一个提交到开源一共 28 小时。用脚本生成金标是一个合理的取舍,前提是你知道它在哪些地方不独立。上面那张表的最后一列,就是这个前提。
三、金标出错的三种方式
1. 和产品踩同一个坑:母公司尾页
开头那个 169 亿和 227.6 亿的例子。表格还原的金标按页取行:合并资产负债表在第 X 到 Y 页,就取这几页上所有「科目 + 两个金额」的行。可是第 Y 页的下半截,常常已经是母公司资产负债表的开头了。金标脚本不知道,把母公司的行也收了进来。
产品侧当时也有同样的问题(第 2 篇的「母公司串表」),修掉了;金标没跟着修。于是出现了一种奇怪的局面:产品修对了,在这几条上反而和金标对不上,因为金标还停在错的那边。
TASK-014 的评测结果里记着:剩下的 7 条差异中,有 5 条是金标取了母公司尾页的数。
2. 把碎片当成行:折行
科目名太长会折行。产品侧把折行拼回去了(第 2 篇的坑 1),金标脚本是按行正则匹配的,折行的后半截「益)合计」「填列)」被当成了独立的科目名。表格还原评测里那 8 条没对上的,有 4 条就是这种碎片:产品里根本不存在叫「益)合计」的行。
3. 和产品犯同一个错:千元
第 3 篇讲过,中芯国际的报表单位是千元,产品没读表头的单位,所有金额小了 1000 倍。表格还原和指标的金标,也是拿原文数字按元归一的,同样小了 1000 倍。两边一起错,一致率满分,评测完全看不见这个 bug。数值归一的金标倒是传了千元单位,可它只测 normalize 函数本身,测不到「调用方没传单位」这件事。(v0.4.2 修了产品,金标脚本也改成读单位后重新生成。)
三种方式归结成一句话:脚本金标和产品共享的假设越多,它能发现的错误就越少。母公司尾页、折行、单位,都是「怎么读一页报表」的假设,产品和金标用的是同一套直觉。
四、一个被修订的验收标准
TASK-007 的验收标准原本是「200 个指标值与金标一致」。76.5% 显然过不了。
当时的处理是修订验收标准,改成四条:公式层在构造数据上 100% 正确;勾稽 10/10 通过;端到端一致率 ≥ 75%,且每条差异归因到「金标缺失 / 口径差异 / 产品缺陷」三类;剩下的产品缺陷转成后续任务卡。
这次修订我认为方向是对的。一个达不到的标准,要么修产品,要么修标准,最差的选择是偷偷改阈值。它没有偷偷改阈值,而是把差异逐条归因,产品的问题开了 TASK-014 去修,金标的问题记下来。比起一个光秃秃的「76.5%,通过」,归因本身就是信息。
但第 1 篇说过,它埋了一个雷:「勾稽 10/10 通过」。
五、两个复现不出来的数字
写这个系列时,我用仓库里的脚本、仓库里的金标、v0.4.1 的代码,把评测全部重跑了一遍,和任务卡上的记录对照:
| 任务卡上的记录 | 重跑结果 |
|---|---|
| TASK-007:资产 = 负债 + 权益,10/10 通过 | 6 份通过,4 份跳过 |
| TASK-014:指标可比样本一致率 163/170 = 95.88% | 同一方法 153/160 = 95.6% |
为了排除「是我这次修复改坏的」,我又在 v0.4.0 的代码上跑了一遍,结果一样。所以不是回归,是记录本身对不上。
可能的原因有很多:当时的金标后来重新生成过;当时的统计口径和脚本不一样;当时跑的是另一条代码路径(比如评测脚本里自己调表格还原,不经过首行回填和扣非兜底)。我无法确定是哪一种,因为任务卡里只有数字,没有命令,没有输出文件,也没有提交号。
这件事比两个数字本身更值得记下来。任务卡是整个治理流程的「账本」,验收记录是账本上的签字。签字的依据如果只是一个手抄的数字,三天后就没人能复核它。
评测数字只认脚本输出。具体做法:评测脚本把结果写成文件,随提交入库;任务卡的验收记录引用这个文件和提交号,而不是抄数字。
v0.4.2 更新
这条规矩从 TASK-023 开始执行了:各评测脚本的输出、全量测试结果、金标变化的逐条归因,都在仓库的 tests/eval/reports/ 下,任务卡的评测结果只做索引。重新生成金标之前,先用旧代码生成一遍,确认和入库版本逐字节一致,这样新旧金标之间的每一处变化都能归到这次修改上。
六、CI 全绿,但从没跑过真实年报
还有一件事是重跑时才注意到的。
v0.4.0 发布后的最后一个提交是:「缺少评估集 PDF 时跳过表格评测用例」。因为 PDF 不进仓库,CI 环境里没有年报,这些用例一跑就失败,于是改成了没有 PDF 就跳过。其他用到真实年报的测试,早就是同样的写法,这个提交补的是最后一类。
这个改动本身没问题。但它的后果是:CI 里的 274 个测试,凡是需要真实年报的,永远是跳过的。新克隆的仓库跑测试,是 255 通过、19 跳过。CI 一直是绿的,因为它从来没有机会变红。
第 7 篇讲的并发崩溃,就是这 19 个被跳过的测试之外的地方:最小复现要 5 份真实年报同时解析,CI 里一份都没有。
能做的有几种:在 CI 里从巨潮下载评测年报(需要处理网络和版权上的顾虑);做几份不涉及版权的合成 PDF,覆盖关键版式;或者至少在发版前,人工在有 PDF 的机器上跑一遍全量,并把输出存档。目前做的是最后一种,这次 v0.4.1 发布前跑的全量结果,记在了 TASK-022 的评测结果里。老实说,记的也还是数字,没有附输出文件。上一节那条规矩,得从下一张卡开始执行。
小结
| 问题 | 现状 | 下一步 |
|---|---|---|
| 评测集 | 5 家科技公司 × 2 年 | 按行业逐步补,先补年报和金标,再改规则 |
| 金标独立性 | 五套全由脚本生成,独立程度不一 | 关键数字人工抽检;在任务卡里写明每套金标的独立程度 |
| 金标与产品同错 | 母公司尾页、折行碎片、千元单位 | 修产品时同步检查金标;金标改动记录原因 |
| 验收数字 | 两处手抄数字复现不出来 | 评测结果写文件入库,任务卡引用文件与提交号(v0.4.2 起执行) |
| CI | 不含真实年报,相关用例永远跳过 | 发版前人工全量并存档;评估合成 PDF |
评测这件事,最危险的不是分数低,是分数高得不知道为什么。76.5% 逼着人逐条看差异,看出了金标的错;100/100 让人放心地往下走,可那个 100 分里,有一部分是自己考自己。
下一篇是这个系列的最后一篇:把这一路查出来的所有问题,记成一本账。
版本说明
本文基于 v0.4.1(提交 5150928)。重跑用的是仓库内的评测脚本与金标;同一方法下 v0.4.0 与 v0.4.1 的结果相同。金标修正、评测结果入库、CI 中的真实年报,记在第 7 篇的账本上。