财报透视(三):空值不是 0,科目有一百多种写法
打开科大讯飞 2025 年报的概览页,数据质量那一行写着:「未披露 151/364 行」。
三张表一共 364 行,151 行没有数字。这不奇怪:合并报表用的是统一格式,「应收保费」「应付分保账款」这些是保险公司才有的科目,一家软件公司当然是空的。原文里这些格子要么是空白,要么印着一个「—」。
问题是,这个「—」该怎么读。
读成 0,看起来很自然。但 0 是一个陈述:「我们的存货是零」。「—」是没有陈述:这一栏不适用,或者没填。差别在下游:如果某家公司存货那一栏是「—」,读成 0,存货周转天数就算出一个 0 天,看起来周转效率高得离谱。读成「未披露」,这个指标就老老实实显示「原文未披露」。
这一篇讲解析的后两步:数值归一和科目对齐。前者决定一个格子里是什么数,后者决定这一行是哪个科目。
你在这里
上传年报 → 三表定位 → 表格还原 → 数值归一 → 科目对齐 → 指标计算 → 勾稽与异常 → 呈现
一、数值归一
规则
一个单元格的原文字符串,进来可能是任何样子:
| 原文 | 归一结果 |
|---|---|
1,655,284,064.88 | 1655284064.88 元 |
(114,817,493.16) | -114817493.16 元,括号是负数 |
12,345.67 | 12345.67 元,全角先转半角 |
1.2亿元 | 120000000 元,数字后面的单位优先 |
12.34% | 12.34,单位记为 %,不做倍数换算 |
—、-、不适用、n/a、空白 | 未披露,不是 0 |
abc | 报错,不返回 0,也不返回 NaN |
缺失记号是一张显式的表:
MISSING_TOKENS = {
"",
"-",
"--",
"—",
"——",
"–",
"-",
"不适用",
"无",
"n/a",
"na",
"null",
"none",
"/",
}src/parse/normalize.py#L19-L34
命中这张表的,返回 value=None, is_missing=True。「0」和「0.00」不在表里,是有效的 0。
剩下的就是符号和数值:
negative = False
if text.startswith("(") and text.endswith(")"):
negative = True
text = text[1:-1].strip()
if text.startswith("-"):
negative = not negative
text = text[1:].strip()
elif text.startswith("+"):
text = text[1:].strip()
text = text.replace(",", "")
if not _NUMBER.match(text):
raise AppError(
ErrorCode.PARSE_FAILED,
"数值无法解析",
{"raw": raw, "unit_hint": unit_hint},
)
value = Decimal(text)
if negative:
value = -valuesrc/parse/normalize.py#L112-L132
Decimal 不是洁癖。「0.07 万元」换算成元,用 float 算出来是 700.0000000000001,和金标做精确比较就对不上了。整个项目从归一到指标计算,金额全程是 Decimal,只在图表输出时才转成两位小数的浮点数。
「—」到底是什么
这条规则不是没有争议。任务卡 TASK-003 的风险备注里写着:
破折号的语义在不同公司不同:
—有时表示 0,有时表示未披露。本卡按「未披露」处理并在文档写明;如评估集证伪,需更新本卡验收标准而不是放宽逻辑。
我选「未披露」的理由很简单:两种错误的代价不一样。把 0 读成「未披露」,最坏是某个指标显示「原文未披露」,读的人会去翻原文,发现是 0,顶多骂一句。把「未披露」读成 0,指标会算出一个看起来正常、其实毫无意义的数,读的人不会去翻原文。宁可让人多翻一次原文,不要给人一个不该相信的数。
评测结果:5 家公司 2024 年报三表页上抽 100 个真实数字,归一后和交叉校验的金标 100/100 一致。
踩坑:验收标准和代码打了个架
TASK-003 的验收标准第 5 条写着「非法输入(如 abc、--)抛出业务异常码」。可是缺失记号表里明明有 --,代码把它当「未披露」,单测也把 -- 放在了「缺失」那一组。验收是通过的,因为验收看的是单测全绿,没人回头逐字核对那一句标准。行为本身我认为是对的(-- 在报表里确实常表示空),该改的是验收标准那一句。
没读的那一行:单位
上面的规则都对,但有一个前提被漏掉了:单位从哪里来。
normalize 的单位来源有两个:数字后面自带的(「1.2亿元」),或者调用方传进来的 unit_hint。报表里的数字是不带单位的,单位印在表头:「单位:元」或者「单位:千元」。而表格还原调用 normalize 时,没有传 unit_hint,默认就是「元」。
大多数年报用元,所以没事。中芯国际的报表用的是千元。它 2024 年的营业收入在报表上印的是 57,795,570(千元),也就是约 578 亿元;进了系统,存的是 57,795,570 元,约 5780 万元,小了 1000 倍。
比率类指标(毛利率、负债率、周转天数)不受影响,分子分母一起小了 1000 倍;所有绝对金额都错,图表上的营收柱子也矮了三个数量级。
评测为什么没发现?数值归一自己的评测是对的:中芯国际那 20 条金标,明确传了 unit_hint="千元",期望值也乘了 1000,它测的是 normalize 本身,normalize 确实会换算。漏掉的是调用方:表格还原调用它时没传单位。而表格还原和指标的金标,都是拿原文数字按「元」直接归一生成的,中芯国际那几条存的也是 57,795,570。金标和产品犯了同一个错,评测就是满分。
v0.4.2 更新
已修。表格还原按每张表的页范围读出表头的「单位:…」,作为 unit_hint 传给归一函数;首行回填和扣非兜底同样按所在页的单位换算。单年报表展示的是原文字符串,所以页面上中芯国际的报表还是「57,795,570」,而指标、对比台和图表里是 577.96 亿元。两套金标的生成脚本也改成读单位,重新生成后中芯国际的 9 条指标金标乘了 1000,逐条归因存在仓库的 tests/eval/reports/ 里。
修的时候还顺手揪出一个同类的错:扣非净利润的兜底逻辑先删掉页面上所有空白再找数,千元报表的整数金额粘在一起,中芯国际的扣非净利润一直是读错的。详见第 7 篇。
二、科目 Schema:134 项,一个 YAML
数字归一之后,下一个问题是「这一行是什么」。
同一个科目在不同年报里的写法:
- 「营业收入」「主营业务收入」
- 「扣除非经常性损益后的净利润」「扣除非经常性损益的净利润」「归属于上市公司股东的扣除非经常性损益的净利润」
- 「所有者权益合计」「股东权益合计」「所有者权益(或股东权益)合计」
标准科目写在一个 YAML 文件里,每一项长这样:
- code: net_profit_deducted
label: 扣除非经常性损益后的净利润
statement: income
aliases: [扣除非经常性损益后的净利润, 扣除非经常性损益的净利润,
归属于上市公司股东的扣除非经常性损益的净利润,
归属于上市公司股东的扣除非经常性损益后的净利润]src/schema/accounts.yaml#L132-L137
目前一共 134 项:利润表 29、资产负债表 74、现金流量表 31。code 是全系统的主键,文件头写着一条规矩:「code 一经发布不重命名,新增科目走版本号 PATCH 递增」。v0.4.1 改了 ROE 依赖的科目,版本号从 1.0.4 到了 1.0.5。
加载时做了一串校验,任何一条不过,服务直接拒绝启动:code 必须是小写 snake_case、不能重复;statement 只能是三张表之一;最重要的是别名冲突:
for alias in account.aliases:
if alias in alias_index and alias_index[alias] != code:
_fail(
"别名冲突:同一别名指向多个科目",
alias=alias,
first=alias_index[alias],
second=code,
**where,
)
alias_index[alias] = codesrc/schema/loader.py#L114-L123
别名表是越用越长的,加着加着,很容易把同一个写法挂到两个科目上,比如「利息费用」既想挂财务费用的子项,又想挂另一个科目。如果允许冲突,查表结果取决于 YAML 里谁写在后面,这种 bug 能藏很久。所以冲突不是警告,是启动失败。
三、三层匹配
拿着别名表,匹配一行科目名分三层,一层不中再试下一层。
第一层:精确匹配。先做轻量清洗:去掉「其中:」「减:」「加:」这类前缀,去掉「(元)」这类单位后缀,去掉「一、」「二、」这类中文编号,去掉所有空白,然后查别名表。
第二层:最长后缀。上一篇讲过的合并单元格,「应收分保合同准备金其他应收款」以「其他应收款」结尾,就挂到其他应收款上。但后缀匹配是最容易误挂的一层,所以限制最多:
if label.startswith(("流动", "非流动", "归属于")):
return None
for alias in sorted(schema.alias_index, key=len, reverse=True):
if len(alias) < 2 or not label.endswith(alias) or len(label) <= len(alias):
continue
prefix = label[: -len(alias)]
if schema.resolve(prefix) is not None:
continue
if len(label) > len(alias) + 8:
continue
return schema.by_code.get(schema.alias_index[alias])
return Nonesrc/metrics/compute.py#L45-L56
「流动负债合计」以「负债合计」结尾,但它绝对不是负债合计,所以以「流动」「非流动」「归属于」开头的直接不做后缀匹配。剩下的前缀如果本身是另一个科目(说明是两个科目挤在一起,但不知道数字属于哪个),也不挂。前缀超过 8 个字的也不挂,太长了不像合并单元格。
第三层:前缀。折行截断的「购建固定资产、无形资产和其他长」,是某个标准科目名的开头。要求至少 6 个字、至少占到别名长度的 60%,而且只能指向唯一一个科目。
在评测集 10 份年报上,后缀匹配接住了 39 行,前缀匹配接住了 29 行。
最后还有两道总闸:匹配到的科目如果不属于当前这张表(利润表的页里读到了资产负债表的科目),丢掉;同一个科目出现多次,取第一次出现的值,合并报表总在母公司报表前面。
踩坑:后缀匹配会「顺手」误挂
「2.终止经营净利润」以「净利润」结尾,后缀匹配把它挂到了净利润上。这一行在评测集里都是空的,取第一次出现的值又保护了正确的净利润,所以结果没错。但这是运气,不是设计:如果哪家公司真有终止经营的利润,这一行就可能被当成净利润。后缀匹配越宽,越需要一张「不许当后缀匹配的科目」名单。
四、科创板的写法没收全
科目表收的别名,是从评测集里的年报一份一份补出来的。补到最后,有两种写法还是漏了,恰好都出在上交所科创板的两家公司:
| 原文 | 为什么没匹配上 |
|---|---|
| 所有者权益(或股东权益)合计 | 别名表里只有「所有者权益合计」「股东权益合计」 |
| 1.归属于母公司股东的净利润(净亏损以"-"号填列) | 阿拉伯数字编号不在清洗范围;结尾的括号说明让精确匹配和后缀匹配都失败 |
后果是一串的:所有者权益合计取不到,「资产 = 负债 + 权益」这条勾稽只能跳过;归母净利润和归母权益取不到,ROE 算不出来。10 份年报里有 4 份是这样。
最难受的是页面上的措辞。归母净利润那一栏写着「原文未披露」。可金山办公 2024 年报第 131 页上,这个数字就印在那里。本篇开头说,「未披露」是一个严肃的判断。在这里,系统用这句最严肃的话,说了一句错话。
v0.4.2 更新
已修。科目表补了 3 个上交所写法的别名,科目名归一时去掉开头的「1.」「2、」编号和结尾的「(……填列)」说明(中间允许换行,「号填」和「列)」分在两行的情况真实存在)。10 份年报的 ROE 都能算出来了,「资产 = 负债 + 权益」「净利润 = 归母 + 少数」两条勾稽 20/20 通过。
五、两套匹配
最后说一件写这个系列时才发现的事。
仓库里有一个专门的对齐模块 align/matcher.py:规则匹配,不中就用 difflib 算相似度,阈值 0.85,过了阈值也要标「待确认」,过不了就返回「未对齐」并附上原因(没匹配上、是分组标题、跨表了)。TASK-005 的评测是 100/100,误配 0 条。
可是上面讲的三层匹配,写在指标模块的 values_from_rows 里,和对齐模块是两套代码。主流程取数走的是后者,对齐模块没有被主流程调用。两边共用同一张科目表,所以大部分结果一样;但模糊匹配、「待确认」、带原因的未对齐清单,都只存在于那个没人调用的模块里。这也是为什么需求文档要求的「页面可见未对齐 N 项」,接口里写死的是 0。
TASK-005 的评测结果下面,其实有一段很诚实的说明:
60 条真实标签的期望值由 Schema 别名确定,属于「链路构造性一致」……独立人工标注的对齐评估集仍待补。
用别名表出题、再用同一张别名表答题,满分是必然的。这句话当时写下了,但没人追问下去。第 6 篇会专门讲评测里这类「自己考自己」的情况。
小结
| 环节 | 规则 | 初代版本的状态 |
|---|---|---|
| 数值归一 | Decimal;缺失记号一律「未披露」;非法输入报错 | 100/100;千元单位 v0.4.1 没读,v0.4.2 已修 |
| 科目 Schema | 134 项 YAML;别名冲突启动失败 | 科创板写法 v0.4.1 漏收,v0.4.2 已补 |
| 匹配 | 精确 → 后缀 → 前缀,各带限制 | 后缀 39 行、前缀 29 行;有一处侥幸没出错的误挂 |
| 对齐模块 | 规则 + 模糊 + 待确认 + 未对齐清单 | 评测 100/100,但主流程没调用 |
到这里,每一行都有了标准科目和标准数值。下一篇讲拿这些数算什么:20 项指标、三条勾稽、8 条异常规则,以及怎么让异常项只陈述、不评价。
版本说明
本文基于 v0.4.1(提交 5150928),代码链接都指向这个版本;文中「v0.4.2 更新」是之后的修复。两套匹配合一还记在第 7 篇的账本上。