JSON 和 JSONL 到底差在哪
一、一句话区别
JSON 是一个文件装一个值;JSONL 是一行装一个值。
名字里的 L 就是 Lines。它不是新格式,是"用换行符分隔的一堆小 JSON"。
二、长得就不一样
JSON,最常见的样子是数组包一层:
[
{"id": 1, "user": "a", "action": "click"},
{"id": 2, "user": "b", "action": "view"}
]JSONL,每行一个独立对象,没有外层括号:
{"id": 1, "user": "a", "action": "click"}
{"id": 2, "user": "b", "action": "view"}看着只差方括号和换行,但文件的"单位"变了:JSON 的单位是整个文件,JSONL 的单位是一行。
这个变化决定了后面所有差别——解析、内存、追加、容错,全是从这里长出来的。
三、五个实际差别
| 维度 | JSON | JSONL |
|---|---|---|
| 怎么读 | 整个文件一次解析完 | 一行一行读,读完就扔 |
| 内存占用 | 全量载入,和文件大小同量级 | 大致恒定,只占一行的量 |
| 追加数据 | 要重写整个文件 | 末尾加一行就行 |
| 一行坏了 | 整个文件解析失败 | 跳过那一行,其余照常 |
| 典型用途 | 配置文件、接口响应、要人读的数据 | 日志、大数据集、模型训练集、批量导入导出 |
| 扩展名 | .json | .jsonl,也有写成 .ndjson 的 |
四、拿 20 万条数据试了一下
光说"省内存"没感觉,直接测。造 20 万条同样的记录,分别存成两种格式,在本机 Python 3.12 上跑:
| JSON | JSONL | |
|---|---|---|
| 文件大小 | 18.9 MB | 18.7 MB |
| 解析方式 | json.load() 一次读完 | 逐行 json.loads() |
| 耗时 | 0.93 秒 | 1.61 秒 |
| 峰值内存 | 91.1 MB | 几乎不增长 |
两个结论,都得说清楚:
第一,体积几乎一样。 一个是 18.9 MB,一个是 18.7 MB,差的那点就是方括号和逗号。JSONL 不省空间。
第二,JSONL 不是更快,是更省内存。 这组数据里它反而慢了七成——逐行解析有调用开销。但峰值内存从 91 MB 掉到基本不涨,因为每行处理完就释放了,内存占用跟你读第 1 行还是第 200 万行无关。
换句话说,JSON 的瓶颈是内存,JSONL 的瓶颈是 CPU。文件大到装不进内存的时候,JSON 直接没法跑,JSONL 还能慢慢跑完。
数字随机器会变,但量级关系不变。
五、坏一行会怎样
这个差别比内存更影响日常。
我把两份文件各破坏一处——把一个字段的引号去掉,模拟数据损坏:
| 结果 | |
|---|---|
| JSON | 整体解析报错:JSONDecodeError: Expecting value: line 1 column 9777805,20 万条全拿不到 |
| JSONL | 199999 行正常读出,只有坏的那 1 行跳过 |
JSON 必须整体合法,所以任何一处坏了,等于整个文件废了。JSONL 每行独立结算,坏一行只损失一行。
日志、爬虫数据、批量导入这类"数据量一大就难免有脏数据"的场景,这个差别是决定性的。
六、什么时候用哪个
用 JSON:
- 配置文件(
package.json、settings.json) - 接口请求和响应体
- 需要人打开看、手动改的数据
- 数据量不大,一次全读进内存没压力
用 JSONL:
- 日志(一行一条,天然就是这结构)
- 几十万条以上的数据集,要流式处理
- 要往里不断追加记录的场景
- 模型训练数据——OpenAI 的微调和批处理接口收的就是
.jsonl - 大数据导入导出(Hive、ClickHouse、BigQuery 都直接吃 JSONL)
一句话判断:这份数据你是"一次读完"还是"一条条过"? 后者用 JSONL。
七、五个容易踩的坑
① 扩展名写错。 把 JSONL 存成 .json,有些工具按 JSON 解析,第一行就读崩。.jsonl 和 .ndjson 都认,别混用。
② 用 indent 生成的"JSONL"其实是坏的。 这是最常见的坑:
# 错的:indent 会让一个对象占多行,JSONL 就废了
json.dump(obj, f, indent=2)
# 对的:紧凑单行 + 换行符
f.write(json.dumps(obj, ensure_ascii=False) + "\n")JSONL 要求每行就是一个完整的 JSON,对象一旦跨行,后面的解析器读到半截就报错。
③ 文件末尾留了空行。 手写或用编辑器保存时容易多一个空行,严格的解析器会报 Expecting value。读的时候加个判断:
for line in f:
line = line.strip()
if not line:
continue
obj = json.loads(line)④ Windows 下带 BOM。 用记事本另存为 UTF-8 可能加 BOM,第一行开头多了几个不可见字符,解析直接失败。用 utf-8 而不是 utf-8-sig 写文件,或者读的时候用 encoding="utf-8-sig"。
⑤ 一行塞了多个对象。 两个对象挤在同一行,解析器读完第一个发现后面还有内容,一样报错。一行只能一个。
八、互转就两条命令
装了 jq 的话,一句话搞定:
# JSON 数组 → JSONL
jq -c '.[]' data.json > data.jsonl
# JSONL → JSON 数组
jq -s '.' data.jsonl > data.json-c 是压缩输出(每个对象一行),-s 是把所有行收进一个数组。反过来转换时注意:JSONL 转 JSON 需要整个数组装进内存,几百万行的话要掂量一下机器。
不想装 jq 的话,用 Python 也行:
import json
# JSONL → JSON
with open("data.jsonl") as src, open("data.json", "w") as dst:
rows = [json.loads(line) for line in src if line.strip()]
json.dump(rows, dst, ensure_ascii=False)
# JSON → JSONL
with open("data.json") as src, open("data.jsonl", "w") as dst:
for row in json.load(src):
dst.write(json.dumps(row, ensure_ascii=False) + "\n")记住一句就够了:数据要一次性给程序吃,用 JSON;数据要一条条流过去,用 JSONL。