Skip to content

JSON 和 JSONL 到底差在哪 ​

一、一句话区别 ​

JSON 是一个文件装一个值;JSONL 是一行装一个值。

名字里的 L 就是 Lines。它不是新格式,是"用换行符分隔的一堆小 JSON"。

二、长得就不一样 ​

JSON,最常见的样子是数组包一层:

json
[
  {"id": 1, "user": "a", "action": "click"},
  {"id": 2, "user": "b", "action": "view"}
]

JSONL,每行一个独立对象,没有外层括号:

text
{"id": 1, "user": "a", "action": "click"}
{"id": 2, "user": "b", "action": "view"}

看着只差方括号和换行,但文件的"单位"变了:JSON 的单位是整个文件,JSONL 的单位是一行。

这个变化决定了后面所有差别——解析、内存、追加、容错,全是从这里长出来的。

三、五个实际差别 ​

维度JSONJSONL
怎么读整个文件一次解析完一行一行读,读完就扔
内存占用全量载入,和文件大小同量级大致恒定,只占一行的量
追加数据要重写整个文件末尾加一行就行
一行坏了整个文件解析失败跳过那一行,其余照常
典型用途配置文件、接口响应、要人读的数据日志、大数据集、模型训练集、批量导入导出
扩展名.json.jsonl,也有写成 .ndjson 的

四、拿 20 万条数据试了一下 ​

光说"省内存"没感觉,直接测。造 20 万条同样的记录,分别存成两种格式,在本机 Python 3.12 上跑:

JSONJSONL
文件大小18.9 MB18.7 MB
解析方式json.load() 一次读完逐行 json.loads()
耗时0.93 秒1.61 秒
峰值内存91.1 MB几乎不增长

两个结论,都得说清楚:

第一,体积几乎一样。 一个是 18.9 MB,一个是 18.7 MB,差的那点就是方括号和逗号。JSONL 不省空间。

第二,JSONL 不是更快,是更省内存。 这组数据里它反而慢了七成——逐行解析有调用开销。但峰值内存从 91 MB 掉到基本不涨,因为每行处理完就释放了,内存占用跟你读第 1 行还是第 200 万行无关。

换句话说,JSON 的瓶颈是内存,JSONL 的瓶颈是 CPU。文件大到装不进内存的时候,JSON 直接没法跑,JSONL 还能慢慢跑完。

数字随机器会变,但量级关系不变。

五、坏一行会怎样 ​

这个差别比内存更影响日常。

我把两份文件各破坏一处——把一个字段的引号去掉,模拟数据损坏:

结果
JSON整体解析报错:JSONDecodeError: Expecting value: line 1 column 9777805,20 万条全拿不到
JSONL199999 行正常读出,只有坏的那 1 行跳过

JSON 必须整体合法,所以任何一处坏了,等于整个文件废了。JSONL 每行独立结算,坏一行只损失一行。

日志、爬虫数据、批量导入这类"数据量一大就难免有脏数据"的场景,这个差别是决定性的。

六、什么时候用哪个 ​

用 JSON:

  • 配置文件(package.json、settings.json)
  • 接口请求和响应体
  • 需要人打开看、手动改的数据
  • 数据量不大,一次全读进内存没压力

用 JSONL:

  • 日志(一行一条,天然就是这结构)
  • 几十万条以上的数据集,要流式处理
  • 要往里不断追加记录的场景
  • 模型训练数据——OpenAI 的微调和批处理接口收的就是 .jsonl
  • 大数据导入导出(Hive、ClickHouse、BigQuery 都直接吃 JSONL)

一句话判断:这份数据你是"一次读完"还是"一条条过"? 后者用 JSONL。

七、五个容易踩的坑 ​

① 扩展名写错。 把 JSONL 存成 .json,有些工具按 JSON 解析,第一行就读崩。.jsonl 和 .ndjson 都认,别混用。

② 用 indent 生成的"JSONL"其实是坏的。 这是最常见的坑:

python
# 错的:indent 会让一个对象占多行,JSONL 就废了
json.dump(obj, f, indent=2)

# 对的:紧凑单行 + 换行符
f.write(json.dumps(obj, ensure_ascii=False) + "\n")

JSONL 要求每行就是一个完整的 JSON,对象一旦跨行,后面的解析器读到半截就报错。

③ 文件末尾留了空行。 手写或用编辑器保存时容易多一个空行,严格的解析器会报 Expecting value。读的时候加个判断:

python
for line in f:
    line = line.strip()
    if not line:
        continue
    obj = json.loads(line)

④ Windows 下带 BOM。 用记事本另存为 UTF-8 可能加 BOM,第一行开头多了几个不可见字符,解析直接失败。用 utf-8 而不是 utf-8-sig 写文件,或者读的时候用 encoding="utf-8-sig"。

⑤ 一行塞了多个对象。 两个对象挤在同一行,解析器读完第一个发现后面还有内容,一样报错。一行只能一个。

八、互转就两条命令 ​

装了 jq 的话,一句话搞定:

bash
# JSON 数组 → JSONL
jq -c '.[]' data.json > data.jsonl

# JSONL → JSON 数组
jq -s '.' data.jsonl > data.json

-c 是压缩输出(每个对象一行),-s 是把所有行收进一个数组。反过来转换时注意:JSONL 转 JSON 需要整个数组装进内存,几百万行的话要掂量一下机器。

不想装 jq 的话,用 Python 也行:

python
import json

# JSONL → JSON
with open("data.jsonl") as src, open("data.json", "w") as dst:
    rows = [json.loads(line) for line in src if line.strip()]
    json.dump(rows, dst, ensure_ascii=False)

# JSON → JSONL
with open("data.json") as src, open("data.jsonl", "w") as dst:
    for row in json.load(src):
        dst.write(json.dumps(row, ensure_ascii=False) + "\n")

记住一句就够了:数据要一次性给程序吃,用 JSON;数据要一条条流过去,用 JSONL。

本文阅读--次|全站访问--次|访客--人