第 7 章:队列与异步任务
用户点了"导出报表",页面不能等 30 秒。这件事得先记下来,交给别人慢慢做。
学习目标
- 说清队列解决的三个问题:解耦、削峰、失败重试
- 分清 List、Stream、Pub/Sub 的可靠性差别
- 会用 Stream 消费组写出"至少处理一次"的消费者
- 知道什么量级该换专业队列,而不是继续挤 Redis
7.1 为什么不能直接 async 一下
FastAPI 里写 BackgroundTasks.add_task(...) 很方便,但它有个硬限制:任务跟着进程走。进程重启,任务没了;多开 4 个 worker,也没有统一的进度和重试。
队列把这件事变成三步:
- 生产者把任务写进队列(毫秒级返回);
- 消费者另起进程/线程,慢慢处理;
- 处理失败可以重试,处理成功才确认删除。
| 要解决的问题 | 队列怎么帮上忙 |
|---|---|
| 请求响应慢 | 耗时操作移出请求链路 |
| 流量尖峰 | 先把活堆起来,消费者按自己的能力取 |
| 失败要重试 | 没确认的消息还在队列里,可以再取一次 |
7.2 三种"队列",可靠性差一个档
7.3 List:够用,但要知道它不保证什么
python
# 生产
r.lpush("queue:report", json.dumps({"task_id": 1, "uid": 100}))
# 消费(阻塞等待,最多 5 秒)
item = r.brpop("queue:report", timeout=5)它保证:先进先出、不重复、取走就没了。
它不保证:
- 处理失败不会自动重试(要自己再
LPUSH回去); - 进程崩溃时手里的任务丢失;
- 多个消费组各自消费一份(List 是"竞争消费",取走就没了)。
所以 List 只适合"丢了也无所谓"的任务:刷新缓存、发通知、日志落盘。报表、订单这类不能丢的,用 Stream。
7.4 Stream:至少处理一次
Stream 是 Redis 5 引入的日志型结构。核心是三件东西:消息、消费组、Pending 表。
python
# 生产:* 让 Redis 生成自增 ID
msg_id = r.xadd("stream:report", {"task_id": "1", "uid": "100"})
# 建消费组(只建一次),$ 表示从最新开始
try:
r.xgroup_create("stream:report", "workers", id="0", mkstream=True)
except redis.ResponseError:
pass # 组已存在
# 消费:> 表示"给我没投递过的新消息"
msgs = r.xreadgroup("workers", "worker-1", {"stream:report": ">"}, count=10, block=5000)
for stream, entries in msgs:
for msg_id, fields in entries:
try:
do_work(fields)
r.xack("stream:report", "workers", msg_id) # 处理成功才确认
except Exception:
pass # 不确认,留在 Pending,后面重投关键点:
- 不
XACK就不会消失,消息留在 Pending 表里; - 消费者崩溃后,它的 Pending 消息可以被别人接管:
python
# 把空闲超过 60 秒的待处理消息,转给当前消费者
r.xautoclaim("stream:report", "workers", "worker-2", min_idle_time=60000, count=10)这套机制对应的是"至少一次"语义:消息可能被处理两次(比如确认前进程崩了),所以消费逻辑必须幂等——同一 task_id 重复执行,结果应该一样。
7.5 和 FastAPI 怎么接
| 方案 | 适用 | 限制 |
|---|---|---|
BackgroundTasks | 单机、丢了无所谓的小任务 | 跟进程绑定,重启即丢 |
| Redis List + 独立消费者 | 中小规模、可容忍偶发丢失 | 无确认机制 |
| Redis Stream + 消费组 | 不能丢的任务,多 worker | 需要自己实现重投与幂等 |
| Celery / RQ | 要重试、定时、监控面板 | 多一层依赖与运维 |
| RabbitMQ / Kafka | 高吞吐、多消费组、严格顺序 | 运维成本明显更高 |
一个务实的判断:每天几千条以内,Redis Stream 完全够用;上万条且要可视化重试,上 Celery;十万级以上或要多系统订阅同一份数据,才考虑 Kafka。
7.6 三个容易踩的细节
- 消息体别太大。塞 1 MB 的 JSON 进去,Stream 很快膨胀,还拖慢所有命令。大内容存对象存储,队列里只放地址;
- Stream 要设上限。
XADD ... MAXLEN ~ 10000,否则不确认的旧消息会一直堆着; - 消费组名字要稳定。每次用随机组名,等于每次都在全量重放。
本章小结
| 要点 | 说明 |
|---|---|
| 队列三件事 | 解耦、削峰、失败重试 |
| List | 简单,取走即消失,无重试 |
| Stream | 消费组 + Pending + 确认,至少一次 |
| Pub/Sub | 广播,不持久,没人订阅就丢 |
| 可靠性 | Stream > List > Pub/Sub |
| 幂等 | Stream 可能重复投递,消费逻辑必须幂等 |
| 选型 | 几千条/天用 Stream,上万考虑 Celery |
下一章
功能都会写了,最后一章讲"怎么让它别在半夜挂"。持久化、主从、监控,以及那些真正会让人半夜起床的事故。