Skip to content

第 7 章:队列与异步任务 ​

用户点了"导出报表",页面不能等 30 秒。这件事得先记下来,交给别人慢慢做。


学习目标 ​

  • 说清队列解决的三个问题:解耦、削峰、失败重试
  • 分清 List、Stream、Pub/Sub 的可靠性差别
  • 会用 Stream 消费组写出"至少处理一次"的消费者
  • 知道什么量级该换专业队列,而不是继续挤 Redis

7.1 为什么不能直接 async 一下 ​

FastAPI 里写 BackgroundTasks.add_task(...) 很方便,但它有个硬限制:任务跟着进程走。进程重启,任务没了;多开 4 个 worker,也没有统一的进度和重试。

队列把这件事变成三步:

  1. 生产者把任务写进队列(毫秒级返回);
  2. 消费者另起进程/线程,慢慢处理;
  3. 处理失败可以重试,处理成功才确认删除。
要解决的问题队列怎么帮上忙
请求响应慢耗时操作移出请求链路
流量尖峰先把活堆起来,消费者按自己的能力取
失败要重试没确认的消息还在队列里,可以再取一次

7.2 三种"队列",可靠性差一个档 ​

消息出门之后,还能不能找回来Listtask1task2BRPOP 取走即消失,进程崩了就丢Streammsg1msg2进 Pending 表,XACK 才算处理完,可重投Pub/Subevent广播订阅者 1订阅者 2没人订阅就丢掉,不落盘、不重放可靠性排序:Stream > List > Pub/Sub;实现复杂度同序。任务队列用 Stream 或 List;事件广播(比如"配置更新了")用 Pub/Sub。

7.3 List:够用,但要知道它不保证什么 ​

python
# 生产
r.lpush("queue:report", json.dumps({"task_id": 1, "uid": 100}))

# 消费(阻塞等待,最多 5 秒)
item = r.brpop("queue:report", timeout=5)

它保证:先进先出、不重复、取走就没了。

它不保证:

  • 处理失败不会自动重试(要自己再 LPUSH 回去);
  • 进程崩溃时手里的任务丢失;
  • 多个消费组各自消费一份(List 是"竞争消费",取走就没了)。

所以 List 只适合"丢了也无所谓"的任务:刷新缓存、发通知、日志落盘。报表、订单这类不能丢的,用 Stream。


7.4 Stream:至少处理一次 ​

Stream 是 Redis 5 引入的日志型结构。核心是三件东西:消息、消费组、Pending 表。

python
# 生产:* 让 Redis 生成自增 ID
msg_id = r.xadd("stream:report", {"task_id": "1", "uid": "100"})

# 建消费组(只建一次),$ 表示从最新开始
try:
    r.xgroup_create("stream:report", "workers", id="0", mkstream=True)
except redis.ResponseError:
    pass                              # 组已存在

# 消费:> 表示"给我没投递过的新消息"
msgs = r.xreadgroup("workers", "worker-1", {"stream:report": ">"}, count=10, block=5000)
for stream, entries in msgs:
    for msg_id, fields in entries:
        try:
            do_work(fields)
            r.xack("stream:report", "workers", msg_id)   # 处理成功才确认
        except Exception:
            pass   # 不确认,留在 Pending,后面重投

关键点:

  • 不 XACK 就不会消失,消息留在 Pending 表里;
  • 消费者崩溃后,它的 Pending 消息可以被别人接管:
python
# 把空闲超过 60 秒的待处理消息,转给当前消费者
r.xautoclaim("stream:report", "workers", "worker-2", min_idle_time=60000, count=10)

这套机制对应的是"至少一次"语义:消息可能被处理两次(比如确认前进程崩了),所以消费逻辑必须幂等——同一 task_id 重复执行,结果应该一样。


7.5 和 FastAPI 怎么接 ​

方案适用限制
BackgroundTasks单机、丢了无所谓的小任务跟进程绑定,重启即丢
Redis List + 独立消费者中小规模、可容忍偶发丢失无确认机制
Redis Stream + 消费组不能丢的任务,多 worker需要自己实现重投与幂等
Celery / RQ要重试、定时、监控面板多一层依赖与运维
RabbitMQ / Kafka高吞吐、多消费组、严格顺序运维成本明显更高

一个务实的判断:每天几千条以内,Redis Stream 完全够用;上万条且要可视化重试,上 Celery;十万级以上或要多系统订阅同一份数据,才考虑 Kafka。


7.6 三个容易踩的细节 ​

  1. 消息体别太大。塞 1 MB 的 JSON 进去,Stream 很快膨胀,还拖慢所有命令。大内容存对象存储,队列里只放地址;
  2. Stream 要设上限。XADD ... MAXLEN ~ 10000,否则不确认的旧消息会一直堆着;
  3. 消费组名字要稳定。每次用随机组名,等于每次都在全量重放。

本章小结 ​

要点说明
队列三件事解耦、削峰、失败重试
List简单,取走即消失,无重试
Stream消费组 + Pending + 确认,至少一次
Pub/Sub广播,不持久,没人订阅就丢
可靠性Stream > List > Pub/Sub
幂等Stream 可能重复投递,消费逻辑必须幂等
选型几千条/天用 Stream,上万考虑 Celery

下一章 ​

功能都会写了,最后一章讲"怎么让它别在半夜挂"。持久化、主从、监控,以及那些真正会让人半夜起床的事故。

本文阅读--次|全站访问--次|访客--人