Skip to content

第 6 章:看得见才算上线:日志、指标、告警 ​

上线之后最危险的阶段不是第一分钟,是第三周:没人访问、没人报错、也没人知道它已经在悄悄坏。


学习目标 ​

  • 把访问日志、应用日志、错误日志分开,并让它们能串起来
  • 选四个真正有用的指标,而不是装一堆没人看的仪表盘
  • 设计"不吵"的告警:该响的响,不该响的别响
  • 会用 request_id 在几分钟内定位一条慢请求

6.1 三类日志,各有职责 ​

类型谁产生回答什么落在哪
访问日志Nginx谁在什么时候访问了什么、状态码、耗时/var/log/nginx/access.log
应用日志你的程序业务逻辑走到哪一步stdout → 容器日志
错误日志程序 + 代理异常堆栈、崩溃原因stderr / 错误文件
日志、指标、告警:三层各有分工① 日志(发生了什么)Nginx access / app / error按天轮转,保留 7–14 天每条带 request_id 可串联用途:事后查"这一单为什么失败"② 指标(趋势如何)请求量 / 错误率 / P95 / 饱和度每分钟聚合一次磁盘、内存、连接数用途:发现"正在变坏"③ 告警(叫醒你)阈值 + 持续时长,双条件通知到手机(webhook)外部 uptime 探测用途:不用一直盯着共同前提:request_id一个请求进来就生成 id,写进访问日志、应用日志、错误日志、告警内容——没有它,三份日志只能靠时间猜最先该做的不是接一个监控系统,是让每条日志都能被检索、每个请求都能被串起来。顺序反了会怎样:装了一堆图表,出事时仍然只能说"大概是下午三点多的时候"。

6.2 结构化日志 + request_id ​

python
import json, uuid, logging

def new_request_id() -> str:
    return uuid.uuid4().hex[:12]

# 每条日志一行 JSON,便于 grep 与后续接采集
logging.info(json.dumps({
    "rid": rid, "event": "chat_start", "user": uid, "model": "gpt-x", "tokens_in": 812
}, ensure_ascii=False))

三个字段一定带上:

字段作用
rid(request_id)串联同一次请求的所有日志
event可聚合的事件名(chat_start、tool_call、error)
关键业务字段用户、模型、耗时、token 数

Nginx 侧把上游返回的 id 或自己生成的 id 记进访问日志:

nginx
log_format main '$remote_addr "$request" $status $body_bytes_sent '
                'rt=$request_time urt=$upstream_response_time rid=$http_x_request_id';
access_log /var/log/nginx/access.log main;

这样一次排查就是:从访问日志拿 rid → grep 应用日志 → 看到具体步骤 → 定位到具体失败点。


6.3 日志轮转:不轮转会撑爆磁盘 ​

Docker 默认的 json-file 驱动会无限增长,这是"跑三个月磁盘满"的头号原因:

yaml
services:
  api:
    logging:
      driver: json-file
      options:
        max-size: "10m"
        max-file: "5"

Nginx 与系统日志用 logrotate(多数发行版已自带每日轮转):

conf
/var/log/nginx/*.log {
    daily
    rotate 14
    compress
    missingok
    notifempty
    postrotate
        nginx -s reopen
    endscript
}

磁盘水位要进监控:超过 85% 就开始告警,因为它到 100% 时,数据库会写不进去、日志会丢、容器会异常退出,症状五花八门。


6.4 四个够用的指标 ​

指标看什么阈值参考
请求量 / 每分钟有没有人用、突增突降相对自身基线
错误率(5xx + 业务失败)是不是在坏持续 > 2% 告警
P95 延迟用户是否感到慢超过基线 2–3 倍告警
饱和度(CPU / 内存 / 磁盘 / 连接数)快撑不住了吗磁盘 85%、内存 90%

加一条业务指标:每分钟成功完成的业务动作数(比如"生成成功的报告数")。它比技术指标更早暴露问题——接口都 200,但业务全在失败,这是最隐蔽的坏。


6.5 告警:双条件,才不会吵 ​

单个瞬间的抖动不该叫醒你。阈值 + 持续时长:

text
错误率 > 2% 且持续 5 分钟 → 告警
磁盘 > 85% 且持续 30 分钟 → 告警
接口不可达 连续 3 次探测失败 → 告警
证书剩余 < 14 天 → 告警
备份任务失败 → 告警(这条千万别漏)

通知用一个 webhook 就能到手机:

bash
curl -X POST "$WEBHOOK_URL" -H 'Content-Type: application/json' \
  -d '{"msg":"[生产] 错误率 4.2%,持续 6 分钟\nhttps://example.com/healthz"}'

飞书、钉钉、企业微信的群机器人都有 webhook,建一个只有你自己的群,专门接收告警——比装在手机上的 App 更可靠,也不会被消息淹没。

告警的三种坏味道 ​

坏味道后果修法
太敏感一周 50 条,你开始无视加持续时长、提高阈值
太迟钝用户先发现用外部 uptime 探测兜底
没有下一步收到也不知道干什么告警文案里带链接与处理建议

第三条最容易被忽略:一条不带"该怎么办"的告警,等于一条噪音。


6.6 外部探测:别自己监测自己 ​

机器挂了、网络断了、磁盘满了导致进程不响应——这时候机器上的监控脚本也一起挂了。所以需要一个站外的探测:

方案说明
第三方 uptime 服务从多个地区定时请求你的 /healthz,失败通知
另一台机器上的 cron + curl简单可控,但要自己写通知
云厂商的监控告警与主机绑定,主机挂了可能也不报
bash
# 最简版:另一台机器上每分钟探一次,连续 3 次失败才报
*/1 * * * * curl -fsS --max-time 10 https://example.com/healthz || echo "fail" >> /tmp/probe.log

探测要打到"真正能证明服务可用"的地址:/healthz 能返回 200 但数据库连不上,那是假活。有依赖的场景应该探 /readyz。


6.7 一次告警的完整路径 ​


6.8 最小监控清单 ​

项有没有做
访问日志包含 rid、状态码、耗时
应用日志是结构化 JSON,带 rid
容器日志有 max-size 限制
磁盘水位告警(85%)
错误率告警(> 2% 持续 5 分钟)
站外 uptime 探测(连续 3 次失败告警)
证书到期告警(< 14 天)
备份任务失败告警
告警能到手机,且文案带处理建议

九项全打勾,你就从"出事只能等用户投诉"变成"出事我先知道"。


本章小结 ​

要点说明
三类日志访问、应用、错误,各司其职
串联request_id 贯穿三层,是排查的前提
轮转容器日志限大小,Nginx 按天轮转
指标量、错误率、P95、饱和度 + 一条业务指标
告警阈值 + 持续时长,文案带下一步
探测必须站外,探 /readyz 而非 /healthz
易漏备份失败与证书到期,也要告警

下一章 ​

能看见了,接下来处理"看不见的灾难":备份、恢复演练,以及真的出事时按什么顺序动作。

本文阅读--次|全站访问--次|访客--人