第 6 章:看得见才算上线:日志、指标、告警
上线之后最危险的阶段不是第一分钟,是第三周:没人访问、没人报错、也没人知道它已经在悄悄坏。
学习目标
- 把访问日志、应用日志、错误日志分开,并让它们能串起来
- 选四个真正有用的指标,而不是装一堆没人看的仪表盘
- 设计"不吵"的告警:该响的响,不该响的别响
- 会用 request_id 在几分钟内定位一条慢请求
6.1 三类日志,各有职责
| 类型 | 谁产生 | 回答什么 | 落在哪 |
|---|---|---|---|
| 访问日志 | Nginx | 谁在什么时候访问了什么、状态码、耗时 | /var/log/nginx/access.log |
| 应用日志 | 你的程序 | 业务逻辑走到哪一步 | stdout → 容器日志 |
| 错误日志 | 程序 + 代理 | 异常堆栈、崩溃原因 | stderr / 错误文件 |
6.2 结构化日志 + request_id
python
import json, uuid, logging
def new_request_id() -> str:
return uuid.uuid4().hex[:12]
# 每条日志一行 JSON,便于 grep 与后续接采集
logging.info(json.dumps({
"rid": rid, "event": "chat_start", "user": uid, "model": "gpt-x", "tokens_in": 812
}, ensure_ascii=False))三个字段一定带上:
| 字段 | 作用 |
|---|---|
rid(request_id) | 串联同一次请求的所有日志 |
event | 可聚合的事件名(chat_start、tool_call、error) |
| 关键业务字段 | 用户、模型、耗时、token 数 |
Nginx 侧把上游返回的 id 或自己生成的 id 记进访问日志:
nginx
log_format main '$remote_addr "$request" $status $body_bytes_sent '
'rt=$request_time urt=$upstream_response_time rid=$http_x_request_id';
access_log /var/log/nginx/access.log main;这样一次排查就是:从访问日志拿 rid → grep 应用日志 → 看到具体步骤 → 定位到具体失败点。
6.3 日志轮转:不轮转会撑爆磁盘
Docker 默认的 json-file 驱动会无限增长,这是"跑三个月磁盘满"的头号原因:
yaml
services:
api:
logging:
driver: json-file
options:
max-size: "10m"
max-file: "5"Nginx 与系统日志用 logrotate(多数发行版已自带每日轮转):
conf
/var/log/nginx/*.log {
daily
rotate 14
compress
missingok
notifempty
postrotate
nginx -s reopen
endscript
}磁盘水位要进监控:超过 85% 就开始告警,因为它到 100% 时,数据库会写不进去、日志会丢、容器会异常退出,症状五花八门。
6.4 四个够用的指标
| 指标 | 看什么 | 阈值参考 |
|---|---|---|
| 请求量 / 每分钟 | 有没有人用、突增突降 | 相对自身基线 |
| 错误率(5xx + 业务失败) | 是不是在坏 | 持续 > 2% 告警 |
| P95 延迟 | 用户是否感到慢 | 超过基线 2–3 倍告警 |
| 饱和度(CPU / 内存 / 磁盘 / 连接数) | 快撑不住了吗 | 磁盘 85%、内存 90% |
加一条业务指标:每分钟成功完成的业务动作数(比如"生成成功的报告数")。它比技术指标更早暴露问题——接口都 200,但业务全在失败,这是最隐蔽的坏。
6.5 告警:双条件,才不会吵
单个瞬间的抖动不该叫醒你。阈值 + 持续时长:
text
错误率 > 2% 且持续 5 分钟 → 告警
磁盘 > 85% 且持续 30 分钟 → 告警
接口不可达 连续 3 次探测失败 → 告警
证书剩余 < 14 天 → 告警
备份任务失败 → 告警(这条千万别漏)通知用一个 webhook 就能到手机:
bash
curl -X POST "$WEBHOOK_URL" -H 'Content-Type: application/json' \
-d '{"msg":"[生产] 错误率 4.2%,持续 6 分钟\nhttps://example.com/healthz"}'飞书、钉钉、企业微信的群机器人都有 webhook,建一个只有你自己的群,专门接收告警——比装在手机上的 App 更可靠,也不会被消息淹没。
告警的三种坏味道
| 坏味道 | 后果 | 修法 |
|---|---|---|
| 太敏感 | 一周 50 条,你开始无视 | 加持续时长、提高阈值 |
| 太迟钝 | 用户先发现 | 用外部 uptime 探测兜底 |
| 没有下一步 | 收到也不知道干什么 | 告警文案里带链接与处理建议 |
第三条最容易被忽略:一条不带"该怎么办"的告警,等于一条噪音。
6.6 外部探测:别自己监测自己
机器挂了、网络断了、磁盘满了导致进程不响应——这时候机器上的监控脚本也一起挂了。所以需要一个站外的探测:
| 方案 | 说明 |
|---|---|
| 第三方 uptime 服务 | 从多个地区定时请求你的 /healthz,失败通知 |
| 另一台机器上的 cron + curl | 简单可控,但要自己写通知 |
| 云厂商的监控告警 | 与主机绑定,主机挂了可能也不报 |
bash
# 最简版:另一台机器上每分钟探一次,连续 3 次失败才报
*/1 * * * * curl -fsS --max-time 10 https://example.com/healthz || echo "fail" >> /tmp/probe.log探测要打到"真正能证明服务可用"的地址:/healthz 能返回 200 但数据库连不上,那是假活。有依赖的场景应该探 /readyz。
6.7 一次告警的完整路径
6.8 最小监控清单
| 项 | 有没有做 |
|---|---|
访问日志包含 rid、状态码、耗时 | |
应用日志是结构化 JSON,带 rid | |
容器日志有 max-size 限制 | |
| 磁盘水位告警(85%) | |
| 错误率告警(> 2% 持续 5 分钟) | |
| 站外 uptime 探测(连续 3 次失败告警) | |
| 证书到期告警(< 14 天) | |
| 备份任务失败告警 | |
| 告警能到手机,且文案带处理建议 |
九项全打勾,你就从"出事只能等用户投诉"变成"出事我先知道"。
本章小结
| 要点 | 说明 |
|---|---|
| 三类日志 | 访问、应用、错误,各司其职 |
| 串联 | request_id 贯穿三层,是排查的前提 |
| 轮转 | 容器日志限大小,Nginx 按天轮转 |
| 指标 | 量、错误率、P95、饱和度 + 一条业务指标 |
| 告警 | 阈值 + 持续时长,文案带下一步 |
| 探测 | 必须站外,探 /readyz 而非 /healthz |
| 易漏 | 备份失败与证书到期,也要告警 |
下一章
能看见了,接下来处理"看不见的灾难":备份、恢复演练,以及真的出事时按什么顺序动作。