BiliTube(一):采集被 412 拦住后,怎么恢复
2026-11-10 那次周更,第一个请求就失败了。
不是超时,不是解析错误,是 HTTP 412。日志里只有一行:
采集:关键词 20 个,排序 pubdate,最多 3 页
[ERROR] HTTP 412
触发风控,本次更新中止(已采部分已落库,稍后重跑即可续上)前一周同样的命令还能跑完。我先按经验处理:把限速从 0.8 降到 0.5,等了一个半小时冷却,再跑。第一个请求,还是 412。
一、先确认到底是谁在拦
风控最怕的是「猜」。你以为是频率太高,其实是缺 cookie;你以为是 IP 被封,其实只是某个接口要求设备指纹。所以先做逐项实测:
| 请求 | 结果 |
|---|---|
主站首页 www.bilibili.com | 200 |
导航接口 /x/web-interface/nav | 200 |
| 搜索页 HTML | 200 |
搜索 API /x/web-interface/search/type | 412 |
首页能开、导航能取、搜索页 HTML 能拿,只有搜索 API 稳定 412。这说明不是 IP 被整体封禁,也不是网络不通,而是这个接口单独要求某个请求特征。
顺着这个方向试:给请求补上 buvid3 / buvid4 两个匿名设备 cookie。B 站有一个公开的指纹接口 /x/frontend/finger/spi,返回 b_3 / b_4 两个值。补上之后,第一个请求立刻恢复 code=0,返回 20 条结果。
问题到这里定位清楚了:搜索接口要求设备指纹,和限速没关系。降速、冷却、换 UA 都不会有用,因为缺的不是频率,是身份。
二、风控不是一个错误码
把这次故障放回代码里看,会发现 B 站的风控至少有三层,而且长得完全不一样:
| 层 | 表现 | 容易误判成 |
|---|---|---|
| HTTP 层 | 状态码 412 / 429 | 网络错误、重试就好 |
| 业务层 | code = -352 / -412 | 普通接口错误 |
| 挑战层 | code = 0,data 里只有 v_voucher | 空结果 |
第三层最阴。HTTP 200,业务码 0,看起来一切正常,但 data 里没有 result,只有一个 v_voucher。如果代码写的是 data.get("result", []),你会得到空列表,然后愉快地认为「这个关键词没有结果」。
第一次全量采集就栽在这上面:wbi 版搜索前 39 页正常,之后持续返回 code=0 但只有 v_voucher。当时以为是搜到了末页,实际是被挑战了。
所以客户端的第一步不是发请求,而是把「什么算成功」写清楚:
def warmup(self) -> bool:
"""取匿名设备指纹(buvid3/buvid4),返回是否成功。"""
if self._buvid:
return True
try:
response = self._client.get(
f"{BASE_URL}/x/frontend/finger/spi", headers=self._base_headers()
)
data = (response.json() or {}).get("data") or {}
b3, b4 = data.get("b_3"), data.get("b_4")
if b3 and b4:
self._buvid = {"buvid3": str(b3), "buvid4": str(b4)}
return True
except Exception: # 网络或解析失败都退化为匿名请求
return False
return False指纹只取一次,之后所有请求都带上:
def headers(self) -> dict[str, str]:
headers = self._base_headers()
cookies: list[str] = []
if self._buvid:
cookies.append(f"buvid3={self._buvid['buvid3']}")
cookies.append(f"buvid4={self._buvid['buvid4']}")
if self._sessdata:
cookies.append(f"SESSDATA={self._sessdata}")
if cookies:
headers["Cookie"] = "; ".join(cookies)
return headerswarmup() 失败不抛异常。拿不到指纹就退化为纯匿名请求,风控概率更高,但整条流水线不该因为一次预热失败而停掉。这是整个项目的统一原则:增强项失败要降级,不能升级成故障。
三、哪些错误值得重试
把错误分成「可重试」和「不可重试」,是客户端最值钱的一段逻辑。分错了,要么把封禁当临时故障死磕,要么把一次抖动当永久失败丢掉数据。
代码里的分类是:
RETRYABLE_CODES = (-352, -412)
NON_RETRYABLE_CODES = (-403, -404, -405)
# HTTP 层
is_throttle = response.status_code in (412, 429)
retryable = response.status_code >= 500 or is_throttle
# 业务层
if code in RETRYABLE_CODES:
... # 退避后重试
else:
raise BiliApiError(code, ..., retryable=code not in NON_RETRYABLE_CODES)bilitube/http.py#L28-L29、bilitube/http.py#L137-L205
退避是 min(2 ** attempt, 30) 秒,最多 3 次。这个上限不是随便定的:如果 3 次都过不去,继续重试只是在加深 IP 的风控窗口,不如把这一页标成失败,等下一轮。
限速则单独做,且用的是「距离上次请求的间隔」而不是固定 sleep:
def _throttle(self) -> None:
if self.rate_limit_rps <= 0:
return
interval = 1.0 / self.rate_limit_rps
now = self._clock()
if self._last_call is not None:
wait = interval - (now - self._last_call)
if wait > 0:
self._sleeper(wait)
self._last_call = self._clock()这样重试和正常请求共享同一个节奏,不会因为一次重试把整体频率抬高。
四、什么时候该主动停下来
比「会重试」更重要的是「知道什么时候别重试」。
客户端维护一个 stats 字典,记录总请求数、成功数、风控数、错误数。每遇到一次 -352 或 412,就检查风控比例:
def _check_abort(self) -> None:
if self.stats["requests"] >= 20 and self._risk_ratio() > self.abort_threshold:
raise BiliApiError(
-352,
f"-352 比例 {self._risk_ratio():.1%} 超过阈值 {self.abort_threshold:.0%},已暂停采集",
)阈值默认 5%,且至少跑过 20 个请求才开始判断。这个「至少 20 个」很关键:刚启动时一两个失败会让比例看起来是 50%,但不代表真的被盯上了。
采集层收到不可重试的风控错误后,不是跳过这一页继续,而是整体中止:
except BiliApiError as exc:
set_crawl_state(conn, key, STATE_FAILED, error=str(exc))
report.failed_pages += 1
# 风控类失败立即整体中止,避免继续撞墙把 IP 打进更深的冷却
report.aborted = exc.retryable
breakbilitube/collector.py#L188-L196
已经写进库的部分不会丢,下次重跑从断点续上。这条规则救过很多次:与其把剩下的 200 页全部撞成 412,不如停在一个还能恢复的位置。
五、实测数据
| 场景 | 限速 | 设备指纹 | 结果 |
|---|---|---|---|
| 首次全量采集 | 1.5 req/s | 无 | 第 3 个请求 HTTP 412 |
| 历史全量采集 | 0.4 req/s | 无 | 249 页里 27 页 412 |
| 周更冷却后重试 | 0.8 req/s | 无 | 间隔 1.5 小时,首个请求仍 412 |
| 补齐设备指纹 | 0.8 req/s | buvid3/buvid4 | 首个请求 code=0,返回 20 条 |
| 带登录态(可选) | 0.8 req/s | buvid + SESSDATA | 可采字幕,配额更高 |
前三行说明一件事:限速不是唯一变量。0.4 req/s 仍然有 27 页失败,说明除了频率,还有 IP 状态、接口要求和请求特征在起作用。
踩坑:code=0 不等于成功
搜索接口被挑战时返回的是 HTTP 200、code=0,data 里只有 v_voucher。如果你只判断业务码,会把它当成「这个关键词没有结果」,然后安静地少采几百条。代码里必须显式检查 "result" not in data,并把这种情况计入风控统计。
为什么不直接带 SESSDATA
带账号 Cookie 确实更稳,也能拿字幕。但这个项目的采集原则是「账号零接触」:除字幕外全部匿名,请求走直连而不是代理,避免异地登录触发账号风控。设备指纹是匿名方案里性价比最高的一档——不需要登录,只多一次请求,就能把最常拦人的搜索接口救回来。
真正需要账号的只有字幕,而且只对最终入选的几百条视频串行执行。这是 ADR-007 的取舍:宁可字幕覆盖率低,也不让整条采集链路绑定账号。
六、小结
这一篇没有讲怎么解析视频字段,因为那是简单部分。采集真正难的是:
- 把「成功」定义清楚,包括
code=0但被挑战的情况; - 把错误分类,知道哪些值得退避、哪些应该立刻放弃;
- 知道什么时候主动停,保住 IP 和账号;
- 把匿名设备指纹当成基础设施,而不是临时补丁。
客户端能稳定跑之后,下一个问题才浮出来:这些数据落在哪,怎么保证中断了能续、重跑了不重复。下一篇讲那个只有一个文件的数据库。