Skip to content

BiliTube(一):采集被 412 拦住后,怎么恢复 ​

2026-11-10 那次周更,第一个请求就失败了。

不是超时,不是解析错误,是 HTTP 412。日志里只有一行:

text
采集:关键词 20 个,排序 pubdate,最多 3 页
[ERROR] HTTP 412
触发风控,本次更新中止(已采部分已落库,稍后重跑即可续上)

前一周同样的命令还能跑完。我先按经验处理:把限速从 0.8 降到 0.5,等了一个半小时冷却,再跑。第一个请求,还是 412。

一、先确认到底是谁在拦 ​

风控最怕的是「猜」。你以为是频率太高,其实是缺 cookie;你以为是 IP 被封,其实只是某个接口要求设备指纹。所以先做逐项实测:

请求结果
主站首页 www.bilibili.com200
导航接口 /x/web-interface/nav200
搜索页 HTML200
搜索 API /x/web-interface/search/type412

首页能开、导航能取、搜索页 HTML 能拿,只有搜索 API 稳定 412。这说明不是 IP 被整体封禁,也不是网络不通,而是这个接口单独要求某个请求特征。

顺着这个方向试:给请求补上 buvid3 / buvid4 两个匿名设备 cookie。B 站有一个公开的指纹接口 /x/frontend/finger/spi,返回 b_3 / b_4 两个值。补上之后,第一个请求立刻恢复 code=0,返回 20 条结果。

问题到这里定位清楚了:搜索接口要求设备指纹,和限速没关系。降速、冷却、换 UA 都不会有用,因为缺的不是频率,是身份。

二、风控不是一个错误码 ​

把这次故障放回代码里看,会发现 B 站的风控至少有三层,而且长得完全不一样:

层表现容易误判成
HTTP 层状态码 412 / 429网络错误、重试就好
业务层code = -352 / -412普通接口错误
挑战层code = 0,data 里只有 v_voucher空结果

第三层最阴。HTTP 200,业务码 0,看起来一切正常,但 data 里没有 result,只有一个 v_voucher。如果代码写的是 data.get("result", []),你会得到空列表,然后愉快地认为「这个关键词没有结果」。

第一次全量采集就栽在这上面:wbi 版搜索前 39 页正常,之后持续返回 code=0 但只有 v_voucher。当时以为是搜到了末页,实际是被挑战了。

所以客户端的第一步不是发请求,而是把「什么算成功」写清楚:

python
def warmup(self) -> bool:
    """取匿名设备指纹(buvid3/buvid4),返回是否成功。"""
    if self._buvid:
        return True
    try:
        response = self._client.get(
            f"{BASE_URL}/x/frontend/finger/spi", headers=self._base_headers()
        )
        data = (response.json() or {}).get("data") or {}
        b3, b4 = data.get("b_3"), data.get("b_4")
        if b3 and b4:
            self._buvid = {"buvid3": str(b3), "buvid4": str(b4)}
            return True
    except Exception:  # 网络或解析失败都退化为匿名请求
        return False
    return False

bilitube/http.py#L90-L109

指纹只取一次,之后所有请求都带上:

python
def headers(self) -> dict[str, str]:
    headers = self._base_headers()
    cookies: list[str] = []
    if self._buvid:
        cookies.append(f"buvid3={self._buvid['buvid3']}")
        cookies.append(f"buvid4={self._buvid['buvid4']}")
    if self._sessdata:
        cookies.append(f"SESSDATA={self._sessdata}")
    if cookies:
        headers["Cookie"] = "; ".join(cookies)
    return headers

bilitube/http.py#L78-L88

warmup() 失败不抛异常。拿不到指纹就退化为纯匿名请求,风控概率更高,但整条流水线不该因为一次预热失败而停掉。这是整个项目的统一原则:增强项失败要降级,不能升级成故障。

三、哪些错误值得重试 ​

把错误分成「可重试」和「不可重试」,是客户端最值钱的一段逻辑。分错了,要么把封禁当临时故障死磕,要么把一次抖动当永久失败丢掉数据。

代码里的分类是:

python
RETRYABLE_CODES = (-352, -412)
NON_RETRYABLE_CODES = (-403, -404, -405)

# HTTP 层
is_throttle = response.status_code in (412, 429)
retryable = response.status_code >= 500 or is_throttle

# 业务层
if code in RETRYABLE_CODES:
    ...  # 退避后重试
else:
    raise BiliApiError(code, ..., retryable=code not in NON_RETRYABLE_CODES)

bilitube/http.py#L28-L29、bilitube/http.py#L137-L205

退避是 min(2 ** attempt, 30) 秒,最多 3 次。这个上限不是随便定的:如果 3 次都过不去,继续重试只是在加深 IP 的风控窗口,不如把这一页标成失败,等下一轮。

限速则单独做,且用的是「距离上次请求的间隔」而不是固定 sleep:

python
def _throttle(self) -> None:
    if self.rate_limit_rps <= 0:
        return
    interval = 1.0 / self.rate_limit_rps
    now = self._clock()
    if self._last_call is not None:
        wait = interval - (now - self._last_call)
        if wait > 0:
            self._sleeper(wait)
    self._last_call = self._clock()

bilitube/http.py#L111-L120

这样重试和正常请求共享同一个节奏,不会因为一次重试把整体频率抬高。

四、什么时候该主动停下来 ​

比「会重试」更重要的是「知道什么时候别重试」。

客户端维护一个 stats 字典,记录总请求数、成功数、风控数、错误数。每遇到一次 -352 或 412,就检查风控比例:

python
def _check_abort(self) -> None:
    if self.stats["requests"] >= 20 and self._risk_ratio() > self.abort_threshold:
        raise BiliApiError(
            -352,
            f"-352 比例 {self._risk_ratio():.1%} 超过阈值 {self.abort_threshold:.0%},已暂停采集",
        )

bilitube/http.py#L130-L142

阈值默认 5%,且至少跑过 20 个请求才开始判断。这个「至少 20 个」很关键:刚启动时一两个失败会让比例看起来是 50%,但不代表真的被盯上了。

采集层收到不可重试的风控错误后,不是跳过这一页继续,而是整体中止:

python
except BiliApiError as exc:
    set_crawl_state(conn, key, STATE_FAILED, error=str(exc))
    report.failed_pages += 1
    # 风控类失败立即整体中止,避免继续撞墙把 IP 打进更深的冷却
    report.aborted = exc.retryable
    break

bilitube/collector.py#L188-L196

已经写进库的部分不会丢,下次重跑从断点续上。这条规则救过很多次:与其把剩下的 200 页全部撞成 412,不如停在一个还能恢复的位置。

五、实测数据 ​

场景限速设备指纹结果
首次全量采集1.5 req/s无第 3 个请求 HTTP 412
历史全量采集0.4 req/s无249 页里 27 页 412
周更冷却后重试0.8 req/s无间隔 1.5 小时,首个请求仍 412
补齐设备指纹0.8 req/sbuvid3/buvid4首个请求 code=0,返回 20 条
带登录态(可选)0.8 req/sbuvid + SESSDATA可采字幕,配额更高

前三行说明一件事:限速不是唯一变量。0.4 req/s 仍然有 27 页失败,说明除了频率,还有 IP 状态、接口要求和请求特征在起作用。

踩坑:code=0 不等于成功

搜索接口被挑战时返回的是 HTTP 200、code=0,data 里只有 v_voucher。如果你只判断业务码,会把它当成「这个关键词没有结果」,然后安静地少采几百条。代码里必须显式检查 "result" not in data,并把这种情况计入风控统计。

bilitube/http.py#L235-L246

为什么不直接带 SESSDATA

带账号 Cookie 确实更稳,也能拿字幕。但这个项目的采集原则是「账号零接触」:除字幕外全部匿名,请求走直连而不是代理,避免异地登录触发账号风控。设备指纹是匿名方案里性价比最高的一档——不需要登录,只多一次请求,就能把最常拦人的搜索接口救回来。

真正需要账号的只有字幕,而且只对最终入选的几百条视频串行执行。这是 ADR-007 的取舍:宁可字幕覆盖率低,也不让整条采集链路绑定账号。

六、小结 ​

这一篇没有讲怎么解析视频字段,因为那是简单部分。采集真正难的是:

  • 把「成功」定义清楚,包括 code=0 但被挑战的情况;
  • 把错误分类,知道哪些值得退避、哪些应该立刻放弃;
  • 知道什么时候主动停,保住 IP 和账号;
  • 把匿名设备指纹当成基础设施,而不是临时补丁。

客户端能稳定跑之后,下一个问题才浮出来:这些数据落在哪,怎么保证中断了能续、重跑了不重复。下一篇讲那个只有一个文件的数据库。

本文阅读--次|全站访问--次|访客--人