Skip to content

BiliTube(三):规则先筛、分位再排,把候选筛成精选 ​

有一条样本视频,标题是「全 748 集、最全最细、七天速成」。

它的数据很漂亮:收藏率 4.45%,点赞率 1.64%。如果规则写的是「收藏率 > 2% 就通过」,它会稳稳进入榜单。可点进去看,内容是拼凑的录屏,前后重复,标题里的「748 集」是把别人的课程切碎重新编号。

这就是做内容筛选最先撞上的墙:互动数据衡量的是传播,不是质量。而质量判断又不能全交给模型——成本高、方差大、不可解释。

BiliTube 的解法是把两件事拆开:规则负责挡掉明确的噪音,分位负责在同组里排高低,模型只负责补内容判断。顺序不能反。

一、先挡掉四类噪音 ​

过滤发生在打分之前,规则全部写在配方的 rules.json 里,改词表不用改代码。单条视频的判定顺序是这样的:

python
def decide(video, rules):
    title = (video.get("title") or "").lower()
    tname = video.get("tname") or ""
    duration = video.get("duration") or 0

    if duration < rules.get("min_duration_seconds", 180):
        return STATUS_REJECTED, "duration_too_short"

    allowed = rules.get("allowed_tnames") or []
    if allowed and tname not in allowed:
        return STATUS_REJECTED, f"tname:{tname or 'unknown'}"

    ai_terms = [str(t).lower() for t in rules.get("ai_terms") or []]
    if ai_terms and _match(title, ai_terms) is None:
        return STATUS_REJECTED, "not_ai_related"

    bait = _match(title, [str(t).lower() for t in rules.get("bait_terms") or []])
    if bait:
        return STATUS_REJECTED, f"clickbait:{bait}"

    collection = _match(title, [str(t).lower() for t in rules.get("collection_terms") or []])
    if collection and duration > LONG_DURATION_SECONDS:
        return STATUS_REVIEW, f"long_collection:{collection}"

    return STATUS_PASSED, ""

bilitube/filter.py#L51-L76

四道硬门槛:

  1. 时长下限:低于 3 分钟的直接拒绝。不是歧视短视频,是这类内容里「一句话结论 + 引流」的比例太高,评估成本不划算。
  2. 分区白名单:只保留知识、科技、财经等指定分区。搜索接口会混进娱乐内容,实测首轮 3,652 条里只有 57.6% 的标题命中 AI 相关词,播放量前五甚至是死侍、老番茄和滑板。
  3. 主题词:标题必须命中 AI 词表。这一条会误杀「标题朴素但内容优质」的视频,所以后面还有模型复核,不把规则当终审。
  4. 标题党词表:命中「七天速成」「全 748 集」「最全最细」这类词直接拒绝。

还有一道配额:同一个 UP 主通过的数量有上限,按播放量取前 N,其余拒绝。这不是对人做评价,是防止一个高频更新的账号占满整个榜单。

decide() 只做单条判定,apply_filter() 负责全量执行和写库,结果是幂等的:每次重跑都覆盖 videos 表,不会累积。

二、为什么绝对阈值不可用 ​

过滤之后,剩下的视频要用互动数据排序。最直接的做法是算几个率:收藏率、投币率、点赞率、讨论率,各自设一个阈值,加权求和。

这个方案在真实数据上很快就崩了,原因有三个。

第一,口径不统一。 B 站的「收藏数」和「播放数」不是同一时间窗口的口径,收藏率可以超过 100%。实测样本里:

视频播放收藏收藏率
BV1ug3qzhEp91,141,3091,286,533112.7%
BV1boqBBEENs——49.9%

拿 112.7% 去做「收藏率 > 2%」的判断,当然也能通过,但这个数字本身已经没有解释力。更糟的是,你会开始怀疑其他指标的可靠性。

第二,分区不可比。 「财经商业」的用户习惯收藏留着以后看,「野生技能协会」的用户更爱点赞。同一个收藏率,在不同分区里代表的位置完全不同。

第三,时长不可比。 10 分钟的视频完播率高,90 分钟的课程收藏率高但播放低。用一套阈值同时衡量两者,必然有一边被系统性高估或低估。

ADR-009 的结论是:保留原始计数,但排序改用分位。分位只依赖组内排序,对量纲不敏感——收藏率是 2% 还是 112%,都不影响它在组里排第几。

三、分位怎么做 ​

分组的键是「分区 × 时长档」,时长档分四段:<10min、10-30min、30-90min、>90min。

在每个组内,对每个指标单独算百分位:

python
def percentiles(values: list[float]) -> list[float]:
    """把一组值转成 0–100 的百分位(最小 0,最大 100)。"""
    size = len(values)
    if size == 0:
        return []
    if size == 1:
        return [50.0]
    order = sorted(range(size), key=lambda index: values[index])
    result = [0.0] * size
    for position, index in enumerate(order):
        result[index] = position / (size - 1) * 100.0
    return result

bilitube/scoring.py#L93-L104

只有 1 条样本时返回 50,避免除零,也避免「唯一的一条就是第一名」这种没有意义的 100 分。

同样的收藏率 2.1%,在 10–30 分钟组里是 P18,在 90 分钟以上组里是 P72;分位回答的是「在同类里排第几」

机器分是五个指标分位的加权和:

python
machine = sum(weight * parts[metric] for metric, weight in weights.items())

权重来自配方,代码里只留一组等权占位。真实的五项权重不公开——这是第五篇的主题。

四、样本不够怎么办 ​

分位有一个前提:组内要有足够多的样本。十几个样本排出来的百分位,统计意义很弱。

首轮 1,360 条通过视频里,按「分区 × 时长档」分组后有 254 条落在样本不足 30 的组里,占 19%。典型的是「财经商业 × >90min」这种小众组合。

三个选项:

  1. 照常算分位——十几个样本也排出 0 到 100,看起来精确,其实不可信;
  2. 直接剔除——会误删小众赛道里真正优质的内容;
  3. 退化为全站分位,并标注。

选的是第三个:

python
for key, bvids in groups.items():
    if len(bvids) < min_group_size:
        for bvid in bvids:
            group_scores[bvid] = dict(global_scores[bvid])
            low_sample_bvids.add(bvid)
        continue
    for metric in weights:
        values = [metrics[bvid][metric] for bvid in bvids]
        for bvid, pct in zip(bvids, percentiles(values)):
            group_scores.setdefault(bvid, {})[metric] = pct

bilitube/scoring.py#L139-L148

这些视频仍然参与排序,但在 scores.flags 里带上 low_sample。前端可以据此提示,导出数据里也保留了痕迹。保留内容、暴露不确定性,比假装精确或一刀切删除都更诚实。

五、机器分只是半成品 ​

机器分先算出来,内容分后补。两者的关系写在两个常量里:

python
MACHINE_WEIGHT = 0.6
CONTENT_WEIGHT = 0.4

为什么是 6:4,不是 8:2 或 5:5?

  • 机器分能反映「多少人愿意为它付出收藏和投币」,这是最稳定的信号,但不能区分「包装精美的水教程」;
  • 内容分能读简介和弹幕,判断信息密度,但模型有方差,成本也高;
  • 6:4 让内容分足以推翻机器分的误判,又不至于让一次模型抖动决定整个榜单。

ADR-013 还规定了两阶段存储:scores.machine 和 scores.total 分开存。内容分接入时只重写 content 和 total,不动 machine。这样任何时候都能回答「这个排名有多少来自互动,多少来自内容判断」。

六、实测数据 ​

环节数量占比
进入筛选的候选4,739100%
通过硬过滤1,77437.4%
被拒绝2,96562.6%
覆盖主题80—
历史样本中的低样本组254 / 1,36019%

通过率 37.4% 看起来很低,但被拒的 2,965 条里,大部分本来就不该进入候选池:娱乐内容、搬运合集、三分钟以下的切片、同一个 UP 的重复投稿。过滤的价值不在于「精选」,而在于让后面的打分只面对值得比较的对象。

踩坑:搜索接口不返回投币

首轮 3,652 条候选里,coin 字段全是空值。搜索接口不返回投币数,必须靠详情接口逐条补齐(ADR-012)。

如果在补齐前就算投币率,这一项的分子全是 0,分位会把它算成「所有人并列最低」,权重直接失效。所以代码里的顺序是:先补齐,再过滤,再打分;投币率在补齐前不参与任何计算。

为什么不让模型直接排序

让模型看 4,739 条视频然后给出排名,听起来最省事,实际不可行:成本高、结果不稳定、无法解释,而且每次重跑排名都会变。

现在的分工是:规则做减法,分位做相对比较,模型只对已经通过筛选的 1,774 条做内容判断。模型看到的是一个干净的池子,输出只需要回答「这条内容值不值得看」,不需要回答「它在全站排第几」。范围一小,判断就稳。

七、小结 ​

这一篇的三个决定:

决定换来的付出的
规则先挡噪音后面的打分只面对同类对象会误杀朴素标题,需要模型复核
分位替代绝对阈值对量纲不敏感,跨分区可比依赖候选池规模,池子有偏时分数也有偏
低样本退化为全站分位小众内容不被误删分数与全站基线混比,需要标注

到这里,1,774 条视频有了机器分。但它们还缺一件东西:为什么值得看。下一篇讲怎么让模型读完简介和 213,027 条弹幕,写出一张能被人读的卡片。

本文阅读--次|全站访问--次|访客--人