BiliTube(三):规则先筛、分位再排,把候选筛成精选
有一条样本视频,标题是「全 748 集、最全最细、七天速成」。
它的数据很漂亮:收藏率 4.45%,点赞率 1.64%。如果规则写的是「收藏率 > 2% 就通过」,它会稳稳进入榜单。可点进去看,内容是拼凑的录屏,前后重复,标题里的「748 集」是把别人的课程切碎重新编号。
这就是做内容筛选最先撞上的墙:互动数据衡量的是传播,不是质量。而质量判断又不能全交给模型——成本高、方差大、不可解释。
BiliTube 的解法是把两件事拆开:规则负责挡掉明确的噪音,分位负责在同组里排高低,模型只负责补内容判断。顺序不能反。
一、先挡掉四类噪音
过滤发生在打分之前,规则全部写在配方的 rules.json 里,改词表不用改代码。单条视频的判定顺序是这样的:
def decide(video, rules):
title = (video.get("title") or "").lower()
tname = video.get("tname") or ""
duration = video.get("duration") or 0
if duration < rules.get("min_duration_seconds", 180):
return STATUS_REJECTED, "duration_too_short"
allowed = rules.get("allowed_tnames") or []
if allowed and tname not in allowed:
return STATUS_REJECTED, f"tname:{tname or 'unknown'}"
ai_terms = [str(t).lower() for t in rules.get("ai_terms") or []]
if ai_terms and _match(title, ai_terms) is None:
return STATUS_REJECTED, "not_ai_related"
bait = _match(title, [str(t).lower() for t in rules.get("bait_terms") or []])
if bait:
return STATUS_REJECTED, f"clickbait:{bait}"
collection = _match(title, [str(t).lower() for t in rules.get("collection_terms") or []])
if collection and duration > LONG_DURATION_SECONDS:
return STATUS_REVIEW, f"long_collection:{collection}"
return STATUS_PASSED, ""四道硬门槛:
- 时长下限:低于 3 分钟的直接拒绝。不是歧视短视频,是这类内容里「一句话结论 + 引流」的比例太高,评估成本不划算。
- 分区白名单:只保留知识、科技、财经等指定分区。搜索接口会混进娱乐内容,实测首轮 3,652 条里只有 57.6% 的标题命中 AI 相关词,播放量前五甚至是死侍、老番茄和滑板。
- 主题词:标题必须命中 AI 词表。这一条会误杀「标题朴素但内容优质」的视频,所以后面还有模型复核,不把规则当终审。
- 标题党词表:命中「七天速成」「全 748 集」「最全最细」这类词直接拒绝。
还有一道配额:同一个 UP 主通过的数量有上限,按播放量取前 N,其余拒绝。这不是对人做评价,是防止一个高频更新的账号占满整个榜单。
decide() 只做单条判定,apply_filter() 负责全量执行和写库,结果是幂等的:每次重跑都覆盖 videos 表,不会累积。
二、为什么绝对阈值不可用
过滤之后,剩下的视频要用互动数据排序。最直接的做法是算几个率:收藏率、投币率、点赞率、讨论率,各自设一个阈值,加权求和。
这个方案在真实数据上很快就崩了,原因有三个。
第一,口径不统一。 B 站的「收藏数」和「播放数」不是同一时间窗口的口径,收藏率可以超过 100%。实测样本里:
| 视频 | 播放 | 收藏 | 收藏率 |
|---|---|---|---|
BV1ug3qzhEp9 | 1,141,309 | 1,286,533 | 112.7% |
BV1boqBBEENs | — | — | 49.9% |
拿 112.7% 去做「收藏率 > 2%」的判断,当然也能通过,但这个数字本身已经没有解释力。更糟的是,你会开始怀疑其他指标的可靠性。
第二,分区不可比。 「财经商业」的用户习惯收藏留着以后看,「野生技能协会」的用户更爱点赞。同一个收藏率,在不同分区里代表的位置完全不同。
第三,时长不可比。 10 分钟的视频完播率高,90 分钟的课程收藏率高但播放低。用一套阈值同时衡量两者,必然有一边被系统性高估或低估。
ADR-009 的结论是:保留原始计数,但排序改用分位。分位只依赖组内排序,对量纲不敏感——收藏率是 2% 还是 112%,都不影响它在组里排第几。
三、分位怎么做
分组的键是「分区 × 时长档」,时长档分四段:<10min、10-30min、30-90min、>90min。
在每个组内,对每个指标单独算百分位:
def percentiles(values: list[float]) -> list[float]:
"""把一组值转成 0–100 的百分位(最小 0,最大 100)。"""
size = len(values)
if size == 0:
return []
if size == 1:
return [50.0]
order = sorted(range(size), key=lambda index: values[index])
result = [0.0] * size
for position, index in enumerate(order):
result[index] = position / (size - 1) * 100.0
return result只有 1 条样本时返回 50,避免除零,也避免「唯一的一条就是第一名」这种没有意义的 100 分。
机器分是五个指标分位的加权和:
machine = sum(weight * parts[metric] for metric, weight in weights.items())权重来自配方,代码里只留一组等权占位。真实的五项权重不公开——这是第五篇的主题。
四、样本不够怎么办
分位有一个前提:组内要有足够多的样本。十几个样本排出来的百分位,统计意义很弱。
首轮 1,360 条通过视频里,按「分区 × 时长档」分组后有 254 条落在样本不足 30 的组里,占 19%。典型的是「财经商业 × >90min」这种小众组合。
三个选项:
- 照常算分位——十几个样本也排出 0 到 100,看起来精确,其实不可信;
- 直接剔除——会误删小众赛道里真正优质的内容;
- 退化为全站分位,并标注。
选的是第三个:
for key, bvids in groups.items():
if len(bvids) < min_group_size:
for bvid in bvids:
group_scores[bvid] = dict(global_scores[bvid])
low_sample_bvids.add(bvid)
continue
for metric in weights:
values = [metrics[bvid][metric] for bvid in bvids]
for bvid, pct in zip(bvids, percentiles(values)):
group_scores.setdefault(bvid, {})[metric] = pct这些视频仍然参与排序,但在 scores.flags 里带上 low_sample。前端可以据此提示,导出数据里也保留了痕迹。保留内容、暴露不确定性,比假装精确或一刀切删除都更诚实。
五、机器分只是半成品
机器分先算出来,内容分后补。两者的关系写在两个常量里:
MACHINE_WEIGHT = 0.6
CONTENT_WEIGHT = 0.4为什么是 6:4,不是 8:2 或 5:5?
- 机器分能反映「多少人愿意为它付出收藏和投币」,这是最稳定的信号,但不能区分「包装精美的水教程」;
- 内容分能读简介和弹幕,判断信息密度,但模型有方差,成本也高;
- 6:4 让内容分足以推翻机器分的误判,又不至于让一次模型抖动决定整个榜单。
ADR-013 还规定了两阶段存储:scores.machine 和 scores.total 分开存。内容分接入时只重写 content 和 total,不动 machine。这样任何时候都能回答「这个排名有多少来自互动,多少来自内容判断」。
六、实测数据
| 环节 | 数量 | 占比 |
|---|---|---|
| 进入筛选的候选 | 4,739 | 100% |
| 通过硬过滤 | 1,774 | 37.4% |
| 被拒绝 | 2,965 | 62.6% |
| 覆盖主题 | 80 | — |
| 历史样本中的低样本组 | 254 / 1,360 | 19% |
通过率 37.4% 看起来很低,但被拒的 2,965 条里,大部分本来就不该进入候选池:娱乐内容、搬运合集、三分钟以下的切片、同一个 UP 的重复投稿。过滤的价值不在于「精选」,而在于让后面的打分只面对值得比较的对象。
踩坑:搜索接口不返回投币
首轮 3,652 条候选里,coin 字段全是空值。搜索接口不返回投币数,必须靠详情接口逐条补齐(ADR-012)。
如果在补齐前就算投币率,这一项的分子全是 0,分位会把它算成「所有人并列最低」,权重直接失效。所以代码里的顺序是:先补齐,再过滤,再打分;投币率在补齐前不参与任何计算。
为什么不让模型直接排序
让模型看 4,739 条视频然后给出排名,听起来最省事,实际不可行:成本高、结果不稳定、无法解释,而且每次重跑排名都会变。
现在的分工是:规则做减法,分位做相对比较,模型只对已经通过筛选的 1,774 条做内容判断。模型看到的是一个干净的池子,输出只需要回答「这条内容值不值得看」,不需要回答「它在全站排第几」。范围一小,判断就稳。
七、小结
这一篇的三个决定:
| 决定 | 换来的 | 付出的 |
|---|---|---|
| 规则先挡噪音 | 后面的打分只面对同类对象 | 会误杀朴素标题,需要模型复核 |
| 分位替代绝对阈值 | 对量纲不敏感,跨分区可比 | 依赖候选池规模,池子有偏时分数也有偏 |
| 低样本退化为全站分位 | 小众内容不被误删 | 分数与全站基线混比,需要标注 |
到这里,1,774 条视频有了机器分。但它们还缺一件东西:为什么值得看。下一篇讲怎么让模型读完简介和 213,027 条弹幕,写出一张能被人读的卡片。