Skip to content

BiliTube(八):这套系统能做什么,不能做什么 ​

前七篇讲的都是「怎么让它跑起来」。这一篇讲它跑起来之后,仍然解决不了什么。

先说结论:BiliTube 不是一个全站的视频推荐系统,也不是一个客观的质量评估器。 它是一条在特定候选池里、用一套公开可检查的流程、做相对排序的流水线。候选池变了,榜单就会变;配方变了,榜单也会变。

把这些边界写清楚,比再多加一个功能更重要。

一、候选池不是全集 ​

单轮搜索的理论上限是:

text
20 个关键词 × 2 种排序 × 3 页 × 每页 20 条 = 2,400 个结果位

去重、跨周累积之后,2026-11-10 的候选是 4,739 条。这个数字看起来不小,但它只代表「这 20 个词、这两种排序、前 3 页能触达的视频」。

没被触达的内容至少有三类:

  • 标题不含关键词的视频:讲得很好,但标题是「我是怎么理解注意力的」,词表匹配不到;
  • 排序靠后的视频:搜索按相关性和热度排,第 4 页之后完全没进候选;
  • 不在搜索索引里的内容:课程、直播回放、专栏关联视频、UP 主主页里的系列。

所以 1,774 条精选的正确读法是:在这 4,739 条候选里,按这套口径值得看的 1,774 条。不是「B 站最值得看的 1,774 个 AI 视频」。

这也是为什么文章里一直用「候选」「通过」「精选」,而不是「全网最好」。

二、四层偏差,一层比一层难消 ​

第一层:关键词偏差 ​

20 个词决定了候选池的边界。词选得偏技术,榜单就偏技术;词选得偏应用,榜单就偏应用。词表还会随时间过时——去年有效的词,今年可能全是过时的内容。

这一层最容易理解,也最难彻底解决。扩大词表能缓解,但会引入更多噪音和采集成本。

第二层:互动偏差 ​

播放、收藏、投币、点赞、评论,衡量的都是「传播行为」,不是「内容质量」。

  • 新视频有冷启动,发布三天内的数据不可比;
  • 小众分区的绝对互动低,但组内分位可能很高;
  • 标题党和合集能刷出漂亮的收藏率,规则只能挡掉一部分;
  • 收藏率本身口径不统一,实测出现过 112.7%。

分位归一解决了「跨组不可比」,但解决不了「互动不等于质量」。它只是让比较发生在更合理的范围内。

第三层:弹幕偏差 ​

弹幕是主力证据,但弹幕用户不是观众全集。愿意发弹幕的人偏年轻、偏活跃,表达也更情绪化。「哈哈哈哈」「前排」「老师好」这类内容对判断信息密度几乎没有帮助。

代码里做了长度过滤、去重、数量上限,但没法消除「沉默的大多数」不发声这件事。一条没有人发弹幕的优质长视频,模型能拿到的证据会非常少。

第四层:模型偏差 ​

单模型、单次调用、temperature=0.2,仍然有方差。同一批视频隔一周重跑,少数卡片的 quality 会浮动几分;prompt 改一句话,整体分布可能平移。

更关键的是:没有人工评测集。现在只有零散的人工抽检,没有一份「100 条视频 + 人工质量分」的基准。没有基准,就无法回答「这一版权重比上一版更好吗」,只能凭感觉。

这是我认为最该补、但一直没补的一块。

三、时间维度上的不可比 ​

每次周更都会重新计算分位。分位是组内相对位置,所以:

  • 本周的 80 分和上周的 80 分,不代表同一水平;
  • 一条视频这周排第 10,下周可能排第 30,不是它变差了,是新视频进入了同一组;
  • 跨周比较总分没有意义,只能比较趋势或名次变化。

站点上没有做「历史排名」功能,也没有把分数当成绝对质量展示。卡片上的「为什么值得看」比分数更重要,这是有意的产品选择。

四、没做的事,以及为什么 ​

没做原因什么时候值得做
字幕 / ASR未登录拿不到,登录态覆盖率也不确定有稳定的字幕来源,或愿意承担 ASR 成本
完整评论未登录只返回 3 条有合规的评论获取方式
语义搜索1.7 MB 数据在浏览器里,关键词搜索够用数据涨到数万条,或需要跨语言检索
个性化推荐没有账号,也不收集行为产品决定要做账号体系时
人工评测集耗时,且需要持续维护现在就该做,但它不产生新功能
自动内容审核只展示元数据和模型摘要,不托管视频引入用户投稿时

前五项是能力边界,最后一项是产品边界。BiliTube 不做视频托管,播放全部跳回 B 站,标题、封面、简介只作为索引信息使用。这既降低了版权风险,也让「删除」变得简单:从 JSON 里移除一条,重新构建即可。

五、如果重来,先做这三件事 ​

第一,先做评测集,再调权重。

现在的顺序是「先有流水线,再靠抽检调参」。正确的顺序应该是先人工标注 100–200 条视频,覆盖不同分区、时长和内容类型,形成一份固定的基准;之后每次改权重、改 prompt,都在这份基准上算一致性和排序相关性。

没有评测集,所有调参都是盲调。这是这个项目最大的工程债。

第二,字幕优先于弹幕。

弹幕是「在缺字幕的情况下能找到的最好证据」,不是最好的证据。如果重来,我会先解决字幕的获取与覆盖率,再把弹幕降级为补充信号。字幕的信息密度和可引用性,远高于弹幕。

第三,候选池从「搜索」扩展到「关系」。

只靠关键词搜索,永远只能触达标题命中的内容。更合理的候选池应该包括:已入选视频的关联推荐、优质 UP 主的更新、分区排行榜。这不是简单地多抓几个接口,而是要重新设计去重和配额的逻辑。

六、这套东西适合谁,不适合谁 ​

适合:

  • 想做一个垂直领域的内容策展站,数据量在几千到几万条;
  • 需要一套可解释、可重跑、可替换标准的离线流水线;
  • 接受「相对排序」而不是「绝对评分」;
  • 愿意维护配方,而不是指望模型自动搞定一切。

不适合:

  • 需要实时推荐或个性化排序;
  • 需要覆盖全站内容;
  • 需要给出「客观质量分」并对作者产生影响;
  • 没有人力做抽检和配方维护。

最后一类最容易被忽略。这条流水线可以自动跑,但「这套标准是否仍然合理」必须有人定期回答。自动化解决的是执行,不是判断。

七、三条红线 ​

这个系列写了八篇,有三条线一直没越:

  1. 不公开真实配方。 关键词、词表、权重、prompt 的线上版本不在仓库里。公开的是引擎和最小示例。
  2. 不评价具体 UP 主。 榜单是统计结果,不是对人的评价。文章里的视频只作为数据样本,用中性描述。
  3. 不托管、不转存视频。 只索引公开元数据,播放跳回 B 站;封面直连 CDN,不落本地。收到删除请求,从数据里移除并重新构建。

这三条不是免责声明,是设计约束。它们决定了哪些功能能做、哪些不能做。

八、系列目录 ​

篇目主题
概览全景、三个决定、读法
一采集被 412 拦住后,怎么恢复
二用 SQLite 断点续采,重跑不重复
三规则先筛、分位再排,把候选筛成精选
四让模型读弹幕,给视频写推荐卡片
五关键词、权重、提示词怎么拆成外置配方
六把榜单做成纯静态站,搜索筛选不靠后端
七每周数据更新与 tag 发版,怎么避免误上线
八(本篇)这套系统能做什么,不能做什么

九、最后 ​

项目是 MIT,仓库在 zhaoxuejie/moqian-bilitube。想跑起来,README 里有本地启动和最小示例;想改配方,从 presets/example/ 复制一份;想复用引擎,bilitube/ 下的模块可以单独拿走。

它现在还不算什么。但它把一件小事做完整了:从采集、落库、筛选、打分、生成、导出到发布,每一段都能单独解释,也能单独重跑。

如果这个系列只能留下一句话,我希望是这句:先让判断可解释,再谈判断准不准。

本文阅读--次|全站访问--次|访客--人