Skip to content

第 10 章:评估,别再凭感觉调参 ​

"感觉好多了"是最贵的判断。它让你在三个月里改了十几次,却说不清哪一次真的有用。


学习目标 ​

  • 分清检索层、生成层、产品层三层指标
  • 建一个 50 条规模、能长期复用的测试集
  • 会跑自动评估,也知道它的偏差在哪
  • 把评估变成"改一次、跑一次"的回归流程

10.1 三层指标,别混着看 ​

越往下越接近"用户真实感受"产品层:它到底有没有用解决率 / 平均轮次 / 拒答率 / 用户反馈要线上数据,慢,但最真生成层:答得忠不忠于材料faithfulness / 相关性 / 引用可核验需要人工或 LLM 裁判检索层:该出现的有没有出现recall@k / MRR / 排序质量可自动,最快,最该先做改切分、改 K、改重排,看检索层;改提示词、改模型,看生成层;上线后看产品层。

调参的正确顺序是从下往上:检索层没达标,优化生成层毫无意义——模型再强,也答不出没给它的材料。


10.2 建测试集:50 条就够 ​

选题原则(这条最重要,比数量重要):

类型占比例子
日常问法40%"保修多久""怎么退货"
长尾/具体型号20%"A100 和 B200 的保修差异"
带编号/错误码15%"E1101 是什么"
否定与条件15%"哪些情况不在保修范围"
资料里没有的10%"你们支持以旧换新吗"(考拒答)

最后那 10% 必须有。只测"能答对"的测试集,永远发现不了编造。

标注格式:

json
[
  {
    "q": "A100 保修几年",
    "gold_ids": ["a100_p12_c03"],
    "gold_answer": "三年,自购买之日起算,人为损坏除外",
    "type": "日常"
  }
]

gold_ids 可以花半天人工标 50 条——这半天能省掉后面三个月的瞎调。


10.3 自动评估:能自动的都自动 ​

检索层(完全自动):

python
def eval_retrieval(retrieve_fn, golden, k=20):
    hit, rr = 0, 0.0
    for item in golden:
        ids = [p.id for p in retrieve_fn(item["q"], k)]
        if any(g in ids for g in item["gold_ids"]):
            hit += 1
            first = min(ids.index(g) for g in item["gold_ids"] if g in ids)
            rr += 1 / (first + 1)
    return hit / len(golden), rr / len(golden)     # recall@k, MRR

生成层(半自动):两种做法

做法说明偏差
引用校验(第 8 章)每句结论能否在所引片段里找到依据抓到"无依据",抓不到"答偏"
LLM 裁判让另一个模型给答案打分(faithfulness 等)有偏好,成本高,需抽样校准

业界常用的 RAGAS 提供 faithfulness、context precision/recall 等指标,实现细节随版本变化,接入前以官方文档为准。

务实做法:把"引用校验通过率"当作 faithfulness 的廉价代理,先用起来。


10.4 人工评估:小样本,双人 ​

  • 抽 20 条,两个人独立打分(1–5 分:正确性、完整性、可核验性);
  • 计算一致率,低于 70% 说明评分标准写得不够清楚;
  • 分歧最大的那几条,往往暴露了产品定义上的模糊("部分正确"算不算对?)。

人工评估不用每月做,改了大版本做一次即可。


10.5 回归:把它变成习惯 ​

bash
python eval.py --golden golden.jsonl --tag v1.3-contextual-prefix

每次改动记录三样:改了什么、指标怎么变、延迟怎么变。

v1.1 基线            recall@20 0.72  recall@3 0.46  延迟 480ms
v1.2 切分 600→400     recall@20 0.81  recall@3 0.58  延迟 470ms
v1.3 加重排           recall@20 0.81  recall@3 0.79  延迟 940ms

这张表比任何"感觉"都有说服力。而且它会让一个反直觉的事实显形:加了重排 recall@3 大涨,但延迟翻倍——值不值,要业务方一起决定。


10.6 评估流程 ​


10.7 指标怎么读 ​

现象可能的含义
recall@20 高,recall@3 低排序有问题,该上重排
recall@20 低切分或解析坏了,先回去查
faithfulness 高但拒答率也高提示词太保守,或召回质量差导致"没材料"
引用校验通过率高但用户差评材料本身过时/错误——评估集没覆盖
指标全绿但延迟 3 秒评估没算延迟,产品体验另说

最后一条要单独强调:评估要同时看质量和延迟,只测质量的评估会把你推向"越堆越重"。


本章小结 ​

要点说明
三层指标检索、生成、产品,从下往上优化
测试集50 条,必须含 10% "资料里没有"
检索层完全自动,recall@k + MRR
生成层引用校验(廉价)+ LLM 裁判(抽样)
人工20 条双人,看一致率
回归每次记录改动、指标、延迟
读指标分清"排序问题"和"检索问题"

下一章 ​

质量达标了,但一问要两秒、一天要花几十块。下一章算账:成本与延迟怎么压下来。

本文阅读--次|全站访问--次|访客--人