第 10 章:评估,别再凭感觉调参
"感觉好多了"是最贵的判断。它让你在三个月里改了十几次,却说不清哪一次真的有用。
学习目标
- 分清检索层、生成层、产品层三层指标
- 建一个 50 条规模、能长期复用的测试集
- 会跑自动评估,也知道它的偏差在哪
- 把评估变成"改一次、跑一次"的回归流程
10.1 三层指标,别混着看
调参的正确顺序是从下往上:检索层没达标,优化生成层毫无意义——模型再强,也答不出没给它的材料。
10.2 建测试集:50 条就够
选题原则(这条最重要,比数量重要):
| 类型 | 占比 | 例子 |
|---|---|---|
| 日常问法 | 40% | "保修多久""怎么退货" |
| 长尾/具体型号 | 20% | "A100 和 B200 的保修差异" |
| 带编号/错误码 | 15% | "E1101 是什么" |
| 否定与条件 | 15% | "哪些情况不在保修范围" |
| 资料里没有的 | 10% | "你们支持以旧换新吗"(考拒答) |
最后那 10% 必须有。只测"能答对"的测试集,永远发现不了编造。
标注格式:
json
[
{
"q": "A100 保修几年",
"gold_ids": ["a100_p12_c03"],
"gold_answer": "三年,自购买之日起算,人为损坏除外",
"type": "日常"
}
]gold_ids 可以花半天人工标 50 条——这半天能省掉后面三个月的瞎调。
10.3 自动评估:能自动的都自动
检索层(完全自动):
python
def eval_retrieval(retrieve_fn, golden, k=20):
hit, rr = 0, 0.0
for item in golden:
ids = [p.id for p in retrieve_fn(item["q"], k)]
if any(g in ids for g in item["gold_ids"]):
hit += 1
first = min(ids.index(g) for g in item["gold_ids"] if g in ids)
rr += 1 / (first + 1)
return hit / len(golden), rr / len(golden) # recall@k, MRR生成层(半自动):两种做法
| 做法 | 说明 | 偏差 |
|---|---|---|
| 引用校验(第 8 章) | 每句结论能否在所引片段里找到依据 | 抓到"无依据",抓不到"答偏" |
| LLM 裁判 | 让另一个模型给答案打分(faithfulness 等) | 有偏好,成本高,需抽样校准 |
业界常用的 RAGAS 提供 faithfulness、context precision/recall 等指标,实现细节随版本变化,接入前以官方文档为准。
务实做法:把"引用校验通过率"当作 faithfulness 的廉价代理,先用起来。
10.4 人工评估:小样本,双人
- 抽 20 条,两个人独立打分(1–5 分:正确性、完整性、可核验性);
- 计算一致率,低于 70% 说明评分标准写得不够清楚;
- 分歧最大的那几条,往往暴露了产品定义上的模糊("部分正确"算不算对?)。
人工评估不用每月做,改了大版本做一次即可。
10.5 回归:把它变成习惯
bash
python eval.py --golden golden.jsonl --tag v1.3-contextual-prefix每次改动记录三样:改了什么、指标怎么变、延迟怎么变。
v1.1 基线 recall@20 0.72 recall@3 0.46 延迟 480ms
v1.2 切分 600→400 recall@20 0.81 recall@3 0.58 延迟 470ms
v1.3 加重排 recall@20 0.81 recall@3 0.79 延迟 940ms这张表比任何"感觉"都有说服力。而且它会让一个反直觉的事实显形:加了重排 recall@3 大涨,但延迟翻倍——值不值,要业务方一起决定。
10.6 评估流程
10.7 指标怎么读
| 现象 | 可能的含义 |
|---|---|
| recall@20 高,recall@3 低 | 排序有问题,该上重排 |
| recall@20 低 | 切分或解析坏了,先回去查 |
| faithfulness 高但拒答率也高 | 提示词太保守,或召回质量差导致"没材料" |
| 引用校验通过率高但用户差评 | 材料本身过时/错误——评估集没覆盖 |
| 指标全绿但延迟 3 秒 | 评估没算延迟,产品体验另说 |
最后一条要单独强调:评估要同时看质量和延迟,只测质量的评估会把你推向"越堆越重"。
本章小结
| 要点 | 说明 |
|---|---|
| 三层指标 | 检索、生成、产品,从下往上优化 |
| 测试集 | 50 条,必须含 10% "资料里没有" |
| 检索层 | 完全自动,recall@k + MRR |
| 生成层 | 引用校验(廉价)+ LLM 裁判(抽样) |
| 人工 | 20 条双人,看一致率 |
| 回归 | 每次记录改动、指标、延迟 |
| 读指标 | 分清"排序问题"和"检索问题" |
下一章
质量达标了,但一问要两秒、一天要花几十块。下一章算账:成本与延迟怎么压下来。