第 8 章:引用,让答案可以被核对
没有引用的 RAG,本质上是一个"语气很确定的搜索框"。引用把"信我"变成"你自己看"。
学习目标
- 说清引用的三个作用:可核查、可拒答、可追责
- 让模型稳定输出"结论 + 编号",而不是偶尔想起来标一下
- 会做引用校验,抓出"引用了不存在的依据"
- 设计一个用户能用的展示方式
8.1 引用解决三个真问题
| 问题 | 有引用之后 |
|---|---|
| 用户不信 | 点开就能看到原文那一段 |
| 模型编造 | 编的内容往往找不到可引用的片段,暴露出来 |
| 责任不清 | 出错时能定位是文档错了、切分错了还是模型编了 |
第三个尤其重要:RAG 出事故时,引用是唯一的定位工具。
8.2 三种引用粒度
| 粒度 | 展示 | 成本 |
|---|---|---|
| 文档级 | 《A100 手册》 | 最低,但等于没说 |
| 章节级 | 第 4 章 · 4.2 质保 | 中,够用 |
| 片段级 + 页码 | 第 12 页第 3 段,可高亮 | 最高,体验最好 |
建议至少到章节级,能做到片段级就做——第 3 章要求带的 section、page、char_start 就是为这一步准备的。
8.3 让模型稳定标号
只靠"请标注来源"的提示词,输出会时标时不标。三种更可靠的做法:
① 受控编号
规则:每个结论后必须紧跟 [n],n 只能取 1 到 {N}。
不允许写书名、页码、链接。② 结构化输出
python
from pydantic import BaseModel
class Claim(BaseModel):
text: str
cites: list[int]
class Answer(BaseModel):
answer: str
claims: list[Claim]
insufficient: bool用 JSON 模式或 Function Calling(Lv2 结构化输出课讲过)强制结构。这样每条论断都带 cites,缺了就是格式错误,可以重试。
③ 后置校验(必做)
模型说"质保三年[1]",就去检查片段 1 里到底有没有"三年质保"。
python
def verify_citations(claims, blocks, threshold=0.55):
bad = []
for c in claims:
for n in c.cites:
if not (1 <= n <= len(blocks)):
bad.append((c, n, "编号越界"))
continue
if similarity(c.text, blocks[n-1]["text"]) < threshold:
bad.append((c, n, "片段中找不到依据"))
return bad命中 bad 的处理:重问一次、降级为"无引用回答"、或直接告诉用户"这条结论未能在资料中找到依据"。
8.4 拒答也是能力
模型最危险的行为不是答错,是在没依据时给出一个像样的答案。
python
INSUFFICIENT_RULES = """
如果资料中没有直接支持答案的内容:
- 回答"资料中没有相关信息";
- 可以列出"最接近的相关内容",并标明它只能作为参考;
- 不要用常识补全,不要推断数字。
"""产品上还要给用户出口:显示"未找到"时,附上最接近的 2–3 条片段,让用户自己判断——这比一个空白的"抱歉"有用得多。
8.5 校验流程
8.6 前端怎么展示
| 元素 | 做法 |
|---|---|
| 角标 | 上标数字,颜色统一,别用链接蓝(会和正文链接混) |
| 悬浮卡 | 显示书名、章节、页码、片段原文前 80 字 |
| 跳转 | 有原文件就跳到页码;没有就展开完整片段 |
| 无依据标记 | 该句加浅色下划线 + 提示"未能核验" |
一个细节:角标编号要按出现顺序重排。模型可能先写 [3] 再写 [1],前端应重编号为 [1][2],否则用户会困惑。
8.7 输出结构
json
{
"answer": "本产品提供三年质保,自购买之日起算[1]。人为损坏不在质保范围内[2]。",
"claims": [
{"text": "本产品提供三年质保,自购买之日起算", "cites": [1]},
{"text": "人为损坏不在质保范围内", "cites": [2]}
],
"insufficient": false,
"sources": [
{"n": 1, "doc": "A100 用户手册", "section": "4.2 质保", "page": 12},
{"n": 2, "doc": "售后 FAQ", "section": "免责条款", "page": 3}
]
}sources 由服务端从元数据生成,不经过模型——这是防编造的最后一道闸。
本章小结
| 要点 | 说明 |
|---|---|
| 引用三作用 | 可核查、可拒答、可追责 |
| 粒度 | 至少章节级,最好片段级 + 页码 |
| 受控编号 | 只让模型输出 [n],书名页码由服务端填 |
| 强制结构 | JSON + claims,缺 cites 就是格式错 |
| 后置校验 | 编号越界、片段无依据,都要抓 |
| 拒答 | 资料不足要明说,并给最接近内容 |
| 前端 | 角标 + 悬浮卡 + 可跳转 + 无依据标记 |
下一章
单轮问答做完了,但用户会追问。"那人为损坏呢?"——这句话里没有主语,检索直接崩。下一章讲多轮。