Skip to content

第 8 章:引用,让答案可以被核对 ​

没有引用的 RAG,本质上是一个"语气很确定的搜索框"。引用把"信我"变成"你自己看"。


学习目标 ​

  • 说清引用的三个作用:可核查、可拒答、可追责
  • 让模型稳定输出"结论 + 编号",而不是偶尔想起来标一下
  • 会做引用校验,抓出"引用了不存在的依据"
  • 设计一个用户能用的展示方式

8.1 引用解决三个真问题 ​

问题有引用之后
用户不信点开就能看到原文那一段
模型编造编的内容往往找不到可引用的片段,暴露出来
责任不清出错时能定位是文档错了、切分错了还是模型编了

第三个尤其重要:RAG 出事故时,引用是唯一的定位工具。


8.2 三种引用粒度 ​

粒度展示成本
文档级《A100 手册》最低,但等于没说
章节级第 4 章 · 4.2 质保中,够用
片段级 + 页码第 12 页第 3 段,可高亮最高,体验最好

建议至少到章节级,能做到片段级就做——第 3 章要求带的 section、page、char_start 就是为这一步准备的。

一个角标,背后连着五样数据片段(库里的)id: a100_p12_c03doc_id / section / pagechar_start / char_end提示词里的编号[1] [2] [3]按顺序,可回落答案里的角标"质保三年[1]"模型只输出编号前端还原"《A100 手册》4.2 · 第 12 页"点击 → 原文位置高亮编号 → 片段 → 元数据关键设计:让模型只输出编号,不让它写书名和页码。页码由你从元数据里取,模型没有机会编。模型若被要求"写出处",它会在没有依据时也凑一个像样的页码——这是最常见的幻觉形式。编号是受控词表:只允许 [1]–[N],超出范围就是编的,可程序化拒绝。

8.3 让模型稳定标号 ​

只靠"请标注来源"的提示词,输出会时标时不标。三种更可靠的做法:

① 受控编号

规则:每个结论后必须紧跟 [n],n 只能取 1 到 {N}。
不允许写书名、页码、链接。

② 结构化输出

python
from pydantic import BaseModel

class Claim(BaseModel):
    text: str
    cites: list[int]

class Answer(BaseModel):
    answer: str
    claims: list[Claim]
    insufficient: bool

用 JSON 模式或 Function Calling(Lv2 结构化输出课讲过)强制结构。这样每条论断都带 cites,缺了就是格式错误,可以重试。

③ 后置校验(必做)

模型说"质保三年[1]",就去检查片段 1 里到底有没有"三年质保"。

python
def verify_citations(claims, blocks, threshold=0.55):
    bad = []
    for c in claims:
        for n in c.cites:
            if not (1 <= n <= len(blocks)):
                bad.append((c, n, "编号越界"))
                continue
            if similarity(c.text, blocks[n-1]["text"]) < threshold:
                bad.append((c, n, "片段中找不到依据"))
    return bad

命中 bad 的处理:重问一次、降级为"无引用回答"、或直接告诉用户"这条结论未能在资料中找到依据"。


8.4 拒答也是能力 ​

模型最危险的行为不是答错,是在没依据时给出一个像样的答案。

python
INSUFFICIENT_RULES = """
如果资料中没有直接支持答案的内容:
- 回答"资料中没有相关信息";
- 可以列出"最接近的相关内容",并标明它只能作为参考;
- 不要用常识补全,不要推断数字。
"""

产品上还要给用户出口:显示"未找到"时,附上最接近的 2–3 条片段,让用户自己判断——这比一个空白的"抱歉"有用得多。


8.5 校验流程 ​


8.6 前端怎么展示 ​

元素做法
角标上标数字,颜色统一,别用链接蓝(会和正文链接混)
悬浮卡显示书名、章节、页码、片段原文前 80 字
跳转有原文件就跳到页码;没有就展开完整片段
无依据标记该句加浅色下划线 + 提示"未能核验"

一个细节:角标编号要按出现顺序重排。模型可能先写 [3] 再写 [1],前端应重编号为 [1][2],否则用户会困惑。


8.7 输出结构 ​

json
{
  "answer": "本产品提供三年质保,自购买之日起算[1]。人为损坏不在质保范围内[2]。",
  "claims": [
    {"text": "本产品提供三年质保,自购买之日起算", "cites": [1]},
    {"text": "人为损坏不在质保范围内", "cites": [2]}
  ],
  "insufficient": false,
  "sources": [
    {"n": 1, "doc": "A100 用户手册", "section": "4.2 质保", "page": 12},
    {"n": 2, "doc": "售后 FAQ", "section": "免责条款", "page": 3}
  ]
}

sources 由服务端从元数据生成,不经过模型——这是防编造的最后一道闸。


本章小结 ​

要点说明
引用三作用可核查、可拒答、可追责
粒度至少章节级,最好片段级 + 页码
受控编号只让模型输出 [n],书名页码由服务端填
强制结构JSON + claims,缺 cites 就是格式错
后置校验编号越界、片段无依据,都要抓
拒答资料不足要明说,并给最接近内容
前端角标 + 悬浮卡 + 可跳转 + 无依据标记

下一章 ​

单轮问答做完了,但用户会追问。"那人为损坏呢?"——这句话里没有主语,检索直接崩。下一章讲多轮。

本文阅读--次|全站访问--次|访客--人