Skip to content

第 9 章:多轮,追问里的指代怎么办 ​

"那人为损坏呢?"——六个字,没有主语,没有对象。检索系统拿到这句话,只能瞎猜。


学习目标 ​

  • 认出多轮里两类破坏检索的句子:指代和省略
  • 会用查询改写把追问变成独立问题
  • 知道什么时候不该改写
  • 控制历史带来的 token 成本

9.1 追问为什么会崩 ​

轮次用户说检索实际拿到的查询结果
1A100 保修几年完整,能检✅
2那人为损坏呢"那人为损坏呢"❌ 召回"人为损坏"相关的泛泛内容
3B200 呢"B200 呢"⚠️ 可能召回 B200 的无关段落

两类问题:

  • 指代:"那…呢"、"这个"、"它"——主语在上一轮;
  • 省略:只说了变化的部分,其余靠上下文补。

人类听懂了,因为人会自动补全。检索不会。


9.2 三种解法,只有一种真的好 ​

方案做法问题
① 把历史全拼进查询上一轮问题 + 本轮问题 一起 embedding向量被两句话平均,两件事都不像
② 查询改写(推荐)让模型把追问改写成独立问题多一次 LLM 调用(可缓存)
③ 历史摘要 + 改写维护一份对话摘要,改写时参考实现复杂,长对话收益大

方案①看起来省事,实际最差:一个向量同时代表两个问题,检索结果往往两边都不靠。

把"六个字"补成"一句能检索的话"轮次 1"A100 保修几年"答:三年,自购买日起这一轮的提问是完整的轮次 2(追问)"那人为损坏呢?"指代:那 = 保修这件事省略:主体还是 A100直接检索 → 召回一团泛泛内容改写后(真正送去检索的)"A100 保修政策中,人为损坏是否在质保范围内?"主体、对象、关系都齐了一个向量,一个语义改写的本质:让检索看到的永远是"独立的、完整的、单语义"的一句话。代价:每轮多一次小模型调用。用便宜的快模型 + 缓存,成本可以忽略。风险:改写可能"补错主语"。所以改写只做补全,不换话题、不加新条件。

9.3 改写提示词要收得紧 ​

改写最大的风险是模型自作主张:把"那 B200 呢"改写成"A100 和 B200 的保修差异"——引入了用户没问的比较。

python
REWRITE_SYSTEM = """把用户的最新一句,改写成可以独立检索的问题。
规则:
1. 只补全指代和省略的主语/对象,不新增用户没提到的条件;
2. 不改变问题类型(问保修就还是问保修,不要变成"对比");
3. 如果最新一句本身已经完整,原样返回;
4. 只输出改写后的问题,不要解释。
"""

第 4 条很重要:让模型"只输出结果",否则它会在前面加一句"根据上下文,用户想问的是……",检索时就被污染了。


9.4 什么时候不该改写 ​

情况处理
首轮对话不需要改写
问题本身带完整主语跳过,省一次调用
用户切换了话题改写会强行接上文,反而错——检测"话题跳转"很难,实用做法是让用户手动"新开话题"
追问里出现新的专有名词谨慎:可能确实是新对象,改写要保留新名词

一个低成本的判断:本轮问题长度 > 12 字且含专有名词,多半不需要改写。这能省掉一半调用。


9.5 历史怎么存 ​

python
history = history[-6:]           # 只留最近 3 轮(问+答)

三条原则:

  • 只留最近 N 轮:更早的内容对改写帮助极小,却持续消耗 token;
  • 答案只留摘要:完整答案常常几百字,改写时用不上;
  • 不把历史直接塞进生成提示词:生成阶段只用"本轮问题 + 检索片段",历史最多带最近两轮用于指代,否则模型会拿旧答案回答新问题。

9.6 多轮流程 ​


9.7 一段可用的改写 ​

python
def rewrite(query: str, history: list[dict], client) -> str:
    if len(query) > 12 and not any(k in query for k in ["那", "这个", "它"]):
        return query
    ctx = "\n".join(f"Q: {h['q']}\nA: {h['a'][:80]}" for h in history[-3:])
    resp = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[
            {"role": "system", "content": REWRITE_SYSTEM},
            {"role": "user", "content": f"对话历史:\n{ctx}\n\n最新一句:{query}"},
        ],
        temperature=0,
    )
    return resp.choices[0].message.content.strip()

temperature=0 是必须的——改写要稳定,不要创意。


9.8 三个常见坑 ​

坑表现修法
改写引入假前提用户没提"对比",改写却加了"与 B200 对比"收紧提示词,加"不新增条件"
改写后检索还是空改写把口语词换成了文档里没有的说法保留用户原词,只补主语
历史越滚越长第 10 轮时延迟翻倍只留 3 轮 + 摘要

本章小结 ​

要点说明
两类破坏指代、省略
方案改写 > 摘要 + 改写 > 拼接历史
改写规则只补全,不加条件,不换话题,只输出结果
跳过条件首轮、已完整、带专有名词
历史只留 3 轮,答案存摘要
温度0,要稳定

下一章 ​

功能闭环了,但你不知道它到底好不好。下一章建评估:50 条测试集,三个指标,一套回归。

本文阅读--次|全站访问--次|访客--人