第 9 章:多轮,追问里的指代怎么办
"那人为损坏呢?"——六个字,没有主语,没有对象。检索系统拿到这句话,只能瞎猜。
学习目标
- 认出多轮里两类破坏检索的句子:指代和省略
- 会用查询改写把追问变成独立问题
- 知道什么时候不该改写
- 控制历史带来的 token 成本
9.1 追问为什么会崩
| 轮次 | 用户说 | 检索实际拿到的查询 | 结果 |
|---|---|---|---|
| 1 | A100 保修几年 | 完整,能检 | ✅ |
| 2 | 那人为损坏呢 | "那人为损坏呢" | ❌ 召回"人为损坏"相关的泛泛内容 |
| 3 | B200 呢 | "B200 呢" | ⚠️ 可能召回 B200 的无关段落 |
两类问题:
- 指代:"那…呢"、"这个"、"它"——主语在上一轮;
- 省略:只说了变化的部分,其余靠上下文补。
人类听懂了,因为人会自动补全。检索不会。
9.2 三种解法,只有一种真的好
| 方案 | 做法 | 问题 |
|---|---|---|
| ① 把历史全拼进查询 | 上一轮问题 + 本轮问题 一起 embedding | 向量被两句话平均,两件事都不像 |
| ② 查询改写(推荐) | 让模型把追问改写成独立问题 | 多一次 LLM 调用(可缓存) |
| ③ 历史摘要 + 改写 | 维护一份对话摘要,改写时参考 | 实现复杂,长对话收益大 |
方案①看起来省事,实际最差:一个向量同时代表两个问题,检索结果往往两边都不靠。
9.3 改写提示词要收得紧
改写最大的风险是模型自作主张:把"那 B200 呢"改写成"A100 和 B200 的保修差异"——引入了用户没问的比较。
python
REWRITE_SYSTEM = """把用户的最新一句,改写成可以独立检索的问题。
规则:
1. 只补全指代和省略的主语/对象,不新增用户没提到的条件;
2. 不改变问题类型(问保修就还是问保修,不要变成"对比");
3. 如果最新一句本身已经完整,原样返回;
4. 只输出改写后的问题,不要解释。
"""第 4 条很重要:让模型"只输出结果",否则它会在前面加一句"根据上下文,用户想问的是……",检索时就被污染了。
9.4 什么时候不该改写
| 情况 | 处理 |
|---|---|
| 首轮对话 | 不需要改写 |
| 问题本身带完整主语 | 跳过,省一次调用 |
| 用户切换了话题 | 改写会强行接上文,反而错——检测"话题跳转"很难,实用做法是让用户手动"新开话题" |
| 追问里出现新的专有名词 | 谨慎:可能确实是新对象,改写要保留新名词 |
一个低成本的判断:本轮问题长度 > 12 字且含专有名词,多半不需要改写。这能省掉一半调用。
9.5 历史怎么存
python
history = history[-6:] # 只留最近 3 轮(问+答)三条原则:
- 只留最近 N 轮:更早的内容对改写帮助极小,却持续消耗 token;
- 答案只留摘要:完整答案常常几百字,改写时用不上;
- 不把历史直接塞进生成提示词:生成阶段只用"本轮问题 + 检索片段",历史最多带最近两轮用于指代,否则模型会拿旧答案回答新问题。
9.6 多轮流程
9.7 一段可用的改写
python
def rewrite(query: str, history: list[dict], client) -> str:
if len(query) > 12 and not any(k in query for k in ["那", "这个", "它"]):
return query
ctx = "\n".join(f"Q: {h['q']}\nA: {h['a'][:80]}" for h in history[-3:])
resp = client.chat.completions.create(
model="gpt-4o-mini",
messages=[
{"role": "system", "content": REWRITE_SYSTEM},
{"role": "user", "content": f"对话历史:\n{ctx}\n\n最新一句:{query}"},
],
temperature=0,
)
return resp.choices[0].message.content.strip()temperature=0 是必须的——改写要稳定,不要创意。
9.8 三个常见坑
| 坑 | 表现 | 修法 |
|---|---|---|
| 改写引入假前提 | 用户没提"对比",改写却加了"与 B200 对比" | 收紧提示词,加"不新增条件" |
| 改写后检索还是空 | 改写把口语词换成了文档里没有的说法 | 保留用户原词,只补主语 |
| 历史越滚越长 | 第 10 轮时延迟翻倍 | 只留 3 轮 + 摘要 |
本章小结
| 要点 | 说明 |
|---|---|
| 两类破坏 | 指代、省略 |
| 方案 | 改写 > 摘要 + 改写 > 拼接历史 |
| 改写规则 | 只补全,不加条件,不换话题,只输出结果 |
| 跳过条件 | 首轮、已完整、带专有名词 |
| 历史 | 只留 3 轮,答案存摘要 |
| 温度 | 0,要稳定 |
下一章
功能闭环了,但你不知道它到底好不好。下一章建评估:50 条测试集,三个指标,一套回归。