第 7 章:上下文组装,决定模型读到什么
检索对了,不代表模型用得上。塞进去的顺序、数量、格式,每一样都在影响答案。
学习目标
- 给上下文分配 Token 预算,而不是"能塞多少塞多少"
- 知道片段该放在什么位置,为什么
- 会做去重、合并与压缩
- 写出一份约束明确、带编号的提示词
7.1 先算预算,再往里放
模型的上下文窗口是有限的,而你在往里放五样东西:
| 组成 | 典型占比 | 说明 |
|---|---|---|
| System prompt | 5% | 角色、规则、拒答策略 |
| 对话历史 | 10–30% | 多轮时增长最快 |
| 检索片段 | 40–60% | 本课的核心变量 |
| 输出预留 | 15–20% | 必须预留,否则回答被截断 |
| 安全余量 | 5% | token 估算误差 |
最容易犯的错:把窗口塞满。 一旦输出被截断,用户看到的是半句话,比"少给两条材料"糟糕得多。
python
def budget(window=128000, reserve_ratio=0.18):
return int(window * (1 - reserve_ratio))小模型(8K–32K 窗口)尤其要算清楚:系统提示 500 token、历史 2000 token、预留 3000 token,留给片段的可能只有 2000–4000 token——大约 3–6 个中文片段。
7.2 顺序:两头强,中间弱
有研究(Lost in the Middle)指出:长上下文里,位于开头和结尾的信息更容易被模型利用,中间的最容易被忽略。
所以排列顺序应当是:
[最相关的片段 1]
[次相关 2]
[相关度较低的 3、4]
[……中间是"补充材料"……]
[较相关的倒数第二]
[最相关的片段 2]工程上的简化版(更好实现,效果也够):
- 按重排分数排序;
- 最强的两条放开头;
- 中间放补充材料;
- 次强的一条放最后(作为"再确认")。
如果你的片段总数只有 3 条,这条建议几乎没有意义——它主要针对 8 条以上的情况。
7.3 去重与合并
同一个答案常常被切在相邻两段,检索会把它们都召回。直接拼进去会出现:
[2] 本产品提供三年质保,自购买之日起算,
[3] 不含人为损坏,质保期内免费上门维修。读起来像残句。两种处理:
| 方法 | 做法 |
|---|---|
| 按 chunk_index 合并 | 相邻片段先拼成一段,再去重 |
| 按 section 合并 | 同一节的片段合并成整节 |
python
def merge_adjacent(hits):
hits = sorted(hits, key=lambda p: (p.payload["doc_id"], p.payload["chunk_index"]))
merged, cur = [], []
for p in hits:
if cur and p.payload["chunk_index"] == cur[-1].payload["chunk_index"] + 1 \
and p.payload["doc_id"] == cur[-1].payload["doc_id"]:
cur.append(p)
else:
if cur: merged.append(cur)
cur = [p]
if cur: merged.append(cur)
return ["".join(x.payload["text"] for x in group) for group in merged]合并后片段会变长,记得重新跑一次预算检查。
7.4 压缩:留下有用的句子
片段里常常只有一句是关键,其余是铺垫。三种压缩方式:
| 方式 | 做法 | 成本 |
|---|---|---|
| 丢弃低分片段 | 只保留前 N 条 | 零 |
| 句子级抽取 | 按与问题的相似度挑句子 | 一次 embedding |
| 模型摘要 | 让 LLM 压缩成两三句 | 一次 LLM 调用 |
小项目用第一种就够。第三种要小心:摘要可能改动数字或否定词,反而制造错误。
7.5 给片段编号,为引用做准备
拼进提示词时一定要带编号和来源:
[1] 来源:《A100 用户手册》第 4 章 · 第 12 页
本产品提供三年质保,自购买之日起算……
[2] 来源:《售后 FAQ》· 第 2 页
质保期内非人为损坏免费维修,人为损坏收取材料费。编号有两个作用:模型能引用、你能核对。第 8 章整章都在讲这件事。
7.6 提示词模板
python
SYSTEM = """你是文档问答助手。规则:
1. 只依据下面提供的资料回答,不要使用资料之外的知识;
2. 资料不足时,明确说"资料中没有相关信息",不要猜测;
3. 每个结论后面用 [编号] 标注来源;
4. 如果多条资料冲突,指出冲突并分别标注来源。
"""
USER = """资料:
{context}
问题:{question}
"""三条规则对应三种常见失败:
- "不要用资料外知识" → 防止模型拿训练数据里的旧参数答新文档;
- "不足就说不知道" → 防止编造(比"答错"更危险);
- "冲突要指出" → 防止模型悄悄挑一条。
7.7 组装流程
7.8 组装函数
python
def assemble(hits, question, history, max_chars=6000):
blocks = merge_adjacent(hits)
while sum(len(b) for b in blocks) > max_chars and len(blocks) > 1:
blocks.pop(1) # 从中间开始丢,保留头尾
ctx = "\n\n".join(
f"[{i+1}] 来源:{b['source']}\n{b['text']}" for i, b in enumerate(blocks)
)
return SYSTEM, f"资料:\n{ctx}\n\n问题:{question}"注意 blocks.pop(1)——丢中间而不是丢末尾,正是 7.2 的结论。
本章小结
| 要点 | 说明 |
|---|---|
| 预算 | 系统 5%、历史 10–30%、片段 40–60%、输出预留 15–20% |
| 别塞满 | 输出被截断比少给材料更糟 |
| 顺序 | 最强放开头,次强放结尾,中间放补充 |
| 合并 | 相邻片段先拼再算预算 |
| 压缩 | 优先"丢低分",慎用模型摘要 |
| 编号 | 稳定编号 + 来源,为引用做准备 |
| 提示词 | 只用材料、不足就说不知道、冲突要指出 |
下一章
答案出来了,但用户要的是"这句话出自哪一页"。下一章把引用做实:能点、能核对、不编造。