Skip to content

第 7 章:上下文组装,决定模型读到什么 ​

检索对了,不代表模型用得上。塞进去的顺序、数量、格式,每一样都在影响答案。


学习目标 ​

  • 给上下文分配 Token 预算,而不是"能塞多少塞多少"
  • 知道片段该放在什么位置,为什么
  • 会做去重、合并与压缩
  • 写出一份约束明确、带编号的提示词

7.1 先算预算,再往里放 ​

模型的上下文窗口是有限的,而你在往里放五样东西:

组成典型占比说明
System prompt5%角色、规则、拒答策略
对话历史10–30%多轮时增长最快
检索片段40–60%本课的核心变量
输出预留15–20%必须预留,否则回答被截断
安全余量5%token 估算误差

最容易犯的错:把窗口塞满。 一旦输出被截断,用户看到的是半句话,比"少给两条材料"糟糕得多。

python
def budget(window=128000, reserve_ratio=0.18):
    return int(window * (1 - reserve_ratio))

小模型(8K–32K 窗口)尤其要算清楚:系统提示 500 token、历史 2000 token、预留 3000 token,留给片段的可能只有 2000–4000 token——大约 3–6 个中文片段。


7.2 顺序:两头强,中间弱 ​

有研究(Lost in the Middle)指出:长上下文里,位于开头和结尾的信息更容易被模型利用,中间的最容易被忽略。

所以排列顺序应当是:

[最相关的片段 1]
[次相关 2]
[相关度较低的 3、4]
[……中间是"补充材料"……]
[较相关的倒数第二]
[最相关的片段 2]

工程上的简化版(更好实现,效果也够):

  1. 按重排分数排序;
  2. 最强的两条放开头;
  3. 中间放补充材料;
  4. 次强的一条放最后(作为"再确认")。

如果你的片段总数只有 3 条,这条建议几乎没有意义——它主要针对 8 条以上的情况。


7.3 去重与合并 ​

同一个答案常常被切在相邻两段,检索会把它们都召回。直接拼进去会出现:

[2] 本产品提供三年质保,自购买之日起算,
[3] 不含人为损坏,质保期内免费上门维修。

读起来像残句。两种处理:

方法做法
按 chunk_index 合并相邻片段先拼成一段,再去重
按 section 合并同一节的片段合并成整节
python
def merge_adjacent(hits):
    hits = sorted(hits, key=lambda p: (p.payload["doc_id"], p.payload["chunk_index"]))
    merged, cur = [], []
    for p in hits:
        if cur and p.payload["chunk_index"] == cur[-1].payload["chunk_index"] + 1 \
           and p.payload["doc_id"] == cur[-1].payload["doc_id"]:
            cur.append(p)
        else:
            if cur: merged.append(cur)
            cur = [p]
    if cur: merged.append(cur)
    return ["".join(x.payload["text"] for x in group) for group in merged]

合并后片段会变长,记得重新跑一次预算检查。


7.4 压缩:留下有用的句子 ​

片段里常常只有一句是关键,其余是铺垫。三种压缩方式:

方式做法成本
丢弃低分片段只保留前 N 条零
句子级抽取按与问题的相似度挑句子一次 embedding
模型摘要让 LLM 压缩成两三句一次 LLM 调用

小项目用第一种就够。第三种要小心:摘要可能改动数字或否定词,反而制造错误。


7.5 给片段编号,为引用做准备 ​

拼进提示词时一定要带编号和来源:

[1] 来源:《A100 用户手册》第 4 章 · 第 12 页
本产品提供三年质保,自购买之日起算……

[2] 来源:《售后 FAQ》· 第 2 页
质保期内非人为损坏免费维修,人为损坏收取材料费。

编号有两个作用:模型能引用、你能核对。第 8 章整章都在讲这件事。


7.6 提示词模板 ​

python
SYSTEM = """你是文档问答助手。规则:
1. 只依据下面提供的资料回答,不要使用资料之外的知识;
2. 资料不足时,明确说"资料中没有相关信息",不要猜测;
3. 每个结论后面用 [编号] 标注来源;
4. 如果多条资料冲突,指出冲突并分别标注来源。
"""

USER = """资料:
{context}

问题:{question}
"""

三条规则对应三种常见失败:

  • "不要用资料外知识" → 防止模型拿训练数据里的旧参数答新文档;
  • "不足就说不知道" → 防止编造(比"答错"更危险);
  • "冲突要指出" → 防止模型悄悄挑一条。

7.7 组装流程 ​

一个 32K 窗口,怎么分系统 5%对话历史 30%检索片段 40%输出预留 20%灰色是"留白":实际不会塞满,塞满就意味着输出会被截断。片段在窗口里的位置,影响被利用的概率[1] 最相关放最前:模型注意力高容易被引用[2] [3] [4] 补充材料放中间:最容易被忽略只放"可能有用"的[5] 次相关放最后:再确认一次兼顾"结尾注意力"只有 3 条片段时,这条顺序建议意义不大;8 条以上时,位置差异会明显影响答案。无论怎么排,编号必须稳定:模型引用 [3],你就要能立刻找到第 3 条。

7.8 组装函数 ​

python
def assemble(hits, question, history, max_chars=6000):
    blocks = merge_adjacent(hits)
    while sum(len(b) for b in blocks) > max_chars and len(blocks) > 1:
        blocks.pop(1)                      # 从中间开始丢,保留头尾
    ctx = "\n\n".join(
        f"[{i+1}] 来源:{b['source']}\n{b['text']}" for i, b in enumerate(blocks)
    )
    return SYSTEM, f"资料:\n{ctx}\n\n问题:{question}"

注意 blocks.pop(1)——丢中间而不是丢末尾,正是 7.2 的结论。


本章小结 ​

要点说明
预算系统 5%、历史 10–30%、片段 40–60%、输出预留 15–20%
别塞满输出被截断比少给材料更糟
顺序最强放开头,次强放结尾,中间放补充
合并相邻片段先拼再算预算
压缩优先"丢低分",慎用模型摘要
编号稳定编号 + 来源,为引用做准备
提示词只用材料、不足就说不知道、冲突要指出

下一章 ​

答案出来了,但用户要的是"这句话出自哪一页"。下一章把引用做实:能点、能核对、不编造。

本文阅读--次|全站访问--次|访客--人