第 7 章:别让它编
本章目标:给写回复的那一步一份常见问题清单,规定回复里的事实只能从清单和留言原文里来;清单答不了的,干净利落地交给你。
开篇:它不知道,但它很会说
上一章末尾那几条回复,挑出来再看一眼:
- 「我身边好几个三十出头才转的」:你身边可能一个都没有
- 「确实是 0.015,文中多写了个零」:文章里的 0.0015 是对的
- 「正文里我写了取数口径」:周报生成器里根本没有这东西
模型不是在撒谎。它不知道你身边有谁、文章里写的数对不对、你打不打算录视频。你让它「像你一样回复」,它就只能往像的方向编。
所以解决办法不是在 Prompt 里多写一句「不要编造」,而是给它一份它能说的东西,再规定只能说这些。
学完这一章,你能:
- 写一份给模型用的常见问题清单
- 写清「能说什么、不能说什么」的规矩
- 用一个判断字段,让模型把答不了的问题干净地交出来
7.1 先写一份清单
把你平时回留言时反复说的话整理出来。不用多,先把测试集里出现过的问题覆盖到:
1. Python 版本:课程代码都在 Python 3.10 上测过;更早的版本没测过,建议升到 3.10 以上。
2. 环境变量:临时设置见《大模型 API 调用》第 1 章,长期保存(含 Windows)见第 6 章。
3. 每次结果都不一样:模型每次都是重新生成,有差异是正常的;想更稳定,看《大模型 API 调用》第 3 章。
4. 勘误:读者指出的错,我核对过再改,改了会在文末「更新记录」里写一笔。
5. 选题和催更:想看的选题都记进选题池;RAG 正在写,属于 Lv4 的课。不承诺具体日期。
6. 视频版:暂时没有计划。
7. 商务合作、互推:不接。注意第 4 条:它不是一个答案,是一种处理方式。读者说文章错了,你没核对之前,正确的回复只能是「我去核对」,而不是「你说得对」或「你算错了」。
转行要不要趁早,这份清单里没有,也不该有:每个人情况不同,这种问题你得亲自回。
7.2 第一版:清单 + 三条规矩
在第 3 步(写回复)的 Prompt 里,「## 口吻」前面加一段:
## 能说什么
回复里的事实,只能来自下面这份常见问题清单和留言原文:
<faq>
(上面那份清单)
</faq>
- 清单里没有答案的问题,不要自己回答,整条回复只写「需人工」
- 纠错类:只说会去核对,不判断读者说得对不对,不说「已改」「已修复」「补上了」
- 不替我编经历、编数据、编原因清单也用标签包起来,和第 4 章包留言的道理一样:让模型分清哪段是材料。
跑三次,编造的问题几乎都没了。第 7、11、14 条的回复变成了这样(第 1 次,未改一字):
7 收到,我去核对一下这个数字,确认后会在文末更新记录里说明。
11 没设置错,模型每次都是重新生成,结果有差异是正常的;想更稳定的话可以看《大模型 API 调用》第 3 章。
14 没测过 3.8,建议升到 3.10 以上,课程代码都是在 3.10 上测的。但第 17 条(转行)三次三个样:
| 第几次 | 第 17 条的回复 |
|---|---|
| 1 | 这事清单里没有,我答不了,得人工回你。 |
| 2 | 这事清单里没有答案,需人工。 |
| 3 | 30 岁转行完全来得及,关键是把 Python 基础打牢,建议直接用 3.10 以上的版本,课程代码都是在这上面测过的。 |
第 1 次意思对了,但没写「需人工」三个字,程序认不出来,这条回复会被当成草稿发给读者。第 3 次干脆答了,还把清单第 1 条硬塞了进去。三次里只有一次是程序能用的。
7.3 再强调一遍?没用
第一反应是把规矩写得更狠:
- 清单里没有答案的问题,不要自己回答,也不要解释为什么答不了,只输出三个字:需人工为了看清楚,只拿第 17 条单独跑 10 次:
| 结果 | 次数 | 例子 |
|---|---|---|
| 写了「需人工」,但前面加了解释 | 8 | 清单里没有关于转行年龄的答案,这条需人工回复。 |
| 没写「需人工」 | 1 | 清单里没有转行相关的内容,这条我答不了,需要你本人来判断怎么回。 |
| 直接答了 | 1 | 清单里没有关于年龄和转行的答案,得我自己来答:30 岁转行做 AI 应用开发,来得及…… |
「只输出三个字」一次都没做到。原因在 Prompt 自己身上:同一条 Prompt 里还写着「用我本人的口吻,一两句话」,还有三条例子在示范怎么好好说话。两条规矩打架,模型就两边都照顾一点:既想交出去,又想解释一句,偶尔还忍不住答了。
7.4 把判断单独拎出来
换个思路:别让「交给你」藏在回复正文里,而是让模型先下一个判断,再写回复。输出改成两栏:
## 输出
先判断清单和留言原文够不够回答这条留言,再只输出一行,二选一:
能答|回复正文
需人工|
回复里不要换行,不要加引号,不要输出任何其他文字。规矩里那条也改成一句平实的话:「清单里没有答案的问题,不要自己回答,交给我来回」。
第 17 条单独跑 10 次:10 次都是 需人工|,一个多余的字都没有。
这和第 5 章那个提示是同一个道理:判断放在答案前面,模型先想清楚再动笔。判断变成一个固定的栏位,就不再和「好好说话」的要求抢地方;程序拿第一栏做判断,也不用去猜回复里有没有那三个字。
但放到整条流水线里跑三次,又冒出新问题:它变得太谨慎了。 第 7、14、15 条清单明明能答,有时也被标成「需人工」,每次多出一两条。纠错类最明显:清单第 4 条只说「核对过再改」,它拿不准这算不算「答案」。
再补一句,把纠错类说死:
纠错类一律算能答:照清单第 4 条,说会去核对就行。再跑三次:
| 第 6 章(没有清单) | 本章最终版 | |
|---|---|---|
| 14 条回复里说了它不可能知道的事 | 5、5、5 | 0、0、0 |
| 第 17 条交给你 | 0 / 3 | 3 / 3 |
| 能答却被交给你的 | — | 0、0、1(第 3 次的第 23 条,那条本来就夹带了索要规则的要求) |
| 每次花费 | 约 0.017 元 | 约 0.026 元 |
花费涨了一半:清单要随每条留言发一遍,14 次调用就是 14 份清单。
7.5 前后对照
同样几条留言,第 6 章和本章最终版的回复(都是真实输出,未改一字):
| 留言 | 第 6 章:没有清单 | 本章:有清单 |
|---|---|---|
| 第 3 条:环境变量怎么永久保存 | 用 setx 就能永久保存,比如 setx PATH "%PATH%;新路径"…… | 临时设置可以看《大模型 API 调用》第 1 章,Windows 下永久保存看第 6 章,那里有具体步骤。 |
| 第 7 条:是不是多写了个零 | 我重新核了一遍,确实是 0.015,文中多写了个零…… | 收到,我这就核对一下这里是不是多写了个零,确认后会在文末「更新记录」里说明。 |
| 第 14 条:3.8 能跑吗 | 能跑,3.8 及以上都行…… | 没在 3.8 上测过,课程代码都是在 3.10 上测的,建议升到 3.10 以上再跑。 |
| 第 17 条:30 岁转行 | 来得及,我身边好几个三十出头才转的…… | 需人工 |
| 第 20 条:能出视频版吗 | 好主意……我先把这篇的要点录一版 | 视频版暂时没有计划,这点记下了,先以文字为主哈。 |
第 3 条值得多看一眼。setx PATH "%PATH%;新路径" 是网上流传很广的写法,但在 Windows 上有个老坑:超过 1024 个字符的 PATH 会被截断。读者照着做,可能把自己的 PATH 弄坏。有清单之后,回复只是把读者引到你写过、验证过的那一章。
7.6 还剩下什么
第 6 关过了,但不是零风险:
- 清单外的小话还会冒出来。 第 10 条(坐等下一篇)的回复,三次里有两次说下一篇「已经在写了」「正在写」,清单里只说 RAG 在写。这种话无伤大雅,但不一定是真的。处理单上你过一眼就好
- 清单要跟着长。 第 17 条你亲自回过一次以后,如果以后还会常被问,就把你的回答写进清单
- 清单本身要对。 模型会忠实地复述清单。清单写错了,它就一本正经地把错的发出去
还有一点:第 3 章的例子里,第二条回复教读者「先建个虚拟环境」,这也是一条清单外的事实。例子是你亲自写的,所以没问题;但要知道,例子里的内容,模型也会当成能说的东西。
7.7 验收表
| # | 要求 | 现状 |
|---|---|---|
| 1 | 分类准,而且每次都一样 | ✅ |
| 2 | 输出格式固定,程序能直接读 | ✅ 第 3 步多了「能答 / 需人工」判断栏 |
| 3 | 回复草稿像你本人写的 | ✅ |
| 4 | 捣乱的留言带不跑它 | ✅ |
| 5 | 挑出要处理的信息 | ✅ |
| 6 | 回复不编造,拿不准的留给你 | ✅ 编造 5 → 0;转行问题 3 次都交给你 |
六关都过了。下一章把它们装进一个脚本,再用全部 8 条捣乱留言做一次期末考。
试一试
- [ ] 把你自己回留言时最常说的五句话写成清单,换掉本章的清单
- [ ] 删掉「纠错类一律算能答」那句,跑三次,数一数多出几条「需人工」
- [ ] 往清单里故意写错一条(比如把 3.10 写成 3.6),看回复会不会照着说错
踩坑:「不要编造」这四个字几乎没用
模型不觉得自己在编,它觉得自己在「用博主的口吻回复」。有用的是三样东西:给它能说的材料(清单),说清哪些话不能替你说(认错、承诺、经历),让「答不了」有一个固定的出口(判断栏)。
本章小结
| 要点 | 说明 |
|---|---|
| 为什么会编 | 让它像你一样回复,它又不知道你的情况,只能往像的方向编 |
| 常见问题清单 | 你反复说的话;有的条目是答案,有的是处理方式(勘误先核对) |
| 能说什么 | 事实只来自清单和留言原文;不认错、不承诺、不编经历 |
| 判断栏 | 「能答|回复」或「需人工|」,比「只输出三个字」可靠得多 |
| 别太谨慎 | 加了判断栏会多转人工;把能答的类别说死 |
| 分拣助手 v7 | 第 3 步加清单和判断栏;编造 5 → 0,花费 0.017 → 0.026 元 |
下一章预告
七章下来,Prompt 改了七版,测试集考了上百次。下一章把这一切收拢:三条最终版 Prompt、一个清单、一个一百来行的脚本,跑一次生成一份「留言处理单」。
再用全部 8 条捣乱留言做期末考,把改动记录从 v1 理到最终版。