Skip to content
Lv2Prompt 工程进度 7 / 9

第 7 章:别让它编 ​

本章目标:给写回复的那一步一份常见问题清单,规定回复里的事实只能从清单和留言原文里来;清单答不了的,干净利落地交给你。

开篇:它不知道,但它很会说 ​

上一章末尾那几条回复,挑出来再看一眼:

  • 「我身边好几个三十出头才转的」:你身边可能一个都没有
  • 「确实是 0.015,文中多写了个零」:文章里的 0.0015 是对的
  • 「正文里我写了取数口径」:周报生成器里根本没有这东西

模型不是在撒谎。它不知道你身边有谁、文章里写的数对不对、你打不打算录视频。你让它「像你一样回复」,它就只能往像的方向编。

所以解决办法不是在 Prompt 里多写一句「不要编造」,而是给它一份它能说的东西,再规定只能说这些。

学完这一章,你能:

  • 写一份给模型用的常见问题清单
  • 写清「能说什么、不能说什么」的规矩
  • 用一个判断字段,让模型把答不了的问题干净地交出来

7.1 先写一份清单 ​

把你平时回留言时反复说的话整理出来。不用多,先把测试集里出现过的问题覆盖到:

text
1. Python 版本:课程代码都在 Python 3.10 上测过;更早的版本没测过,建议升到 3.10 以上。
2. 环境变量:临时设置见《大模型 API 调用》第 1 章,长期保存(含 Windows)见第 6 章。
3. 每次结果都不一样:模型每次都是重新生成,有差异是正常的;想更稳定,看《大模型 API 调用》第 3 章。
4. 勘误:读者指出的错,我核对过再改,改了会在文末「更新记录」里写一笔。
5. 选题和催更:想看的选题都记进选题池;RAG 正在写,属于 Lv4 的课。不承诺具体日期。
6. 视频版:暂时没有计划。
7. 商务合作、互推:不接。

注意第 4 条:它不是一个答案,是一种处理方式。读者说文章错了,你没核对之前,正确的回复只能是「我去核对」,而不是「你说得对」或「你算错了」。

转行要不要趁早,这份清单里没有,也不该有:每个人情况不同,这种问题你得亲自回。


7.2 第一版:清单 + 三条规矩 ​

在第 3 步(写回复)的 Prompt 里,「## 口吻」前面加一段:

markdown
## 能说什么
回复里的事实,只能来自下面这份常见问题清单和留言原文:

<faq>
(上面那份清单)
</faq>

- 清单里没有答案的问题,不要自己回答,整条回复只写「需人工」
- 纠错类:只说会去核对,不判断读者说得对不对,不说「已改」「已修复」「补上了」
- 不替我编经历、编数据、编原因

清单也用标签包起来,和第 4 章包留言的道理一样:让模型分清哪段是材料。

跑三次,编造的问题几乎都没了。第 7、11、14 条的回复变成了这样(第 1 次,未改一字):

text
7  收到,我去核对一下这个数字,确认后会在文末更新记录里说明。
11 没设置错,模型每次都是重新生成,结果有差异是正常的;想更稳定的话可以看《大模型 API 调用》第 3 章。
14 没测过 3.8,建议升到 3.10 以上,课程代码都是在 3.10 上测的。

但第 17 条(转行)三次三个样:

第几次第 17 条的回复
1这事清单里没有,我答不了,得人工回你。
2这事清单里没有答案,需人工。
330 岁转行完全来得及,关键是把 Python 基础打牢,建议直接用 3.10 以上的版本,课程代码都是在这上面测过的。

第 1 次意思对了,但没写「需人工」三个字,程序认不出来,这条回复会被当成草稿发给读者。第 3 次干脆答了,还把清单第 1 条硬塞了进去。三次里只有一次是程序能用的。


7.3 再强调一遍?没用 ​

第一反应是把规矩写得更狠:

markdown
- 清单里没有答案的问题,不要自己回答,也不要解释为什么答不了,只输出三个字:需人工

为了看清楚,只拿第 17 条单独跑 10 次:

结果次数例子
写了「需人工」,但前面加了解释8清单里没有关于转行年龄的答案,这条需人工回复。
没写「需人工」1清单里没有转行相关的内容,这条我答不了,需要你本人来判断怎么回。
直接答了1清单里没有关于年龄和转行的答案,得我自己来答:30 岁转行做 AI 应用开发,来得及……

「只输出三个字」一次都没做到。原因在 Prompt 自己身上:同一条 Prompt 里还写着「用我本人的口吻,一两句话」,还有三条例子在示范怎么好好说话。两条规矩打架,模型就两边都照顾一点:既想交出去,又想解释一句,偶尔还忍不住答了。


7.4 把判断单独拎出来 ​

换个思路:别让「交给你」藏在回复正文里,而是让模型先下一个判断,再写回复。输出改成两栏:

markdown
## 输出
先判断清单和留言原文够不够回答这条留言,再只输出一行,二选一:
能答|回复正文
需人工|
回复里不要换行,不要加引号,不要输出任何其他文字。

规矩里那条也改成一句平实的话:「清单里没有答案的问题,不要自己回答,交给我来回」。

回复只能用清单和留言原文;先判断够不够答,够就写草稿,不够就标需人工交给你

第 17 条单独跑 10 次:10 次都是 需人工|,一个多余的字都没有。

这和第 5 章那个提示是同一个道理:判断放在答案前面,模型先想清楚再动笔。判断变成一个固定的栏位,就不再和「好好说话」的要求抢地方;程序拿第一栏做判断,也不用去猜回复里有没有那三个字。

但放到整条流水线里跑三次,又冒出新问题:它变得太谨慎了。 第 7、14、15 条清单明明能答,有时也被标成「需人工」,每次多出一两条。纠错类最明显:清单第 4 条只说「核对过再改」,它拿不准这算不算「答案」。

再补一句,把纠错类说死:

markdown
纠错类一律算能答:照清单第 4 条,说会去核对就行。

再跑三次:

第 6 章(没有清单)本章最终版
14 条回复里说了它不可能知道的事5、5、50、0、0
第 17 条交给你0 / 33 / 3
能答却被交给你的—0、0、1(第 3 次的第 23 条,那条本来就夹带了索要规则的要求)
每次花费约 0.017 元约 0.026 元

花费涨了一半:清单要随每条留言发一遍,14 次调用就是 14 份清单。


7.5 前后对照 ​

同样几条留言,第 6 章和本章最终版的回复(都是真实输出,未改一字):

留言第 6 章:没有清单本章:有清单
第 3 条:环境变量怎么永久保存用 setx 就能永久保存,比如 setx PATH "%PATH%;新路径"……临时设置可以看《大模型 API 调用》第 1 章,Windows 下永久保存看第 6 章,那里有具体步骤。
第 7 条:是不是多写了个零我重新核了一遍,确实是 0.015,文中多写了个零……收到,我这就核对一下这里是不是多写了个零,确认后会在文末「更新记录」里说明。
第 14 条:3.8 能跑吗能跑,3.8 及以上都行……没在 3.8 上测过,课程代码都是在 3.10 上测的,建议升到 3.10 以上再跑。
第 17 条:30 岁转行来得及,我身边好几个三十出头才转的……需人工
第 20 条:能出视频版吗好主意……我先把这篇的要点录一版视频版暂时没有计划,这点记下了,先以文字为主哈。

第 3 条值得多看一眼。setx PATH "%PATH%;新路径" 是网上流传很广的写法,但在 Windows 上有个老坑:超过 1024 个字符的 PATH 会被截断。读者照着做,可能把自己的 PATH 弄坏。有清单之后,回复只是把读者引到你写过、验证过的那一章。


7.6 还剩下什么 ​

第 6 关过了,但不是零风险:

  • 清单外的小话还会冒出来。 第 10 条(坐等下一篇)的回复,三次里有两次说下一篇「已经在写了」「正在写」,清单里只说 RAG 在写。这种话无伤大雅,但不一定是真的。处理单上你过一眼就好
  • 清单要跟着长。 第 17 条你亲自回过一次以后,如果以后还会常被问,就把你的回答写进清单
  • 清单本身要对。 模型会忠实地复述清单。清单写错了,它就一本正经地把错的发出去

还有一点:第 3 章的例子里,第二条回复教读者「先建个虚拟环境」,这也是一条清单外的事实。例子是你亲自写的,所以没问题;但要知道,例子里的内容,模型也会当成能说的东西。


7.7 验收表 ​

#要求现状
1分类准,而且每次都一样✅
2输出格式固定,程序能直接读✅ 第 3 步多了「能答 / 需人工」判断栏
3回复草稿像你本人写的✅
4捣乱的留言带不跑它✅
5挑出要处理的信息✅
6回复不编造,拿不准的留给你✅ 编造 5 → 0;转行问题 3 次都交给你

六关都过了。下一章把它们装进一个脚本,再用全部 8 条捣乱留言做一次期末考。


试一试 ​

  • [ ] 把你自己回留言时最常说的五句话写成清单,换掉本章的清单
  • [ ] 删掉「纠错类一律算能答」那句,跑三次,数一数多出几条「需人工」
  • [ ] 往清单里故意写错一条(比如把 3.10 写成 3.6),看回复会不会照着说错

踩坑:「不要编造」这四个字几乎没用

模型不觉得自己在编,它觉得自己在「用博主的口吻回复」。有用的是三样东西:给它能说的材料(清单),说清哪些话不能替你说(认错、承诺、经历),让「答不了」有一个固定的出口(判断栏)。


本章小结 ​

要点说明
为什么会编让它像你一样回复,它又不知道你的情况,只能往像的方向编
常见问题清单你反复说的话;有的条目是答案,有的是处理方式(勘误先核对)
能说什么事实只来自清单和留言原文;不认错、不承诺、不编经历
判断栏「能答|回复」或「需人工|」,比「只输出三个字」可靠得多
别太谨慎加了判断栏会多转人工;把能答的类别说死
分拣助手 v7第 3 步加清单和判断栏;编造 5 → 0,花费 0.017 → 0.026 元

下一章预告 ​

七章下来,Prompt 改了七版,测试集考了上百次。下一章把这一切收拢:三条最终版 Prompt、一个清单、一个一百来行的脚本,跑一次生成一份「留言处理单」。

再用全部 8 条捣乱留言做期末考,把改动记录从 v1 理到最终版。

👉 第 8 章:综合实战:分拣助手完工

本文阅读--次|全站访问--次|访客--人