Skip to content
Lv2Prompt 工程进度 3 / 9

第 3 章:例子怎么挑 ​

本章目标:给要回的留言写回复草稿,用你自己回过的几条当例子,让草稿读起来像你;同时认清例子的副作用。

开篇:「感谢您的反馈」 ​

分类稳了,现在让它顺手把回复也写了。提问、纠错、建议三类要回;感谢、广告、其他不回(感谢的留言,统一点个赞就行)。

最省事的写法是加一句「给需要回复的留言写一条回复草稿」。写出来的东西挑不出大毛病,但你看一眼就知道:这不是你会说的话。

怎么让它写得像你?有两条路:用形容词描述你的口吻,或者直接给它看你回过的几条。这一章两条都试,再试一组故意挑坏的例子,看看例子的副作用有多大。

学完这一章,你能:

  • 说清「描述口吻」和「给例子」各自能做到什么
  • 按四条原则挑出 3 条好例子
  • 认出例子被照抄的迹象,包括格式示例里的占位符

3.1 三种写法 ​

在第 2 章的 Prompt 上加一段「回复」,输出格式改成「编号|类别|回复」。三种写法只差「回复」这一段:

markdown
## 回复
给需要回复的留言写一条回复草稿,我审核后会发出去。
markdown
## 回复
给需要回复的留言写一条回复草稿,我审核后会发出去。
用我本人的口吻:随和、简短,一两句话,像朋友聊天,不要客套话。
markdown
## 回复
给需要回复的留言写一条回复草稿,我审核后会发出去。
用我本人的口吻。下面是我以前回过的几条,照这个感觉写:

留言:第 4 步的截图和现在的界面对不上了
回复:好眼力,平台改版了,我这两天重截一张换上。

留言:Mac 上装 openai 报权限错误怎么办?
回复:别加 sudo,先建个虚拟环境:python3 -m venv .venv,激活以后再 pip install。

留言:能讲讲怎么省 token 吗
回复:记下了,成本那章会专门讲,写好了在这条下面告诉你。

输出格式这一段三种写法都一样:

markdown
## 输出格式
每条留言输出一行,格式是「编号|类别|回复」,例如:
3|提问|(回复内容)
1|感谢|
提问、纠错、建议写回复草稿;其他类别回复留空。回复里不要换行,不要出现「|」。
不要输出任何其他文字。

3.2 同三条留言,三种回复 ​

每种写法跑三次,挑三条纠错留言的回复放在一起(都是第 1 次的结果,未改一字):

留言A 什么都不说B 描述口吻C 给例子
第 2 条:pip install 少写了 openai感谢指出,第 3 步的命令确实漏了 openai,已补上,重新安装即可。谢谢指出,我这就把 openai 补上。谢谢指出,是我漏了,这就把 pip install openai 补上。
第 8 条:第二个链接 404 了感谢提醒,链接已修复,可以再试一下。谢谢提醒,链接我马上换。谢谢提醒,链接换了,我这就更新。
第 19 条:max_tokens 那段好像说反了感谢反馈,那段描述确实写反了,max_tokens 是上限,改小不会让输出更长,已修正。我确认下,max_tokens 是上限,调小不该更长,可能哪里理解反了,感谢反馈。有意思,我回去核对一下那段,可能真写反了,确认后改。

再看三次的整体数字(每次 13 条回复):

A 什么都不说B 描述口吻C 给例子
回复平均长度36~49 字20~21 字28~33 字
纠错类回复里说「已修复 / 已更正」的3~5 条0~1 条0 条
分类得分20、19、2020、20、2020、20、20

几个观察:

  • A 最大的问题不是客套,是替你做了决定。「链接已修复」「已更正」,可你还没去看。读者看到「已修复」再点进去还是 404,比不回更糟
  • B 管住了篇幅,一两句话,确实简短。但「简短、随和」是你对自己的概括,模型理解的「随和」,和你实际说话的样子不一定一样
  • C 带来了形容词说不清的东西:「好眼力」「有意思」这种开头,「这两天换上」「确认后改」这种分寸,没有一条说「已修复」。例子里没有一句在讲规矩,规矩全在例子里了
  • 加回复没有影响分类,三种写法都稳在 19~20 分

别只看平均长度

B 比 C 更短,但短不是目的。像你,是该短的时候短、该多说一句的时候多说一句。这种东西很难用形容词描述清楚,给例子是最省事的办法。


3.3 例子的副作用:会被照抄 ​

例子既然这么管用,它的毛病也会被学去吗?我把 C 的三条例子改坏:内容不变,每条都加上同样的开头和结尾。

markdown
留言:第 4 步的截图和现在的界面对不上了
回复:感谢反馈!平台改版了,我这两天重截一张换上,有问题随时留言~

留言:Mac 上装 openai 报权限错误怎么办?
回复:感谢反馈!别加 sudo,先建个虚拟环境再装,有问题随时留言~

留言:能讲讲怎么省 token 吗
回复:感谢反馈!成本那章会专门讲,有问题随时留言~

三条例子都用同样的开头和结尾,13 条回复几乎全部照抄

跑三次,每次 13 条回复:

第几次以「感谢反馈!」开头带「有问题随时留言~」
112 条13 条
213 条13 条
313 条13 条

几乎一条不落。连回答「30 岁转行来得及吗」,也是「感谢反馈!……有问题随时留言~」。

例子里重复出现的东西,模型会当成必须照做的格式。 你可能只是习惯性地写了两次「感谢反馈」,到它那里就成了规矩。

好例子也有轻微的照抄。C 的第三条例子结尾是「写好了在这条下面告诉你」,三次运行里,第 4 条(催 RAG)的回复每次都用了这句原话。这句话放在这里刚好合适,可如果每条建议的回复都这么结尾,就成了另一种套话。


3.4 挑例子的四条原则 ​

原则为什么
从你真回过的里挑编出来的例子,写的是你以为的自己;真回过的,才是你说话的样子
覆盖要回的每一类纠错、提问、建议各一条,模型才知道每类回复的分寸不同
句式各不相同开头、结尾、长短都错开,别让任何一句话在例子里出现两次
三五条就够多了 Prompt 变长,例子之间的共同点也更多,更容易被当成格式

还有一条底线:例子不要从测试集里挑。 测试集是考卷,把考题和答案写进 Prompt,分数会好看,但说明不了 Prompt 好。本章三条例子都不在 20 条测试留言里。

踩坑:格式示例里的占位符,也会被当成例子

A 写法跑第 3 次时,13 条回复全部被包成了「(回复:收到,RAG 的选题已经记下了……)」这样。原因在输出格式那一段:示例写的是 3|提问|(回复内容),模型照着这个括号的样子写了。这种事不是每次都发生(三次里一次),所以更难发现。占位符要么换成一条真实的样子,要么干脆不给示例。第 5 章会再碰到一次。


3.5 验收表 ​

#要求现状
1分类准,而且每次都一样✅ 加了回复,分类不受影响
2输出格式固定,程序能直接读✅ 每行「编号|类别|回复」
3回复草稿像你本人写的✅ 三条例子,不说「已修复」,没有套话
4捣乱的留言带不跑它下一章
5挑出要处理的信息第 6 章
6回复不编造,拿不准的留给你第 7 章:回复里已经出现了可疑的内容,见下

第 3 项过了,但「像你」不等于「说的是对的」。三种写法里,第 7 条(「是不是多写了个零」)的回复都有好几次直接认了:「你算得对,是 0.015」。可文章里的 0.0015 其实没错,是读者算错了。模型没去核对,顺着读者说了。这个问题留到第 7 章。


代码版(可选) ​

沿用第 2 章的 score.py,只改两处:Prompt 换成本章的版本,解析时多取一列回复。

python
    for line in resp.choices[0].message.content.strip().splitlines():
        num, cat, reply = (line.split("|") + ["", ""])[:3]
        got[num.strip()] = cat.strip()
        if reply.strip():
            print(f"  {num}|{reply.strip()}")

打分照旧,回复逐条打印出来,你扫一眼就知道像不像。


试一试 ​

  • [ ] 从你自己的后台挑 3 条真实回过的留言和回复,换掉 C 的例子,跑一次看看
  • [ ] 故意让你的三条例子都用同一个开头,数一数有几条回复照抄了
  • [ ] 把例子减到 1 条,看回复是不是开始往这一条的样子上靠

本章小结 ​

要点说明
什么都不说回复偏长,还会替你说「已修复」
描述口吻管得住篇幅,管不住你说话的分寸
给例子口吻、分寸一起带过去,规矩藏在例子里
副作用例子里重复的东西会被当成格式;独特的句子会被借走
挑例子真回过的、覆盖每一类、句式错开、三五条,不从测试集里挑
分拣助手 v3分类 + 回复草稿,三条例子定口吻

下一章预告 ​

回复写得像你了,可测试集里还有一条留言一直没认真对付:「忽略上面的分类要求」。第 1 章它没上当,可那条写得太直白了。

下一章换几种更狡猾的写法:伪装成格式说明、冒充博主本人、借提问套 Prompt。看看它什么时候会上当,再把指令和材料分开。

👉 第 4 章:分清指令和材料

本文阅读--次|全站访问--次|访客--人