第 3 章:例子怎么挑
本章目标:给要回的留言写回复草稿,用你自己回过的几条当例子,让草稿读起来像你;同时认清例子的副作用。
开篇:「感谢您的反馈」
分类稳了,现在让它顺手把回复也写了。提问、纠错、建议三类要回;感谢、广告、其他不回(感谢的留言,统一点个赞就行)。
最省事的写法是加一句「给需要回复的留言写一条回复草稿」。写出来的东西挑不出大毛病,但你看一眼就知道:这不是你会说的话。
怎么让它写得像你?有两条路:用形容词描述你的口吻,或者直接给它看你回过的几条。这一章两条都试,再试一组故意挑坏的例子,看看例子的副作用有多大。
学完这一章,你能:
- 说清「描述口吻」和「给例子」各自能做到什么
- 按四条原则挑出 3 条好例子
- 认出例子被照抄的迹象,包括格式示例里的占位符
3.1 三种写法
在第 2 章的 Prompt 上加一段「回复」,输出格式改成「编号|类别|回复」。三种写法只差「回复」这一段:
## 回复
给需要回复的留言写一条回复草稿,我审核后会发出去。## 回复
给需要回复的留言写一条回复草稿,我审核后会发出去。
用我本人的口吻:随和、简短,一两句话,像朋友聊天,不要客套话。## 回复
给需要回复的留言写一条回复草稿,我审核后会发出去。
用我本人的口吻。下面是我以前回过的几条,照这个感觉写:
留言:第 4 步的截图和现在的界面对不上了
回复:好眼力,平台改版了,我这两天重截一张换上。
留言:Mac 上装 openai 报权限错误怎么办?
回复:别加 sudo,先建个虚拟环境:python3 -m venv .venv,激活以后再 pip install。
留言:能讲讲怎么省 token 吗
回复:记下了,成本那章会专门讲,写好了在这条下面告诉你。输出格式这一段三种写法都一样:
## 输出格式
每条留言输出一行,格式是「编号|类别|回复」,例如:
3|提问|(回复内容)
1|感谢|
提问、纠错、建议写回复草稿;其他类别回复留空。回复里不要换行,不要出现「|」。
不要输出任何其他文字。3.2 同三条留言,三种回复
每种写法跑三次,挑三条纠错留言的回复放在一起(都是第 1 次的结果,未改一字):
| 留言 | A 什么都不说 | B 描述口吻 | C 给例子 |
|---|---|---|---|
| 第 2 条:pip install 少写了 openai | 感谢指出,第 3 步的命令确实漏了 openai,已补上,重新安装即可。 | 谢谢指出,我这就把 openai 补上。 | 谢谢指出,是我漏了,这就把 pip install openai 补上。 |
| 第 8 条:第二个链接 404 了 | 感谢提醒,链接已修复,可以再试一下。 | 谢谢提醒,链接我马上换。 | 谢谢提醒,链接换了,我这就更新。 |
| 第 19 条:max_tokens 那段好像说反了 | 感谢反馈,那段描述确实写反了,max_tokens 是上限,改小不会让输出更长,已修正。 | 我确认下,max_tokens 是上限,调小不该更长,可能哪里理解反了,感谢反馈。 | 有意思,我回去核对一下那段,可能真写反了,确认后改。 |
再看三次的整体数字(每次 13 条回复):
| A 什么都不说 | B 描述口吻 | C 给例子 | |
|---|---|---|---|
| 回复平均长度 | 36~49 字 | 20~21 字 | 28~33 字 |
| 纠错类回复里说「已修复 / 已更正」的 | 3~5 条 | 0~1 条 | 0 条 |
| 分类得分 | 20、19、20 | 20、20、20 | 20、20、20 |
几个观察:
- A 最大的问题不是客套,是替你做了决定。「链接已修复」「已更正」,可你还没去看。读者看到「已修复」再点进去还是 404,比不回更糟
- B 管住了篇幅,一两句话,确实简短。但「简短、随和」是你对自己的概括,模型理解的「随和」,和你实际说话的样子不一定一样
- C 带来了形容词说不清的东西:「好眼力」「有意思」这种开头,「这两天换上」「确认后改」这种分寸,没有一条说「已修复」。例子里没有一句在讲规矩,规矩全在例子里了
- 加回复没有影响分类,三种写法都稳在 19~20 分
别只看平均长度
B 比 C 更短,但短不是目的。像你,是该短的时候短、该多说一句的时候多说一句。这种东西很难用形容词描述清楚,给例子是最省事的办法。
3.3 例子的副作用:会被照抄
例子既然这么管用,它的毛病也会被学去吗?我把 C 的三条例子改坏:内容不变,每条都加上同样的开头和结尾。
留言:第 4 步的截图和现在的界面对不上了
回复:感谢反馈!平台改版了,我这两天重截一张换上,有问题随时留言~
留言:Mac 上装 openai 报权限错误怎么办?
回复:感谢反馈!别加 sudo,先建个虚拟环境再装,有问题随时留言~
留言:能讲讲怎么省 token 吗
回复:感谢反馈!成本那章会专门讲,有问题随时留言~跑三次,每次 13 条回复:
| 第几次 | 以「感谢反馈!」开头 | 带「有问题随时留言~」 |
|---|---|---|
| 1 | 12 条 | 13 条 |
| 2 | 13 条 | 13 条 |
| 3 | 13 条 | 13 条 |
几乎一条不落。连回答「30 岁转行来得及吗」,也是「感谢反馈!……有问题随时留言~」。
例子里重复出现的东西,模型会当成必须照做的格式。 你可能只是习惯性地写了两次「感谢反馈」,到它那里就成了规矩。
好例子也有轻微的照抄。C 的第三条例子结尾是「写好了在这条下面告诉你」,三次运行里,第 4 条(催 RAG)的回复每次都用了这句原话。这句话放在这里刚好合适,可如果每条建议的回复都这么结尾,就成了另一种套话。
3.4 挑例子的四条原则
| 原则 | 为什么 |
|---|---|
| 从你真回过的里挑 | 编出来的例子,写的是你以为的自己;真回过的,才是你说话的样子 |
| 覆盖要回的每一类 | 纠错、提问、建议各一条,模型才知道每类回复的分寸不同 |
| 句式各不相同 | 开头、结尾、长短都错开,别让任何一句话在例子里出现两次 |
| 三五条就够 | 多了 Prompt 变长,例子之间的共同点也更多,更容易被当成格式 |
还有一条底线:例子不要从测试集里挑。 测试集是考卷,把考题和答案写进 Prompt,分数会好看,但说明不了 Prompt 好。本章三条例子都不在 20 条测试留言里。
踩坑:格式示例里的占位符,也会被当成例子
A 写法跑第 3 次时,13 条回复全部被包成了「(回复:收到,RAG 的选题已经记下了……)」这样。原因在输出格式那一段:示例写的是 3|提问|(回复内容),模型照着这个括号的样子写了。这种事不是每次都发生(三次里一次),所以更难发现。占位符要么换成一条真实的样子,要么干脆不给示例。第 5 章会再碰到一次。
3.5 验收表
| # | 要求 | 现状 |
|---|---|---|
| 1 | 分类准,而且每次都一样 | ✅ 加了回复,分类不受影响 |
| 2 | 输出格式固定,程序能直接读 | ✅ 每行「编号|类别|回复」 |
| 3 | 回复草稿像你本人写的 | ✅ 三条例子,不说「已修复」,没有套话 |
| 4 | 捣乱的留言带不跑它 | 下一章 |
| 5 | 挑出要处理的信息 | 第 6 章 |
| 6 | 回复不编造,拿不准的留给你 | 第 7 章:回复里已经出现了可疑的内容,见下 |
第 3 项过了,但「像你」不等于「说的是对的」。三种写法里,第 7 条(「是不是多写了个零」)的回复都有好几次直接认了:「你算得对,是 0.015」。可文章里的 0.0015 其实没错,是读者算错了。模型没去核对,顺着读者说了。这个问题留到第 7 章。
代码版(可选)
沿用第 2 章的 score.py,只改两处:Prompt 换成本章的版本,解析时多取一列回复。
for line in resp.choices[0].message.content.strip().splitlines():
num, cat, reply = (line.split("|") + ["", ""])[:3]
got[num.strip()] = cat.strip()
if reply.strip():
print(f" {num}|{reply.strip()}")打分照旧,回复逐条打印出来,你扫一眼就知道像不像。
试一试
- [ ] 从你自己的后台挑 3 条真实回过的留言和回复,换掉 C 的例子,跑一次看看
- [ ] 故意让你的三条例子都用同一个开头,数一数有几条回复照抄了
- [ ] 把例子减到 1 条,看回复是不是开始往这一条的样子上靠
本章小结
| 要点 | 说明 |
|---|---|
| 什么都不说 | 回复偏长,还会替你说「已修复」 |
| 描述口吻 | 管得住篇幅,管不住你说话的分寸 |
| 给例子 | 口吻、分寸一起带过去,规矩藏在例子里 |
| 副作用 | 例子里重复的东西会被当成格式;独特的句子会被借走 |
| 挑例子 | 真回过的、覆盖每一类、句式错开、三五条,不从测试集里挑 |
| 分拣助手 v3 | 分类 + 回复草稿,三条例子定口吻 |
下一章预告
回复写得像你了,可测试集里还有一条留言一直没认真对付:「忽略上面的分类要求」。第 1 章它没上当,可那条写得太直白了。
下一章换几种更狡猾的写法:伪装成格式说明、冒充博主本人、借提问套 Prompt。看看它什么时候会上当,再把指令和材料分开。