Skip to content
Lv2Prompt 工程进度 2 / 9

第 2 章:角色不是重点,标准才是 ​

本章目标:把你脑子里的分类规矩写进 Prompt,让 20 条留言每次都分对,输出的格式程序能直接读。

开篇:「你是一位资深……」 ​

上一章丢的几分,全在你没说出口的规矩上:合作邀请算不算广告,「坐等下一篇」算感谢还是催更,一个 👍 算不算感谢。

网上的 Prompt 教程,十篇里有八篇会教你第一句写「你是一位资深的 XX 专家」。这一章先把这招试一遍,再试另一种做法:把规矩一条条写出来。两种都拿同一套 20 条留言考三次,看分数说话。

学完这一章,你能:

  • 说清「角色」能改变什么、改变不了什么
  • 写出一份分类标准:每类的定义、撞车时的判断顺序、固定的输出格式
  • 用一句读者真实会说的话,把抽象的定义钉死
  • (代码版)让程序自动给输出打分

2.1 先试最流行的一招:加个角色 ​

在第 1 章那条 Prompt 前面加一句角色,别的一个字不改:

text
你是一位经验丰富的资深内容运营专家,擅长处理读者留言。

把下面这些读者留言分类,类别有:提问、纠错、建议、感谢、广告、其他。

(20 条留言)

跑三次,和第 1 章放在一起比:

第 1 章:一句话加了角色
三次得分19、18、1718、18、19
来回变的第 9、10、16 条第 10、16 条
输出长度733~837 字符821~1063 字符
格式三次三种每次都按类分组,但末尾都多了一段「补充说明」

分数没有变好。变的是语气和篇幅:三次输出末尾都多了一段「补充说明」,第一次的标题干脆写成了「补充说明(运营视角)」,替你分析哪条「建议单独标记」「可从中再拆分出去」。专家的口吻有了,你的规矩还是没有。

角色不是没用。想让回复读起来像某种人写的,它能帮上忙。但「催更算不算建议」这种问题,换谁来当专家都只能猜,因为答案只在你脑子里。


2.2 把规矩写出来 ​

不加角色,把第 1 章丢分的那几条背后的规矩,原样写进 Prompt:

markdown
把下面这些读者留言分类。

## 类别和判断标准
- 纠错:指出或怀疑文章内容有错、有遗漏、已过时(代码、命令、数字、链接、模型名等)
- 提问:向作者请教或求助,问题出在读者自己这边,没有说文章哪里错了
- 建议:希望作者以后写什么、怎么写,包括催更
- 感谢:只表达认可、感谢、支持,没有别的诉求;单独一个点赞表情也算
- 广告:推销、引流、求互关、商务合作邀请,不管说得多客气
- 其他:以上都不是,例如单纯吐槽、和博客无关的内容

## 一条留言同时像几类时
按这个顺序取最靠前的一类:广告 > 纠错 > 提问 > 建议 > 感谢 > 其他。
例如「写得好,就是图太少」既是感谢又是建议,算建议。

## 输出格式
每条留言输出一行,格式是「编号|类别」,例如:
1|感谢
不要输出任何其他文字。

## 留言
(20 条留言)

一条分类 Prompt 的四个部分,各自管住了哪几条留言

三块内容,各管一类问题:

  • 类别和判断标准:每类写一句「怎么判断」,而不是「是什么」。「纠错」和「提问」最容易混,分界线就写在定义里:问题出在文章,还是出在读者自己。第 9 条的合作邀请、第 16 条的 👍 该归哪类,这里直接写明了
  • 判断顺序:真实留言经常一句话里夸一句、提一句。只给定义不给顺序,模型每次随手挑一个
  • 输出格式:给出一行的样子,再加一句「不要输出任何其他文字」。第 1 章那种开头一句「以下按你给定的类别……」、末尾一段说明,都是这句话没写的结果

用 ## 标题把几块隔开,不是为了好看。Prompt 一长,分块写,你自己回头改也找得到地方。


2.3 考三次:19、20、19 ​

第几次得分分错的用时输出
119 / 20第 10 条0.9 秒20 行,每行「编号|类别」
220 / 20无1.3 秒同上
319 / 20第 10 条1.2 秒同上

第 9、16 条稳住了,格式三次一模一样,一个多余的字都没有。还有个顺带的好处:输出从七八百字符缩到 110 个字符,回答从三四秒缩到一秒左右,省掉的都是你不需要的废话。

但第 10 条「已三连,坐等下一篇」还在晃。标准里明明写了「包括催更」,它为什么还判成感谢?


2.4 抽象的定义,配一句具体的说法 ​

问题出在「催更」这个词上。在你看来,「坐等下一篇」就是催更;在模型看来,它更像一句表态,跟「什么时候更新」那种明着催的不一样。你和模型对同一个词的理解,不一定一样。

解决办法很简单:在定义后面,补一句读者真实会说的话。

markdown
- 建议:希望作者以后写什么、怎么写,包括催更;「坐等下一篇」「什么时候更新」这类等更新的话也算催更

只改这一行,跑五次:

第几次12345
得分20 / 2020 / 2020 / 2020 / 2020 / 20

五次全对。这一招的道理是:定义是你的概括,具体的说法才是模型能对上号的东西。 遇到总被分错的留言,先别急着改定义的措辞,给它补一句原话。

补的这句原话,其实已经是一个「例子」了。下一章会专门讲例子:它的力量比你想的大,坑也比你想的多。

踩坑:别把测试集的原话一条条抄进 Prompt

上面补的「坐等下一篇」恰好就是第 10 条的原文,这在测试集只有 20 条时很难避免。但要清楚这有作弊的嫌疑:你把考题答案写进了 Prompt,分数自然好看。更稳的做法是补同一类的别的说法(「蹲一个更新」「下篇呢」),再拿测试集考。等测试集攒到上百条,这个问题会自然变小。


2.5 格式固定了,打分交给程序 ​

第 1 章是我对着答案一条条人工数的。现在每行都是「编号|类别」,打分可以交给程序了。

学过「大模型 API 调用」的读者,把标准答案存成 answers.txt,一行写完,空格隔开:

text
感谢 纠错 提问 建议 广告 建议 纠错 纠错 广告 建议 提问 其他 其他 提问 纠错 感谢 提问 广告 纠错 建议

再把上面的 Prompt 存成 prompt_v2.md(最后一行的「(20 条留言)」换成 {comments}),新建 score.py:

python
import os
from pathlib import Path
from openai import OpenAI

client = OpenAI(api_key=os.environ["DEEPSEEK_API_KEY"], base_url="https://api.deepseek.com")

comments = Path("comments.txt").read_text(encoding="utf-8").strip()
answers = Path("answers.txt").read_text(encoding="utf-8").split()
prompt = Path("prompt_v2.md").read_text(encoding="utf-8").replace("{comments}", comments)

for run in range(1, 4):
    resp = client.chat.completions.create(
        model="deepseek-flash",
        messages=[{"role": "user", "content": prompt}],
        extra_body={"thinking": {"type": "disabled"}},
    )
    got = {}
    for line in resp.choices[0].message.content.strip().splitlines():
        num, _, cat = line.partition("|")
        got[num.strip()] = cat.strip()
    wrong = [str(i) for i, a in enumerate(answers, 1) if got.get(str(i)) != a]
    print(f"第 {run} 次:{len(answers) - len(wrong)} / {len(answers)},分错:{'、'.join(wrong) or '无'}")

运行 python score.py,几秒后:

text
第 1 次:20 / 20,分错:无
第 2 次:20 / 20,分错:无
第 3 次:20 / 20,分错:无

从这一章起,每改一版 Prompt,三秒钟就知道分数。这是后面几章敢放手改 Prompt 的底气。

网页版的读者也不难:输出只有 20 行短短的「编号|类别」,和标准答案并排一对,一分钟就数完了。


2.6 验收表 ​

#要求现状
1分类准,而且每次都一样✅ 五次都是 20 / 20
2输出格式固定,程序能直接读✅ 每行「编号|类别」,程序自动打分
3回复草稿像你本人写的下一章
4捣乱的留言带不跑它第 4 章
5挑出要处理的信息第 6 章
6回复不编造,拿不准的留给你第 7 章

试一试 ​

  • [ ] 把 2.1 的角色换成「你是一个严格的审核员」,跑三次,看分数和篇幅怎么变
  • [ ] 把「一条留言同时像几类时」整段删掉,跑三次,看第 6、19 条会不会开始晃
  • [ ] 把「不要输出任何其他文字」删掉,看输出开头会不会多出一句「以下是分类结果」

规矩写不出来怎么办

有时候你自己也说不清某条为什么该归这类。这正是好事:说明你的规矩本来就不清楚。先拿几条模棱两可的留言问自己「我平时怎么处理它」,按处理方式反推类别。分类最后是为了处理服务的:要回的、要改的、不用管的,分清这三种,类别的界线就清楚了。


本章小结 ​

要点说明
角色改变语气和篇幅,不传递你的规矩;加了之后分数没变,废话变多
标准每类写「怎么判断」,在定义里写清最容易混的两类的分界线
判断顺序一条像几类时取哪个,写成一行排序加一个例子
输出格式给出一行的样子,加「不要输出任何其他文字」;输出变短,也变快
具体说法抽象的词(催更)配一句原话,模型才对得上号
分拣助手 v2五次 20 / 20,每行「编号|类别」,程序自动打分

下一章预告 ​

分类稳了,该干正事了:给要回的留言写回复。模型写的回复挺像样,就是不像你:偏长、偏正式,还会替你说「链接已修复」。

下一章拿你自己回过的几条留言当例子,让回复读起来像你写的。也会看到例子的另一面:它的毛病,会被模型原样学去。

👉 第 3 章:例子怎么挑

本文阅读--次|全站访问--次|访客--人