第 2 章:消息结构——模型其实没有记忆
本章目标:弄懂
messages这张清单,给周报生成器定下固定规矩,并让它在上一版的基础上修改。
开篇:「再精简一点」,精简什么?
上一章的周报生成器有个毛病:想让它「精简一点」,只能改代码里那句问题,整个重跑。
那直接再调一次 API,只发一句「再精简一点」行不行?不行。模型会反问你:要精简什么?
在网页上聊天时,你说「再精简一点」,它是知道你在说哪份周报的。换成 API,它就不知道了。这一章讲清楚为什么,以及怎么补上。
学完这一章,你能:
- 说清
system、user、assistant三种角色各管什么 - 自己拼出多轮对话,让模型「记得」上一轮
- 用 system 给周报定规矩,把 600 多字符压到 200 字左右
2.1 一个实验:它记得我是谁吗
连着调两次 API,第一次自我介绍,第二次问名字。下面是真实运行的结果:
| 第几次调用 | 发过去的 | 模型的回答 |
|---|---|---|
| 1 | 我叫小陈,是一名后端工程师。 | 你好,小陈!很高兴认识你……(后面还列了五条它能帮的事) |
| 2 | 我叫什么名字? | 我不知道你的名字。你还没有告诉我。 |
模型没有记忆。 每一次调用都是独立的,它只看得到这一次你发过去的内容。第一次说过的话,第二次它完全不知道。
那网页版为什么记得?因为网页在背后替你做了一件事:每次你发新消息,它都把之前的整段聊天记录一起发过去。
2.2 messages 是一张清单
上一章代码里的 messages,就是这张「一起发过去」的清单。清单里每一条都有一个角色:
| 角色 | 谁写的 | 管什么 | 周报生成器里放什么 |
|---|---|---|---|
system | 你 | 长期规矩:你是谁、按什么要求干活 | 「只按记录写,不超过 300 字」 |
user | 你 | 这一次要它处理的内容 | 本周的 notes.md |
assistant | 模型 | 它之前的回答 | 它写的第一版周报 |
2.3 把记忆拼回去
知道了原理,补记忆就是往清单里追加两条:上一轮模型的回答(assistant),加上你的新问题(user)。
history = [{"role": "user", "content": "我叫小陈,是一名后端工程师。"}]
resp = client.chat.completions.create(model="deepseek-flash", messages=history)
history.append({"role": "assistant", "content": resp.choices[0].message.content}) # 把它的回答放回去
history.append({"role": "user", "content": "我叫什么名字?"}) # 再问新问题
resp = client.chat.completions.create(model="deepseek-flash", messages=history)
print(resp.choices[0].message.content)2
3
4
5
6
7
这次的回答是:
你叫小陈。同一个问题,单独问是 34 个输入 token,带上历史变成 93 个。记忆不是免费的:你拼进去的每一个字,模型都要重新读一遍,也要算钱。这一点第 5 章细算。
2.4 周报生成器 v2:先用 system 定规矩
回到周报。上一章的输出有三个毛病:太长、加了「汇报人:[姓名]」抬头、补了记录里没有的话。这些都是每周都适用的长期规矩,正好放进 system:
SYSTEM = """你是一名周报助手,帮工程师把一周的零散记录整理成周报。
要求:
- 只根据记录写,记录里没有的事不要补
- 不要写「汇报人」「周期」这类抬头
- 全文不超过 300 字"""
notes = Path("notes.md").read_text(encoding="utf-8")
messages = [
{"role": "system", "content": SYSTEM},
{"role": "user", "content": notes}, # user 里只放记录本身
]
resp = client.chat.completions.create(model="deepseek-flash", messages=messages)
draft = resp.choices[0].message.content
print(draft)2
3
4
5
6
7
8
9
10
11
12
13
14
15
真实输出:
本周工作:
1. 登录页偶发 500:定位为 Redis 连接池满,已将连接池调大到 50。
2. 月报导出需求:与产品对齐,需支持 Excel;已完成一半,Excel 样式待调整。
3. 代码评审:review 小王的 PR,提了 3 条意见。
4. 线上 500 复查:周四再次出现,排除连接池原因,日志显示为超时,目前在排查中。
5. 周五下午参加周会。
待跟进:线上超时问题继续定位;月报导出补齐 Excel 样式。2
3
4
5
6
7
8
9
同一份 notes.md,各跑三次,对比一下:
| 第 1 章(无 system) | 第 2 章 v2(有 system) | |
|---|---|---|
| 长度 | 593 ~ 667 字符 | 190 ~ 224 字符 |
| 「汇报人」抬头 | 有 | 没有 |
| 记录里没有的话 | 有(「持续观察线上运行情况」等) | 没有 |
为什么不把要求都写进 user
写进 user 也能用,但每周换记录时,你得小心别把规矩删了。分开放之后,SYSTEM 一次写好不再动,每周只换 notes.md。这也是后面几章往周报生成器加功能的基础:规矩归规矩,内容归内容。
2.5 在上一版的基础上改
现在可以解决开篇的问题了。把第一版放回清单,再追加修改要求:
messages.append({"role": "assistant", "content": draft})
messages.append({"role": "user", "content": "把线上问题放到最前面,再精简一点"})
resp = client.chat.completions.create(model="deepseek-flash", messages=messages)
print(resp.choices[0].message.content)2
3
4
真实输出:
1. 线上 500:周一登录页偶发 500,定位为 Redis 连接池满,已调大到 50;周四再次报 500,非连接池问题,日志显示超时,仍在排查。
2. 月报导出:与产品对齐需支持 Excel,已完成一半,样式待调。
3. 代码评审:review 小王 PR,提 3 条意见。
4. 周五下午参加周会。2
3
4
它不光把线上问题提到了第一条,还把周一和周四两次 500 合并成了一条。这就是带着上一版去改的好处:它知道自己写过什么。
踩坑:清单会越拼越长
上面第二轮调用,输入从 193 个 token 涨到了 336 个:system 和记录又发了一遍,还多了整份第一版。改三五轮问题不大;要是做一个聊天机器人、聊上一百轮,每次都把全部历史发过去,又慢又贵,还可能超出模型能读的长度。常见做法是只保留最近几轮,或者把早期的对话总结成一小段。
试一试
- [ ] 把 2.1 的实验在你那里跑一遍:分开问,再带历史问
- [ ] 往
SYSTEM里加一条「用一句话概括本周重点,放在最前面」,看输出怎么变 - [ ] 在 2.5 的基础上再追加一轮:「语气正式一点,给领导看的」
本章小结
| 要点 | 说明 |
|---|---|
| 模型没有记忆 | 每次调用独立,只看这次发去的清单 |
| 三种角色 | system 定规矩,user 放内容,assistant 是模型说过的话 |
| 多轮对话 | 把上一轮的 assistant 和新的 user 追加进清单,再发一次 |
| 周报生成器 v2 | system 定规矩,长度从 600 多字符降到 200 字左右 |
| 代价 | 历史越长,输入 token 越多,第 5 章算钱 |
下一章预告
v2 短了、干净了,但还有一个问题没解决:我又连跑了两次,第一次是 6 条编号加「待跟进」,第二次变成了「本周工作 / 进行中 / 其他」三段。规矩管住了内容,没管住格式。
下一章看看
temperature这些参数到底能管住多少,管不住的又该怎么办。