Skip to content

第 2 章:消息结构——模型其实没有记忆 ​

本章目标:弄懂 messages 这张清单,给周报生成器定下固定规矩,并让它在上一版的基础上修改。

开篇:「再精简一点」,精简什么? ​

上一章的周报生成器有个毛病:想让它「精简一点」,只能改代码里那句问题,整个重跑。

那直接再调一次 API,只发一句「再精简一点」行不行?不行。模型会反问你:要精简什么?

在网页上聊天时,你说「再精简一点」,它是知道你在说哪份周报的。换成 API,它就不知道了。这一章讲清楚为什么,以及怎么补上。

学完这一章,你能:

  • 说清 system、user、assistant 三种角色各管什么
  • 自己拼出多轮对话,让模型「记得」上一轮
  • 用 system 给周报定规矩,把 600 多字符压到 200 字左右

2.1 一个实验:它记得我是谁吗 ​

连着调两次 API,第一次自我介绍,第二次问名字。下面是真实运行的结果:

第几次调用发过去的模型的回答
1我叫小陈,是一名后端工程师。你好,小陈!很高兴认识你……(后面还列了五条它能帮的事)
2我叫什么名字?我不知道你的名字。你还没有告诉我。

模型没有记忆。 每一次调用都是独立的,它只看得到这一次你发过去的内容。第一次说过的话,第二次它完全不知道。

那网页版为什么记得?因为网页在背后替你做了一件事:每次你发新消息,它都把之前的整段聊天记录一起发过去。


2.2 messages 是一张清单 ​

上一章代码里的 messages,就是这张「一起发过去」的清单。清单里每一条都有一个角色:

角色谁写的管什么周报生成器里放什么
system你长期规矩:你是谁、按什么要求干活「只按记录写,不超过 300 字」
user你这一次要它处理的内容本周的 notes.md
assistant模型它之前的回答它写的第一版周报

每次调用都发一整张清单:第 1 次两条,第 2 次四条,多出来的 assistant 那条就是记忆


2.3 把记忆拼回去 ​

知道了原理,补记忆就是往清单里追加两条:上一轮模型的回答(assistant),加上你的新问题(user)。

python
history = [{"role": "user", "content": "我叫小陈,是一名后端工程师。"}]
resp = client.chat.completions.create(model="deepseek-flash", messages=history)

history.append({"role": "assistant", "content": resp.choices[0].message.content})  # 把它的回答放回去
history.append({"role": "user", "content": "我叫什么名字?"})                        # 再问新问题
resp = client.chat.completions.create(model="deepseek-flash", messages=history)
print(resp.choices[0].message.content)

这次的回答是:

text
你叫小陈。

同一个问题,单独问是 34 个输入 token,带上历史变成 93 个。记忆不是免费的:你拼进去的每一个字,模型都要重新读一遍,也要算钱。这一点第 5 章细算。


2.4 周报生成器 v2:先用 system 定规矩 ​

回到周报。上一章的输出有三个毛病:太长、加了「汇报人:[姓名]」抬头、补了记录里没有的话。这些都是每周都适用的长期规矩,正好放进 system:

python
SYSTEM = """你是一名周报助手,帮工程师把一周的零散记录整理成周报。
要求:
- 只根据记录写,记录里没有的事不要补
- 不要写「汇报人」「周期」这类抬头
- 全文不超过 300 字"""

notes = Path("notes.md").read_text(encoding="utf-8")

messages = [
    {"role": "system", "content": SYSTEM},
    {"role": "user", "content": notes},   # user 里只放记录本身
]
resp = client.chat.completions.create(model="deepseek-flash", messages=messages)
draft = resp.choices[0].message.content
print(draft)

真实输出:

markdown
本周工作:

1. 登录页偶发 500:定位为 Redis 连接池满,已将连接池调大到 50。
2. 月报导出需求:与产品对齐,需支持 Excel;已完成一半,Excel 样式待调整。
3. 代码评审:review 小王的 PR,提了 3 条意见。
4. 线上 500 复查:周四再次出现,排除连接池原因,日志显示为超时,目前在排查中。
5. 周五下午参加周会。

待跟进:线上超时问题继续定位;月报导出补齐 Excel 样式。

同一份 notes.md,各跑三次,对比一下:

第 1 章(无 system)第 2 章 v2(有 system)
长度593 ~ 667 字符190 ~ 224 字符
「汇报人」抬头有没有
记录里没有的话有(「持续观察线上运行情况」等)没有

为什么不把要求都写进 user

写进 user 也能用,但每周换记录时,你得小心别把规矩删了。分开放之后,SYSTEM 一次写好不再动,每周只换 notes.md。这也是后面几章往周报生成器加功能的基础:规矩归规矩,内容归内容。


2.5 在上一版的基础上改 ​

现在可以解决开篇的问题了。把第一版放回清单,再追加修改要求:

python
messages.append({"role": "assistant", "content": draft})
messages.append({"role": "user", "content": "把线上问题放到最前面,再精简一点"})
resp = client.chat.completions.create(model="deepseek-flash", messages=messages)
print(resp.choices[0].message.content)

真实输出:

markdown
1. 线上 500:周一登录页偶发 500,定位为 Redis 连接池满,已调大到 50;周四再次报 500,非连接池问题,日志显示超时,仍在排查。
2. 月报导出:与产品对齐需支持 Excel,已完成一半,样式待调。
3. 代码评审:review 小王 PR,提 3 条意见。
4. 周五下午参加周会。

它不光把线上问题提到了第一条,还把周一和周四两次 500 合并成了一条。这就是带着上一版去改的好处:它知道自己写过什么。

踩坑:清单会越拼越长

上面第二轮调用,输入从 193 个 token 涨到了 336 个:system 和记录又发了一遍,还多了整份第一版。改三五轮问题不大;要是做一个聊天机器人、聊上一百轮,每次都把全部历史发过去,又慢又贵,还可能超出模型能读的长度。常见做法是只保留最近几轮,或者把早期的对话总结成一小段。


试一试 ​

  • [ ] 把 2.1 的实验在你那里跑一遍:分开问,再带历史问
  • [ ] 往 SYSTEM 里加一条「用一句话概括本周重点,放在最前面」,看输出怎么变
  • [ ] 在 2.5 的基础上再追加一轮:「语气正式一点,给领导看的」

本章小结 ​

要点说明
模型没有记忆每次调用独立,只看这次发去的清单
三种角色system 定规矩,user 放内容,assistant 是模型说过的话
多轮对话把上一轮的 assistant 和新的 user 追加进清单,再发一次
周报生成器 v2system 定规矩,长度从 600 多字符降到 200 字左右
代价历史越长,输入 token 越多,第 5 章算钱

下一章预告 ​

v2 短了、干净了,但还有一个问题没解决:我又连跑了两次,第一次是 6 条编号加「待跟进」,第二次变成了「本周工作 / 进行中 / 其他」三段。规矩管住了内容,没管住格式。

下一章看看 temperature 这些参数到底能管住多少,管不住的又该怎么办。

👉 第 3 章:参数怎么调——让输出稳定下来

本文阅读--次|全站访问--次|访客--人