第 3 章:参数怎么调——让输出稳定下来
本章目标:知道
temperature、max_tokens这些参数各管什么、管不了什么,让周报每周都是同一个格式。
开篇:调低 temperature 就稳了?
上一章的 v2 已经短了、干净了,但格式还是飘:这次是 6 条编号加「待跟进」,下次变成「本周工作 / 进行中 / 其他」三段。
网上的标准答案是:把 temperature 调成 0,输出就固定了。 我照做,同一份记录跑了 5 次。结果 5 次是 5 种格式。
问题出在哪?这一章先用实测把参数摸清楚,再用一个不靠参数的办法,把格式真正固定下来。
学完这一章,你能:
- 知道「思考模式」是什么,以及它让哪些参数失效
- 用格式模板把周报固定成每周一个样
- 避开推理模型
max_tokens设小了、回答直接变空的坑
3.1 temperature 为什么不管用
temperature 控制模型选词有多「随意」:越低越保守,越高越天马行空。按理说调到 0,每次都该选最稳的那个词。
我用第 2 章的 v2 规矩,在三个温度下各跑了 5 次:
| temperature | 5 次的列表条数 | 出现过的写法 |
|---|---|---|
| 0 | 4、4、0、9、11 | 带「本周工作:」小标题;纯列表;不分条的整段文字 |
| 1.0 | 6、8、8、6、0 | 纯列表;按周一到周五逐日写 |
| 1.5 | 0、5、6、7、10 | 按日写;「本周工作 + 待跟进」;纯列表 |
三档之间看不出任何规律,像是参数根本没起作用。去翻 DeepSeek 的文档,果然:
思考模式不支持
temperature、presence_penalty、frequency_penalty参数。
而且传了不报错,只是没效果。deepseek-flash 的思考模式默认是打开的:回答前先在后台「想」一遍(第 1 章看到的 reasoning_content),这一步本身就不固定,温度 0 的 5 次里,推理 token 从 0 到 437 不等。
3.2 关掉思考,temperature 才生效
思考模式可以关。DeepSeek 用一个自己的参数 thinking 控制,OpenAI 的 SDK 里没有这个参数名,要通过 extra_body 塞进请求:
resp = client.chat.completions.create(
model="deepseek-flash",
messages=messages,
temperature=0,
extra_body={"thinking": {"type": "disabled"}}, # 关掉思考模式
)关掉之后,同样的规矩再跑一轮:
| 关掉思考后 | 5 次里有几种不同的输出 | 格式 |
|---|---|---|
| temperature=0 | 2 种(只差一两个字,长度都是 148 字符) | 5 次都是一整段,不分条 |
| temperature=1.5 | 5 种 | 有时一整段,有时 6 ~ 7 条列表,长度 142 ~ 454 字符 |
这回温度有效果了:温度 0 几乎每次一字不差,温度 1.5 每次都不一样。
但请注意温度 0 的「稳」:它稳定地输出了一整段文字,不是我们想要的分条周报。温度只决定它每次是不是选同一种写法,选哪种写法,它说了不算。
temperature 什么时候有用
要模型多出几个不同版本挑着用时(比如起标题、想文案),关掉思考、调高温度。像周报这种要稳的场景,温度帮不上主要的忙。
3.3 把格式写进规矩
不管温度怎么调,格式都定不下来,是因为我们只说了「写周报」,没说「周报长什么样」。模型每次都在猜。那就别让它猜,把格式模板直接写进 system:
SYSTEM = """你是一名周报助手,帮工程师把一周的零散记录整理成周报。
要求:
- 只根据记录写,记录里没有的事不要补
- 不要写「汇报人」「周期」这类抬头
- 全文不超过 300 字
- 严格按下面的格式输出,不要增减小标题,不要用 Markdown 标题符号:
【本周完成】
- 一件事一行
【进行中】
- 一件事一行
【下周计划】
- 一件事一行"""同一份记录,开着思考模式(默认)跑 5 次:
| 第几次 | 小标题 | 列表条数 | 长度 |
|---|---|---|---|
| 1 | 【本周完成】【进行中】【下周计划】 | 7 | 178 |
| 2 | 【本周完成】【进行中】【下周计划】 | 6 | 156 |
| 3 | 【本周完成】【进行中】【下周计划】 | 8 | 211 |
| 4 | 【本周完成】【进行中】【下周计划】 | 6 | 184 |
| 5 | 【本周完成】【进行中】【下周计划】 | 8 | 211 |
5 次结构完全一致。 条数还会在 6 到 8 之间浮动:有时把周会单列一条,有时把两次 500 合成一条。这是措辞层面的差异,周报能接受。关掉思考再跑 5 次,同样 5 次结构一致,每次只要 1 秒左右。
固定格式靠的是模板,不是参数。
踩坑:规矩打架,它会死守字面
加了模板后,第一次的输出里有这么一段:
【下周计划】
- 记录中未提及模型没写错:规矩第一条说「记录里没有的事不要补」,而记录里确实没写下周计划。两条规矩打架时,它选择了字面上最安全的那条。
解决办法是把例外写清楚。把模板最后一行改成:
【下周计划】
- 根据「进行中」的事项写 1~3 条改完再跑 3 次,每次都是从「进行中」推出两条下周计划,比如「继续排查线上 500 超时问题」「完成月报导出及 Excel 样式调整」。
3.4 max_tokens:别拿它控制长度
max_tokens 是这次回答最多能用多少 token。很多人想:周报不要超过 300 字,那设 max_tokens=300 不就行了?
我试了 60 和 300 两档,两次的结果一样:content 是空字符串,finish_reason 是 length(被截断)。
原因还是思考模式。deepseek-flash 回答之前先在后台想一遍,想的内容在响应的 reasoning_content 里,不算进 content,但算进 max_tokens。预算被「想」花光,就没有余量「写」了。
想的长短还很不稳定。3.3 那 5 次运行,推理 token 分别是 274、398、0、193、1040。最后那次想了 1040 个 token,用了 8.6 秒。
所以:
- 长度靠规矩控制:「全文不超过 300 字」写在 system 里,3.3 的 5 次全部在 156 ~ 211 字符之间
max_tokens只当保险:防止模型失控写个没完,设得宽一点,比如 4000- 永远检查
finish_reason:不是stop就说明没写完,别把半截周报交出去
resp = client.chat.completions.create(
model="deepseek-flash",
messages=messages,
max_tokens=4000, # 保险,不是长度控制
)
choice = resp.choices[0]
if choice.finish_reason != "stop":
raise RuntimeError(f"周报没写完:finish_reason={choice.finish_reason}")
print(choice.message.content)想看看它在后台想了什么,打印 choice.message.reasoning_content 就行。读一读挺有意思,能看出它是怎么理解你的规矩的。关掉思考模式就没有推理 token,也就没有这个坑,但保险照样要设。
3.5 其他参数速查
| 参数 | 管什么 | 周报生成器用不用 |
|---|---|---|
thinking(放在 extra_body) | 思考模式开 / 关,默认开 | 先开着,第 5 章算完账再决定 |
temperature | 选词的随机程度,0 ~ 2;思考模式下无效 | 不用 |
top_p | 另一种控制随机的方式;deepseek-flash 思考模式下低于 0.95 的值按 0.95 算 | 不用。和 temperature 二选一调,别两个一起动 |
max_tokens | 输出上限(含推理) | 用,设宽当保险 |
stop | 遇到指定文字就停 | 不用 |
reasoning_effort | 推理的努力程度(low / high) | 不用。我各试了 3 次,推理 token 都在 280 ~ 610 之间,看不出差别 |
response_format | 要求输出 JSON | 这门课不用,支线课「结构化输出」再讲 |
试一试
- [ ] 用 v2 的规矩、
temperature=0,开着思考和关掉思考各跑 3 次,对比有几种格式 - [ ] 把模板换成你公司实际的周报格式,看它能不能守住
- [ ] 设
max_tokens=100跑一次,打印finish_reason和reasoning_content
本章小结
| 要点 | 说明 |
|---|---|
| 思考模式 | deepseek-flash 默认开;用 extra_body={"thinking": {"type": "disabled"}} 关 |
| temperature | 思考模式下无效;关掉思考才生效,且只管随机、不管写法 |
| 固定格式 | 把模板写进 system,5 次结构 5 次一致 |
| 规矩打架 | 模型会死守字面,例外要写明 |
| max_tokens | 含推理 token,设小了回答会变空;只当保险用 |
| finish_reason | 不是 stop 就是没写完 |
| 周报生成器 v3 | 模板固定格式 + max_tokens 保险 + 检查 finish_reason |
下一章预告
格式稳了。但每次运行,终端都要空白地等上几秒:3.3 那 5 次从 1.6 秒到 8.6 秒不等,取决于它在后台想了多久。网页版不会让你干等,字是一个一个冒出来的。
下一章打开流式输出,让周报边写边显示。