Skip to content

第 3 章:参数怎么调——让输出稳定下来 ​

本章目标:知道 temperature、max_tokens 这些参数各管什么、管不了什么,让周报每周都是同一个格式。

开篇:调低 temperature 就稳了? ​

上一章的 v2 已经短了、干净了,但格式还是飘:这次是 6 条编号加「待跟进」,下次变成「本周工作 / 进行中 / 其他」三段。

网上的标准答案是:把 temperature 调成 0,输出就固定了。 我照做,同一份记录跑了 5 次。结果 5 次是 5 种格式。

问题出在哪?这一章先用实测把参数摸清楚,再用一个不靠参数的办法,把格式真正固定下来。

学完这一章,你能:

  • 知道「思考模式」是什么,以及它让哪些参数失效
  • 用格式模板把周报固定成每周一个样
  • 避开推理模型 max_tokens 设小了、回答直接变空的坑

3.1 temperature 为什么不管用 ​

temperature 控制模型选词有多「随意」:越低越保守,越高越天马行空。按理说调到 0,每次都该选最稳的那个词。

我用第 2 章的 v2 规矩,在三个温度下各跑了 5 次:

temperature5 次的列表条数出现过的写法
04、4、0、9、11带「本周工作:」小标题;纯列表;不分条的整段文字
1.06、8、8、6、0纯列表;按周一到周五逐日写
1.50、5、6、7、10按日写;「本周工作 + 待跟进」;纯列表

三档之间看不出任何规律,像是参数根本没起作用。去翻 DeepSeek 的文档,果然:

思考模式不支持 temperature、presence_penalty、frequency_penalty 参数。

而且传了不报错,只是没效果。deepseek-flash 的思考模式默认是打开的:回答前先在后台「想」一遍(第 1 章看到的 reasoning_content),这一步本身就不固定,温度 0 的 5 次里,推理 token 从 0 到 437 不等。


3.2 关掉思考,temperature 才生效 ​

思考模式可以关。DeepSeek 用一个自己的参数 thinking 控制,OpenAI 的 SDK 里没有这个参数名,要通过 extra_body 塞进请求:

python
resp = client.chat.completions.create(
    model="deepseek-flash",
    messages=messages,
    temperature=0,
    extra_body={"thinking": {"type": "disabled"}},  # 关掉思考模式
)

关掉之后,同样的规矩再跑一轮:

关掉思考后5 次里有几种不同的输出格式
temperature=02 种(只差一两个字,长度都是 148 字符)5 次都是一整段,不分条
temperature=1.55 种有时一整段,有时 6 ~ 7 条列表,长度 142 ~ 454 字符

这回温度有效果了:温度 0 几乎每次一字不差,温度 1.5 每次都不一样。

但请注意温度 0 的「稳」:它稳定地输出了一整段文字,不是我们想要的分条周报。温度只决定它每次是不是选同一种写法,选哪种写法,它说了不算。

temperature 什么时候有用

要模型多出几个不同版本挑着用时(比如起标题、想文案),关掉思考、调高温度。像周报这种要稳的场景,温度帮不上主要的忙。


3.3 把格式写进规矩 ​

不管温度怎么调,格式都定不下来,是因为我们只说了「写周报」,没说「周报长什么样」。模型每次都在猜。那就别让它猜,把格式模板直接写进 system:

python
SYSTEM = """你是一名周报助手,帮工程师把一周的零散记录整理成周报。
要求:
- 只根据记录写,记录里没有的事不要补
- 不要写「汇报人」「周期」这类抬头
- 全文不超过 300 字
- 严格按下面的格式输出,不要增减小标题,不要用 Markdown 标题符号:

【本周完成】
- 一件事一行
【进行中】
- 一件事一行
【下周计划】
- 一件事一行"""

同一份记录,开着思考模式(默认)跑 5 次:

第几次小标题列表条数长度
1【本周完成】【进行中】【下周计划】7178
2【本周完成】【进行中】【下周计划】6156
3【本周完成】【进行中】【下周计划】8211
4【本周完成】【进行中】【下周计划】6184
5【本周完成】【进行中】【下周计划】8211

5 次结构完全一致。 条数还会在 6 到 8 之间浮动:有时把周会单列一条,有时把两次 500 合成一条。这是措辞层面的差异,周报能接受。关掉思考再跑 5 次,同样 5 次结构一致,每次只要 1 秒左右。

固定格式靠的是模板,不是参数。

踩坑:规矩打架,它会死守字面

加了模板后,第一次的输出里有这么一段:

text
【下周计划】
- 记录中未提及

模型没写错:规矩第一条说「记录里没有的事不要补」,而记录里确实没写下周计划。两条规矩打架时,它选择了字面上最安全的那条。

解决办法是把例外写清楚。把模板最后一行改成:

text
【下周计划】
- 根据「进行中」的事项写 1~3 条

改完再跑 3 次,每次都是从「进行中」推出两条下周计划,比如「继续排查线上 500 超时问题」「完成月报导出及 Excel 样式调整」。


3.4 max_tokens:别拿它控制长度 ​

max_tokens 是这次回答最多能用多少 token。很多人想:周报不要超过 300 字,那设 max_tokens=300 不就行了?

我试了 60 和 300 两档,两次的结果一样:content 是空字符串,finish_reason 是 length(被截断)。

两次真实调用:不设上限时 274 个推理 token 加 111 个回答 token;max_tokens=300 时全部用在推理上,回答为空

原因还是思考模式。deepseek-flash 回答之前先在后台想一遍,想的内容在响应的 reasoning_content 里,不算进 content,但算进 max_tokens。预算被「想」花光,就没有余量「写」了。

想的长短还很不稳定。3.3 那 5 次运行,推理 token 分别是 274、398、0、193、1040。最后那次想了 1040 个 token,用了 8.6 秒。

所以:

  • 长度靠规矩控制:「全文不超过 300 字」写在 system 里,3.3 的 5 次全部在 156 ~ 211 字符之间
  • max_tokens 只当保险:防止模型失控写个没完,设得宽一点,比如 4000
  • 永远检查 finish_reason:不是 stop 就说明没写完,别把半截周报交出去
python
resp = client.chat.completions.create(
    model="deepseek-flash",
    messages=messages,
    max_tokens=4000,  # 保险,不是长度控制
)
choice = resp.choices[0]
if choice.finish_reason != "stop":
    raise RuntimeError(f"周报没写完:finish_reason={choice.finish_reason}")
print(choice.message.content)

想看看它在后台想了什么,打印 choice.message.reasoning_content 就行。读一读挺有意思,能看出它是怎么理解你的规矩的。关掉思考模式就没有推理 token,也就没有这个坑,但保险照样要设。


3.5 其他参数速查 ​

参数管什么周报生成器用不用
thinking(放在 extra_body)思考模式开 / 关,默认开先开着,第 5 章算完账再决定
temperature选词的随机程度,0 ~ 2;思考模式下无效不用
top_p另一种控制随机的方式;deepseek-flash 思考模式下低于 0.95 的值按 0.95 算不用。和 temperature 二选一调,别两个一起动
max_tokens输出上限(含推理)用,设宽当保险
stop遇到指定文字就停不用
reasoning_effort推理的努力程度(low / high)不用。我各试了 3 次,推理 token 都在 280 ~ 610 之间,看不出差别
response_format要求输出 JSON这门课不用,支线课「结构化输出」再讲

试一试 ​

  • [ ] 用 v2 的规矩、temperature=0,开着思考和关掉思考各跑 3 次,对比有几种格式
  • [ ] 把模板换成你公司实际的周报格式,看它能不能守住
  • [ ] 设 max_tokens=100 跑一次,打印 finish_reason 和 reasoning_content

本章小结 ​

要点说明
思考模式deepseek-flash 默认开;用 extra_body={"thinking": {"type": "disabled"}} 关
temperature思考模式下无效;关掉思考才生效,且只管随机、不管写法
固定格式把模板写进 system,5 次结构 5 次一致
规矩打架模型会死守字面,例外要写明
max_tokens含推理 token,设小了回答会变空;只当保险用
finish_reason不是 stop 就是没写完
周报生成器 v3模板固定格式 + max_tokens 保险 + 检查 finish_reason

下一章预告 ​

格式稳了。但每次运行,终端都要空白地等上几秒:3.3 那 5 次从 1.6 秒到 8.6 秒不等,取决于它在后台想了多久。网页版不会让你干等,字是一个一个冒出来的。

下一章打开流式输出,让周报边写边显示。

👉 第 4 章:流式输出——打字机效果是怎么来的

本文阅读--次|全站访问--次|访客--人