temperature 和 top_p 参数有什么作用？如何选择合适的值？

🏛 业务架构师

temperature 和 top_p 都是控制生成随机性的采样参数：

temperature：调整概率分布的"陡峭度"。低温（0~0.3）分布尖锐——模型总选最高概率词，输出稳定但保守；高温（0.8+）分布平坦——低概率词也有机会，输出多样但有冒险性。本质是"置信度的温度计"。
top_p（核采样）：只在累计概率前 p 的候选词里采样。top_p=0.1 只从最可能的少数词里选；top_p=0.95 允许更大的候选池。本质是"候选池的截断"。

一般建议二选一调，不要同时大动（两者作用重叠，叠加调容易失控）。

怎么选值，按业务场景定（这是业务架构师的重点）：

2026 年实践提醒：多数模型默认 temperature=1.0（展示模型能力），生产系统必须显式设置；做评测对比时要固定参数，否则结果不可比；新一代推理模型（o1/R1 类）的"思考"阶段参数往往不可调，只在最终输出层生效——调参收益不如选对模型档位。

我的纪律：所有生产提示词的参数显式写进配置并版本化——"忘了设 temperature"导致的输出漂移是低级但高频的事故源。

temperature 和 top_p 都是采样策略的控制阀——控制"从概率分布中怎么挑下一个 token"：

temperature（T）：对 logits 除以 T 再 softmax。T→0 分布尖锐（接近贪心，确定性最强）；T=1 原始分布；T>1 更平坦（更随机发散）。影响整个分布形状；
top_p（nucleus sampling）：只从累计概率前 p 的候选集合中采样（动态截断）——截掉长尾低概率 token（通常是语法垃圾），保留主体分布。p=0.9 常用。

区别：temperature 是"全局调味"（重塑分布），top_p 是"尾部裁剪"（删掉不靠谱候选）；top_k 是 top_p 的固定数量版本。

选型经验（按任务定，别拍脑袋）：

代码生成 / 数据抽取 / 结构化输出 / RAG 事实问答：T=0~0.3——要稳定、可复现、不发挥；配合 top_p 可以保持默认（0.9~1）只调 T；
创意写作 / 头脑风暴 / 多样性推荐：T=0.7~1.0——发散才有效果；
对话助手：T=0.5~0.8 平衡自然与可控；
Agent 决策：低 T（0~0.2）——工具调用要确定性，发散的决策是事故源。

工程要点：

作用机制：两者都在采样前改变候选 token 的概率分布。

temperature：用 T 除 logits 再 softmax。T<1 分布变尖（趋近贪心，更确定保守），T>1 变平（更随机发散），T=0 退化为 argmax；
top_p（核采样）：按概率从高到低累加，只保留累积概率 ≤ p 的最小集合，在这之中重新归一化采样——动态砍掉长尾。

参数怎么选（我的实践表）：

关键纪律：只调一个。两者都动会互相干扰、不可归因——官方建议也是二选一（默认动 temperature，top_p 留 0.9~1）。

工程经验：

一句话记忆：T 管全局胆量，top_p 管尾部噪声；生产求稳 T 压低，创作放开了只动一个。