有一件事看似不该令人意外,但实际上出乎意料:当你告诉智能体"避免犯错"与"优先保证准确性"时,你给出的并不是同一条指令。在模糊决策点上,可观测到的行为存在可测量的差异——以损失规避框架提示的智能体更多地回避、升级和放弃端到端任务完成;以收益寻求框架提示的智能体完成更多任务,但在决策边界处会引入更多错误。这种差异并非哲学层面的;它会体现在评估日志中。
这就是智能体的行为经济学,而大多数工程团队尚未系统地思考过这个问题。他们把系统提示当作文档来写——描述智能体是什么——而实际上,系统提示是一种决策塑造工具,无论作者是否有意为之,它都在编码一种风险立场。
框架效应并非人类的特有缺陷——LLM 从训练数据中继承了它
行为经济学几十年前就已确立:人类并非对等价选择的中立评估者。告诉一个人他们可以拯救 600 人中的 200 人(收益框架),与告诉他们 600 人中有 400 人会死亡(损失框架),即便结果相同,他们也会做出不同选择。这就是框架效应,在经典意义上并不理性。
LLM 继承了这种不对称性。研究相同目标的收益框架与损失框架变体时发现,语言取向对选择分布的影响强于逻辑等价性。在正向框架("获得 X")下,模型倾向于确定性、风险规避的选项;在负向框架("避免失去 X")下,则倾向于合作但任务完成率更低的行为。GPT-4o 在损失域表现出比人类显著更强的风险寻求倾向——这与大多数工程师预设负向框架能产生谨慎行为的假设相悖。
一个尤为反直觉的规律是:模型回答"是"比回答"否"更难。在不确定性下,它们偏向于拒绝和否定。这意味着充斥着损失框架语言的系统提示("永远不要跳过步骤"、"避免假设"、"不确定时不要继续")可能产生一个在模糊任务上系统性地更容易放弃的智能体——不是因为被明确告知要放弃,而是因为累积的负向框架在不确定情况下催生了一种拒绝姿态。
相同的智能体,不同的风险预算
考虑同一核心指令的两种表述:
- 损失框架:"避免生成不正确的信息。不确定时永远不要继续。"
- 收益框架:"优先产生有用、准确的回应。在有足够把握时继续。"
这两种表述感觉上都是谨慎的,却产生了不同的智能体。损失框架版本在边界情况下显示出更高的升级率、在模糊输入上更低的任务完成率,以及输出中更多的回避性语言。收益框架版本完成更多任务,但在决策边界处引入更多错误。
这种差异并非随意的。研究系统提示中的动机框架如何影响智能体调试深度时发现,基于信任的框架("你很细致;找到你能找到的")会诱导更深入的调查,而基于恐惧的框架("避免遗漏明显问题")会导致智能体对已知类别进行模式匹配并提早停止。同样的机制适用于任何面临开放性决策点的智能体:信任框架鼓励探索;恐惧框架鼓励保守的模式完成。
使这在操作上具有重要意义的是,大多数生产系统提示是由工程师在时间压力下编写的,目的是防止已知的失败模式。本能反应是列举禁令:"不要做 X。永远不要做 Y。避免 Z。"这在构造上就是一个损失框架提示,它积累了一种可能比预期保守得多的风险立场——在没有相应安全改进的情况下侵蚀任务完成率。
锚定效应在对话中复合叠加
框架效应在多轮智能体中比在单次调用完成中更严重,原因在于锚定效应。系统提示的初始框架在整个对话中锚定了智能体行为,即使后续指令朝着不同方向引导,这个锚点也会持续存在。
关于 LLM 中锚定偏差的研究证实,模型和人类都会不成比例地重视提示词的初始上下文——但与人类不同,思维链推理和反思等简单缓解策略不足以消除锚点。模型在锚定框架内推理,而非逃脱它。
对于多轮智能体,这意味着系统提示前几百个 token 所设定的风险立场实际上是粘性的。被指示在系统提示顶部"在所有行动中保持保守"的智能体,会将该立场带入工具调用、子任务和任务移交——即使同一提示词的后续部分授予了更广泛的权限。早期框架胜出。
实际后果:在描述智能体应该做什么之前,先以护栏语言开头的系统提示,会在框架任务之前锚定到谨慎。智能体将自身内化为"一个同时做 X 的谨慎实体",而非"一个在这些约束内做 X 的实体"。在模糊决策点上,行为差异是可测量的。
校准才是正确的指标——而非仅仅是安全通过率
大多数团队根据智能体是否避免明显的不良输出来评估它们。这是必要但不充分的视角。一个拒绝 80% 模糊任务的智能体安全通过率接近完美,但在操作上毫无用处。一个在边界情况下以 12% 错误率完成 95% 任务的智能体,对于特定用例可能是正确的权衡——也可能不是。框架效应就在这个差距中运作。
校准是更有用的操作指标:智能体在决策上表达的置信度是否能真正预测该决策的准确性?一个校准良好的智能体在应该不确定时不确定,在应该有把握时有把握。一个校准不良的智能体——无论是过于谨慎还是过于冒进——都会产生难以调试的不对称失败,因为它们看起来像是正确的行为。
在实践中测量这一点,你需要包含安全输入和模糊输入的评估集,以及每个边界处正确行为应该是什么的真实标签。关键测量轴不是"智能体是拒绝还是遵从",而是"智能体的置信度是否与实际结果分布相匹配"。对于正确行动是继续的输入,过度拒绝与对真正危险输入的欠拒绝一样,都是校准失败。
多分辨率风险评分在这里有帮助:追踪二元判断(任务是否完成)、失败模式的序数严重性标签,以及连续置信度分数。这给你足够的分辨率来判断框架变化是否在将智能体推向更好的校准,还是只是在保守/激进边界上移动它。
反映我们所知的设计模式
鉴于研究表明的情况,几种具体的设计模式可以减少生产智能体中框架效应的复合:
以目标而非禁令开头。 以"你是一个在背景 Y 中为用户做 X 的智能体"开头的系统提示,将智能体锚定到其目标。之后引入的护栏作为对已建立任务框架的约束,而非定义性框架本身运作。这在不放松实际约束的情况下,在模糊输入上产生较少的过度谨慎行为。
偏向规定性表述,避免命令性否定。 "应在执行前验证工具调用参数"比"从不在未验证参数的情况下调用工具"产生更一致的遵从性。关于智能体遵守层级安全原则的研究发现,正面的规定性表述在各模型中实现接近完美的遵从性,而否定命令表现出高度方差。"应该"承载重量;"永远不要"是不可预测的。
将安全护栏与任务范围分开。 将"你做什么"与"你绝对不能做什么"混合在一个密集段落中的常见做法会产生模糊的锚定。普遍适用的安全约束应放在具有一致框架的独立部分中。任务范围和权限放在另一部分。当各层明确时,智能体对每层的行为锚定更为清晰。
测试框架,而不仅仅是行为。 如果你修改系统提示以解决某个失败模式,对新旧版本运行你的评估套件。修复了失败但偏移了校准曲线的更改——在整个输入分布中产生更多拒绝——可能在解决一个问题的同时制造了另一个问题。评估应捕捉相关模糊边界情况的完成率和准确性。
系统提示是风险策略,而非文档
大多数团队的隐含模型是:系统提示是指令——描述智能体应该做什么和如何行为。这种框架在技术上是准确的,但错过了操作现实:系统提示编码了一种风险策略,在智能体遇到的每个模糊决策点上塑造其行为。
在某些道德决策基准测试中,LLM 表现出比人类大 9 倍的框架效应。在生产中,这种差异是你的 bug 表面。这不是为了清晰而选择正确词语的问题;而是选择能产生用例实际所需的校准风险立场的框架问题。
智能体的行为经济学不是研究好奇心。这就是为什么两个团队可以用相同的模型配置但不同的系统提示部署,并在决策边界处得到有意义的不同评估概况。框架是承重结构,把它当作文档的团队将花费数季度调试是措辞造成的行为。
以你对生产中控制行为的功能标志所应用的同样慎重来编写系统提示。因为它就是这样的东西。
会员专享
余下内容仅对会员开放。
会员可读完整内容 —— 每一个公开发布的观点背后,那些框架、决策与推理的全貌。
- —完整文章,包含未公开存档的部分
- —可落地的工作框架,附带权衡与决策依据
- —新文章抢先看,先于公开发布
随时取消 · 一次订阅,畅读全部