用户习以为常的“你确定吗?”确认步骤
确认对话框是 AI agent 工具箱中最廉价的安全层。它由一个字符串、一个按钮和一个回调函数组成。提议增加这一功能的项目经理在散会时,坚信该 agent 现在是安全的。开发它的工程师用一个下午就把它发布上线了。负责审计的合规检查员勾选了通过选项。而那天早上第七次看到它的用户,在眼睛还没读完标题之前,鼠标就已经移到了“确认”按钮上。
不到一周,确认步骤就不再是一个决策点,而变成了一种节奏。Agent 问:“你确定要发送这封邮件吗?”,用户回答“是”,就像别人打喷嚏时随口回一句“保重”一样自然。终有一天,Agent 会提议一个真正错误的动作——错误的收件人、错误的金额、错误的语气——而用户会带着之前确认那六个正确动作时同样的自动化反应去确认它。邮件发出后,团队写下一份事后分析,称之为“用户操作失误”。
这不是用户错误。这是系统误把“点击”的存在当成了“同意”的存在。
习以为常是用户的特性,而非对话框的 Bug
关于确认提示,首先需要理解的是:习以为常(Habituation)并非注意力的缺失,而是一种成功的适应。用户的脑部遇到了一种每次都以相同形式出现的刺激,且没有任何信息能预示该操作是高风险还是常规操作。于是,脑部根据每一个合理的推论规则正确地学习到:这种刺激不包含任何值得处理的信号。
2015 年,杨百翰大学、匹兹堡大学和 Google 进行的一项 fMRI 研究测量了视觉皮层对重复安全警告的反应,并观察到在第二次接触后反应就急剧下降。到第五次时,从神经学角度来看,警告已完全被视而不见。另一项 2014 年的 SOUPS 研究发现,参与者在不到两秒钟的时间内就会点击跳过 SSL 警告——速度快到点击已经变成了一种运动程序,而非认知活动。另一项研究报告称,当确认对话框的文本在实验中途发生变化时,只有 14% 的用户注意到了。
这些数据指出的并不是用户懒惰。而是这种刺激没有给用户理由去保持关注,而用户的注意力理所当然地转移到了其他地方。对话框的设计初衷是为了让发布的工程师感到安全,而不是为了让与之共存的用户保持敏感。
当 AI agent 在每次工具调用前都弹出相同的通用确认(“你想继续吗?”)时,它也在运行这种相同的习惯化循环,只不过是压缩版的。Agent 的动作比人类更快、更频繁。以前 SaaS 应用的用户每周可能看到两次确认对话框,现在他们的 Agent 每天会弹出二十次。对这些对话框注意力的半衰期是以小时计的,而不是以月计。
