Google Photos 事件是这方面的经典案例。2015 年，Google 的图像识别将黑人用户的照片标注为侮辱性词汇。损害是即时且严重的。更糟糕的是回应：Google 并没有解决底层问题，而是悄悄地从分类器中移除了一组灵长类标签。多年后，这种修复依然存在——这一笨拙的手段表明该公司得出结论：根本无法信任 AI 来处理这项任务。
关于算法系统中信任恢复的研究表明，在用户体验早期（即信任稳定之前）发生的错误，与在建立了可靠性关系之后发生的同等错误相比，会造成不成比例的巨大且持久的损害。如果你将 AI 改造进用户已经信任了三年的功能中，第一次明显的失败就会重置大部分已赢得的信任。用户之前的信心现在反而成了对你不利的因素，因为违背契约的感觉更加个人化。
Tesla 的 Autopilot 历史在大规模层面说明了这一点。该功能的命名暗示了完全自动驾驶，这导致用户的心理模型与系统的实际 2 级驾驶辅助能力不匹配。过度信任该功能的驾驶员脱离了驾驶任务；随后的事故部分归因于预期与现实之间的差距。将 Autopilot 作为受信任系统采用，随后在关键时刻遇到其局限性的用户，不仅不再信任 Autopilot，他们还重新评估了与车辆本身的关系。
给产品工程师的教训是：当你改造 AI 时，你不仅仅是在添加一个功能。你是在修改用户已经签署并依赖的信任契约。任何违约——即使是偶然的——都会根据整个关系的完整历史来衡量。
用户期望确定性的地方出现了变异性。 这是核心问题。在邮件收件人字段中输入“John”的用户期望在下拉菜单顶部看到同事 John。每一次都如此。如果增强了 AI 的自动补全开始根据预测意图而不是按字母或近期顺序对联系人进行排名，偶然的失配就会摧毁用户在“自动驾驶”模式下工作的能力。他们现在必须核实每一个建议，这比完全没有自动补全还要糟糕——他们失去了节省的时间，却没有任何收益。
静默的行为变化。 当 AI 在不告知的情况下改变功能行为时，用户会将意料之外的输出视为 Bug。如果一个以前标记被动语态的内容编辑器现在默认重写句子，用户不会认为“这个功能变聪明了”，而是认为“出问题了”。缺乏可见的模式转换意味着用户没有框架来理解发生了什么。
复合错误。 在从用户行为中学习的邮件自动补全系统中，选择错误的收件人不仅会造成一次性问题，还会训练系统在未来重复该错误。根据错误进行适应的 AI 会使错误复合化。功能在用户已经经历过失败的特定领域变得更糟。
信任溢出。 用户不会将信任按功能进行划分。如果你搜索栏中的 AI 给出了一个言之凿凿的错误答案，用户就会开始质疑你产品整个数据层的准确性。如果你编辑工具中的 AI 以用户认为离奇的方式重写文本，他们就会开始怀疑工具中其他的自动化行为是否正常工作。局部的 AI 失败会导致全局的信任不确定性。
阶段 2：选择加入（Opt-in）默认设置。 当一部分用户已经体验过 AI 建议层，并且可靠性数据表现强劲时，可以考虑将 AI 建议设为默认选项——但仍需保留显眼的 AI 标注和明确的禁用路径。选择加入的用户是主动选择更新他们的心理模型。这与被动接受模型更新有着本质不同的动态关系。
阶段 3：默认开启，提供退出（Opt-out）选项。 只有当 AI 组件展示出持续的可靠性，并达到与确定性基准（Deterministic Baseline）相匹配的水平时，才进入这一阶段。在此阶段，要让退出选项显眼且永久有效，而不是埋在设置深处。遇到失败的用户需要一个立即生效的逃生阀，而知道逃生阀的存在能有效减轻焦虑，让他们愿意给这项功能更多的宽容度。
最危险的做法是完全跳过阶段 1，直接在你最常用的功能上推出默认开启、仅限退出的方案。针对用户切换意图的研究表明，当用户无法禁用 AI 生成的行为时，他们会感到失去控制感，切换意图会激增——这并不是因为 AI 本身不好，而是因为失控感是无法忍受的。第一个月的采用数据可能看起来很漂亮，但第三个月的流失数据会非常糟糕。
