AI 可靠性下限：为什么 80% 准确率比没有 AI 还糟糕

分类任务（垃圾邮件过滤、支持路由、内容标记）更为敏感。用户通常不会看到单个决策，而是体验到聚合结果。90% 的分类率听起来很强，直到你意识到在规模化场景下，10% 的误分类会变成支持积压或法律责任。

检索任务（查找现有信息、回答事实性问题）容忍度低，因为用户通常没有独立的核查手段。当 AI 告知你某项政策、价格或截止日期时，你会据此行动。加拿大航空为此付出了法律代价：他们的聊天机器人向顾客提供了错误的丧亲票价信息，公司辩称聊天机器人是"独立的法律实体，对自身行为负责"，但法庭驳回了这一论点，判定加拿大航空承担责任。错误的检索不是用户体验问题，而是商业风险。

行动任务（代替用户执行操作）需要接近人类专家水准的准确率，因为错误可能是不可逆的。Zillow 的 iBuying 算法平均多付了几个百分点，将一个小小的准确率缺口转化为超过 5 亿美元的亏损。平均准确率看起来合理，尾部风险却是致命的。

在下限反噬用户之前找到它​

找到可靠性下限的正确时机，是在用户替你找到之前。三种方法：

分别定义假阳性和假阴性的后果。 大多数准确率指标对称地处理错误，但它们并不对称。一个幻觉出不存在优惠码的 AI 令人恼火。一个声称存在不存在退款政策的 AI 则会带来法律责任。分别衡量每种错误类型的代价，然后为每个方向设置不同的准确率阈值。

衡量行为代理指标，而非仅靠评分。 满意度调查比行为信号滞后数周。早期预警系统藏在产品数据中：修正率（用户编辑或撤销 AI 输出的频率）、核查率（用户立即在其他地方查找相同答案的频率）、升级率（转向人工或替代工具的频率）。如果 AI 功能的修正率超过 20–25%，说明该功能正在训练用户不去信任它。

对自己的 UX 进行"红队"测试。 让 20 位内部用户在不了解准确率信息的情况下使用该功能，要求他们完成任务。统计端到端成功完成任务的数量——不是 AI 回答技术上正确的数量，而是用户最终得到正确结果的数量。这两个数字之间的差距，就是你的可靠性下限实际造成的代价。

低于下限时发布：优雅降级模式​

对于尚未达到可靠性标准但又需要发布的情况，答案不是隐藏不确定性，而是在结构上将其呈现出来。

置信度阈值将高置信度响应与不确定的响应分开，并将每类路由到不同路径。置信度 90% 以上：自动执行并显示结果。60–89%：以需要用户明确确认的建议形式呈现。60% 以下：请求澄清、呈现替代方案或升级处理。这在模型能生成经过校准的置信度分数时效果最佳——值得验证，因为大多数模型默认过度自信。

选择性弃权以覆盖率换取准确率。对该技术的研究发现，对不确定输入进行弃权后，在 63.7% 的覆盖率下，错误率从 23.6% 降至 9.4%——意味着功能回答的问题更少了，但给出的答案正确率大幅提升。一个在三分之一的查询上说"我不知道"的 AI，可能比一个对所有查询都猜测的 AI 更有价值，因为剩余三分之二的答案是可以信赖的。

验证可供性将失败模式从"AI 错了而用户已据此行动"转变为"用户能在行动前发现 AI 错了"。内联来源引用、明确的推理轨迹、指向底层数据的直接链接，将 AI 从黑盒转变为推理伙伴。这就是为什么暴露来源的检索增强系统比端到端生成系统更具可辩护性：用户被要求评估的不是 AI 的结论，而是 AI 所使用的同一证据。

降级层次在 AI 置信度低时优雅退化：从完整 AI 响应，到简化 AI 响应，到基于规则的响应，再到明确的人工交接。关键设计原则是：降级必须对用户可见——一个不可见的降级返回了错误答案，比一个承认自身局限的可见降级更糟糕。Intercom 等工具在 AI 无法给出有把握的帮助时会显示"与人工客服交谈"按钮，已将这一模式普及化。

反直觉的结论​

大多数团队都会抵触的结论是：一个有 20% 概率信心满满地给出错误答案的功能，可能比完全没有该功能更难恢复。在功能出问题时遇到它的用户，不会以中立态度回来——他们会带着对抗性来回来。"我们该不该在 80% 准确率下发布"这个问题，实际上是在问"我们对遭遇那 20% 的用户有什么预案？"如果答案是"他们自己会搞明白的"，那么可靠性下限迟早会找上门来。

可辩护的标准是：在发布前找到你的下限，明确设计失败模式，并在必须做出选择时选择覆盖率而非过度自信。一个正确回答 60% 查询、拒绝 40% 的功能会建立信任；一个回答 100% 查询但有 20% 错误的功能会摧毁信任。