2 篇博文 含有标签「explainability」

一个贷款审查工具标记了一份申请。审查员点击“解释”，得到了四个整齐的要点：过去六个月的收入波动、信用额度使用率超过 70%、最近的地址变更、两个信用记录较少的被抚养人。这些理由读起来就像一位细心的核保人员写的。审查员批准了覆盖操作并继续。

令人不安的部分是：模型从未利用这些信号做出决定。它们出现在解释中，是因为它们是那种 可以 证明标记合理性的因素——而不是因为标记源自它们。实际的计算是一种模型无法表达的狭窄潜在特征模式，加上一些解释中从未提及的相关性。这些要点是事后合理化（post-hoc rationalization），其编写目的是为了可信，而不是为了真实。

这就是空洞解释问题（hollow explanation problem），它与幻觉（hallucination）不同。该解释中的每一个单独主张在事实层面可能都是正确的。但用户的问题——你为什么这么决定？——被虚假地回答了。

在利益相关者首次提出“可解释 AI”的需求，到你的产品团队规划出“AI 为什么会做出这个决定？”功能之间的某个时刻，一个陷阱已经布下。这个陷阱就是：你的模型并不知道它为什么做出那个决定，而要求它解释并不会产生真正的解释——它只会产生看起来像解释的文本。

这种区别在生产环境中至关重要。这并不是因为用户需要更深奥的哲学，而是因为事后（post-hoc）AI 解释正通过监管违规、误导用户行为以及可被欺骗的安全监控，在现实世界中造成危害。如果不理解这一点就交付解释功能的工程师，所构建的系统虽然能通过法律合规检查，但实际上会使结果变得更糟。