AI 功能下线决策：当指标显示正常时，何时该果断关停

你的 AI 功能拥有 12,000 名月活跃用户。参与度图表呈上升趋势。演示每季度依然能让利益相关者印象深刻。而你的用户正悄悄绕过它。

这是产品团队会逃避数月——有时甚至数年——的下线决策，因为每个表面指标都显示该功能运行良好。仪表盘显示了采用率。但它没显示的是，支持工程师在将每个 AI 生成的摘要转发给客户之前，都在手动纠正其中的三分之一；或者高级用户已经发现，点击三次“重新生成”就能产生可以接受的输出，并默默接受了这种工作流负担。

AI 功能的下线决策异常困难，因为当演示效果令人印象深刻时，沉没成本会带来更大的冲击。传统功能的失败是显而易见的——用户不点击按钮。而 AI 功能的失败则是微妙的——用户点击了按钮，得到了平庸的结果，并产生了补偿性行为，这使得功能在你的分析中看起来依然活跃，但在实践中却带来了负面价值。

僵尸功能问题在 AI 时代更严重

每个软件产品都会积累无人使用的功能。但 AI 功能带有一种成本结构，使得“僵尸”功能尤为危险：每一次交互都会产生计算费用。与被忽略时几乎不产生费用的静态设置页面不同，一个用户勉强接受但并不信任的 AI 功能在每次请求时都会消耗 Token。

这种经济效益是具有惩罚性的。传统的闲置功能静静地躺在服务器上。而一个用户在忍受但并不信任的 AI 功能会产生推理成本，随着模型更新需要维护 Prompt，需要监测质量漂移，并且在产生令人尴尬的内容时需要工程时间来处理不可避免的边缘案例。你正在为只发挥了预期价值一小部分的功能支付全额运营成本。

这创造了一种扭曲的动态：功能的变动成本随参与度而增加——用户在没有获得实际价值的情况下尝试得越多，烧的钱就越多。而且由于 AI 功能的退化方式与传统软件不同（模型漂移、训练数据过时、竞争性替代方案改进），即使你什么都不改变，运营成本与交付价值之间的差距也会随着时间的推移而扩大。

指标无法显示的五个信号

标准的产品分析是为确定性软件设计的。AI 功能需要不同的诊断视角，因为其失败模式是概率性的和行为性的。以下是在仪表盘显示问题之前，预示下线决策的信号。

1. 重新生成的税收 (The regeneration tax)。习惯性点击“重新生成”、“再试一次”或在利用 AI 输出前手动编辑的用户是在告诉你，这个功能不起作用。请测量 AI 生成内容与用户最终提交内容之间的编辑距离（Edit Distance）。如果中位数编辑距离超过 40%，说明用户正在亲自操刀，你的功能只是一个针对他们原本就要写的内容的建议引擎。

2. 复制粘贴绕过 (The copy-paste bypass)。留意那些将 AI 输出拷贝到单独工具进行修改，而不是使用内置编辑功能的用户。这表明 AI 的输出足够接近起步点，但离真正有用还差得很远，以至于用户需要自己的环境来修复它。这是最糟糕的结果：你教会了用户依赖一个半成品功能，他们无法抛弃它，但也无法信任它。

3. 专家流失曲线 (The expert abandonment curve)。你最专业的用户——那些最了解该功能应该达到什么水平的人——最先停止使用它。他们意识到了 AI 产出与高质量标准之间的差距。如果你的高级用户群体的参与度下降，而整体数字却因尚未了解功能局限性的新用户而上升，那么你衡量的是无知曲线，而非采用率。

4. 支持信号反转 (The support signal inversion)。统计提及 AI 功能的支持工单。现在将它们分为两类：关于功能无法运行的工单（Bug）和关于用户困惑于输出是否正确的工单（信任）。如果关于信任的工单多于关于 Bug 的工单，说明用户无法评估 AI 的输出——这意味着即使输出是正确的，他们也无法自信地使用它。

5. 工作流重复 (The workflow duplication)。当用户建立手动流程来复制 AI 功能所做的工作时，他们已经用行动投了票。寻找那些影子化你的 AI 功能的电子表格、脚本或手动检查表。这是最清晰的下线信号，因为用户正在主动承担重复工作的成本——一次是为了运行你的功能（因为这是预期或强制的），另一次是为了真正完成工作。

沉没成本放大器

产品团队之所以坚持失败的功能，是因为沉没成本。对于 AI 功能，有三个因素会将这种偏见放大到超出常规的水平。

令人印象深刻的演示效应 (The impressive demo effect)。AI 功能的演示效果极其出色。现场演示你的摘要功能如何从 50 页文档中提取出完美的两段摘要，确实令人印象深刻——这锚定了整个组织对该功能价值的信念。演示成了参考点，而不是日常现实，在现实中，同样的功能可能会产生幻觉（如错误的合同条款），或者遗漏关键的核心条款。关闭该功能意味着承认演示具有误导性，这感觉像是在承认无能，而不是在做一个明智的产品决策。

叙事投资 (The narrative investment)。AI 功能承载了传统功能所不具备的组织叙事。“我们是一家 AI 优先的公司”或“我们的 AI 驱动型工作流每周为客户节省 4 小时”会出现在融资计划书、财报电话会议和招聘材料中。该功能不仅仅是交付代码——它是一种战略承诺。移除它会引发对战略而非仅仅是对产品决策的质疑，而这些对话的成本非常高，以至于团队会下意识地回避它们。

加载中…