跳到主要内容

AI 功能下线指南:如何停用那些用户几乎不用的功能

· 阅读需 13 分钟
Tian Pan
Software Engineer

你的团队在六个月前发布了一项由 AI 驱动的摘要功能。采用率停滞在 8% 的用户。模型调用每月耗资 4,000 美元。构建该功能的工程师已经调到了另一个团队。现在,模型提供商正在涨价。

所有的直觉都在告诉你:砍掉它。但事实证明,停掉一个 AI 功能要比停掉任何其他类型的功能都难得多——大多数团队都是在退役过程中,当合规问题开始出现、核心用户开始反抗时,才以惨痛的方式意识到这一点的。

这是一份在发布功能之前就应该存在的指南,但在你盯着那些明显指向退出的使用率图表时,它最为有用。

“迭代还是下线”的决策并不显而易见

团队犯的第一个错误是将低采用率与失败混为一谈。一个采用率为 8% 的 AI 功能可能正在为你价值最高的账户提供核心价值。问题不在于“它是否被使用?”,而在于“谁在用它,它消失后会发生什么,以及让它变得更好需要多少成本?”

一个有用的框架可以从三个维度进行拆解:

使用集中度。 跟踪核心用户与普通用户的比例。如果你功能 80% 的活跃度来自 20% 的用户,且这 20% 的用户对应着企业级客户或高 LTV 客户,那么下线的真实成本比原始采用率数据所暗示的要高得多。一个停用了高级过滤功能的平台发现,94% 的用户从未碰过它——但那 6% 使用过的用户是他们最大的客户,草率退役导致的预计流失率占到了企业收入的 28%。通过缓慢、精细化 (white-glove) 的迁移,这一比例降至 7%。

单位经济效益。 AI 功能具有随使用量扩展的可变基础设施成本——这意味着一个在每月 10,000 次使用时勉强维持的功能,在 100,000 次使用时会变得具有结构性破坏。如果每次激活的边际成本增长速度快于边际收入或留存价值,那么你就面临着一个迭代无法解决的经济问题。无论用户多么喜爱,这些功能都应该被下线。

趋势与快照对比。 一个采用率为 8% 但月环比增长 40% 的功能,与一个在初期激增后五个月持平的功能,释放的是不同的信号。初期激增后持平通常意味着该功能解决了一个没人真正拥有的问题,或者发生频率不如你预期的那样高。在绝对数值较低的情况下保持稳定增长,通常意味着该功能需要的是分发,而不是删除。

如果一个功能在这三个维度上都失败了——用户群可以承受损失、结构性不经济且增长停滞——那么下线就是正确的选择。更困难的情况是它通过了其中一两个。这才是真正考验判断力的地方。

为什么 AI 功能的退役在结构上更难

传统软件功能难以退役是因为政治惯性和用户沟通。AI 功能难以退役除了这些原因外,还有一系列传统产品功能不存在的技术和法律复杂性。

模型版本化产生了隐性依赖。 当用户围绕你的 AI 功能构建工作流时,他们是在围绕特定模型的行为构建——它处理边缘情况的独特方式、其输出格式、其失败模式。当你下线该功能时,你不仅仅是移除一个按钮;你终止了一项行为契约,而用户可能在任何地方都没有记录这项契约,也无法在其他地方轻松复制。这在结构上不同于移除 UI 元素或弃用 API 端点。替代方案不仅在功能上不完全等同——而且在行为上有着差异,这种差异是你和用户都无法预先完全列举的。

非确定性使得“等效替代”变得难以定义。 对于传统软件,你可以测试两个版本并宣布它们是等效的。而对于 AI,你是在比较输出的分布。一个在你的评估套件 (eval suite) 中表现“更好”的替代模型,对于评估未涵盖的特定用户工作流来说,表现可能会更差。不存在一种完全无回归 (regression-free) 的推进路径。

用户与 AI 行为建立联系,而不仅仅是 AI 功能。 关于 AI 弃用的研究指出,围绕 AI 模型的语气、推理风格和失败模式建立习惯的用户,在失去它时的感受与失去一个生产力工具不同。这种行为契约是隐性且个性化的。这使得沟通挑战比弃用一个 CRUD 功能更加微妙。

数据依赖比功能的寿命更长。 在 AI 功能被移除后,其数据产物——提示词 (prompts)、模型输出、评估记录、微调数据集——仍保留在你的基础设施中。它们可能受 GDPR 数据保留要求、欧盟 AI 法案 (EU AI Act) 的记录保存义务或要求审计访问的企业合同的约束。功能消失了,但合规义务依然存在。

没人注意到的合规陷阱:直到为时已晚

下线一项 AI 功能涉及 GDPR 的方式,往往会让大多数团队措手不及。核心矛盾在于:GDPR 第 5 条倾向于快速删除个人数据,而《欧盟 AI 法案》(针对高风险系统)则要求文档保留长达 10 年。这些义务并不能轻易调和。

使合规具有操作性的架构原则是“分离”:原始个人数据(包含用户名、标识符或私人内容的提示词)应根据你的标准保留策略进行自动删除。而审计追踪(系统做了什么、何时做以及为什么做)应由非个人的、不可逆匿名化的产物构建,这些产物可以无限期保留而不会产生 GDPR 风险。

如果你在发布功能时没有将这种分离构建到日志架构中,那么在下线功能时这就变得迫在眉睫。你需要能够回答三个问题:

  1. 该功能处理了哪些个人数据,它是被删除了还是被伪匿名化了?
  2. 哪些模型输出(如果有的话)可以追溯到个人数据输入,你的“删除权”风险敞口是多少?
  3. 如果该功能在《欧盟 AI 法案》下属于高风险类别,你是否拥有关于其决策过程的 10 年文档记录?

“被遗忘权”在 AI 系统中尤为复杂。删除用户的提示词并不会删除这些提示词对微调模型产生的任何影响。大多数团队对此没有对策。如果你正在下线一个在训练中使用了用户数据的功能,在工程团队动工之前,法务和合规部门应该先介入。

关于面向用户的数据可迁移性:当你下线一项功能时,用户有理由期望能够以结构化格式导出他们的数据——提示词、响应、时间戳。在 GDPR 和新兴的数据可迁移性法规下,这日益成为一项法律要求。在下线日期之前构建导出功能,而不是等用户提出要求之后。

迁移架构

最小化用户流失和支持负担的运营模式分为三个阶段:

第一阶段:识别与细分。 在宣布任何消息之前,审计谁在以何种方式使用该功能。将用户分为三组:核心用户(活跃度前 20%,或任何有记录工作流的企业账户)、临时用户(偶尔使用,可能不会注意到)、集成用户(任何在功能之上构建了自动化或 API 集成的用户)。每组都需要不同的应对策略。

第二阶段:并行可用与主动迁移。 最糟糕的下线模式是直接切断并扔出一份迁移文档。更好的模式是让即将下线的功能与其替代方案同时运行 60-90 天,同时主动帮助用户迁移。这能让你获得关于迁移速度的真实数据,并在最后期限前发现障碍。针对每个用户细分的功能标志(Feature flags)可以让你独立控制每个组的上线过程。

第三阶段:为核心用户提供“白手套”服务。 临时用户可以通过文档和应用内消息来处理。核心用户需要直接触达、专门的迁移联系人,以及对所需工作流更改的现实评估。目标不是“功能对等”,而是“工作流对等”。一个以不同方式实现相同功能的新系统,仍可能破坏那些在特定方面比较脆弱的工作流。

行业内对于模型停用的实践通常是:在完全移除前至少提供 90 天的弃用状态,对于重大迁移则提供 6-12 个月的窗口期。如果你的功能具有显著的集成表面积,请尽量延长这个期限。

AI 功能的“优雅降级”到底意味着什么

在传统软件中,优雅降级意味着当依赖项失败时退回到更简单的实现。对于 AI 功能,它的内涵更微妙:在 AI 组件被移除时,行为仍可预测,而不仅仅是变慢。

几种有效的模式:

退回到非 AI 行为。 如果 AI 功能是增强现有工作流(更智能的搜索、自动分类、生成式摘要),那么底层工作流在没有 AI 辅助的情况下可能仍然有效。让退回方案成为同一任务的非 AI 版本,而不是一个空白的错误状态。

带透明度的降级。 当系统解释了发生了什么变化以及原因时,用户比面对功能无故消失能更好地处理能力缺失。“AI 驱动的建议已不再提供;以下是手动执行此操作的方法”比 404 错误更好。

针对集成的版本锁定。 如果外部系统通过 API 与你的 AI 功能集成,请在弃用窗口期内对他们的访问进行版本锁定。不要在迁移过程中更改契约。

行为版本控制。 在下线之前,为该功能的行为拍摄快照——包括其系统提示词、模型版本以及一组具有代表性的输入/输出对。这不是为了用户,而是为了你。如果企业客户就该功能过去的行为发起争议,你会需要该功能在特定时间点行为的权威文档。

组织层面的现实

AI 功能下线的最大难点不在于技术,也不在于法律 —— 而在于政治。工程团队希望清理掉其中的复杂性。产品团队则急于开始下一个项目。客户成功团队不想向企业级客户解释为什么他们赖以生存的功能要被取消。法务团队则想在任何人动手之前,搞清楚这里面的责任风险。

下线决策应当由一位对这四个利益相关方都具有权威的明确负责人来拍板。在大多数组织中,这通常是获得高层明确支持的产品领导者。仅由工程团队做出的决定(或者在没有客户成功团队参与的情况下,由工程和产品团队达成的共识)往往会在沟通阶段引发爆炸。

一个被低估的因素是:AI 功能的下线会开创一个先例。那些目睹你下线某个 AI 功能的用户,现在会将这种心理模型应用到你发布的每一个其他 AI 功能上。如果你下线的过程混乱、仓促或沟通不畅,会更广泛地损害用户对平台稳定性的信任。做好这项工作的投入不仅是为了这个功能,更是为了下一个功能的信誉。

关掉开关前的清单

在宣布下线之前:

  • 法务和合规部门已就数据处理及 GDPR/《欧盟 AI 法案》义务签字认可
  • 已构建并测试了用户导出功能
  • 已识别出核心用户并启动了触达沟通(而不仅仅是停留在计划阶段)
  • 已归档替代方案或备选方案,并提供工作流级别的迁移指南
  • 功能开关(Feature flagging)已到位,以便进行分阶段推行
  • 已保存行为快照(系统提示词、模型版本、具有代表性的输入输出对)
  • 沟通了弃用时间线,从公开宣布起至少留出 90 天的窗口期
  • 已向支持团队进行简报,并提供针对常见异议的应对脚本
  • 已识别出 API 集成方,并单独发送了技术迁移指南

你准备就绪的信号是:你的客户成功团队可以在不咨询工程团队的情况下,描述出针对三个最复杂的企业账号的迁移方案。如果他们做不到,说明你还没准备好。

当这一切都不重要时:强制切断

有些功能必须快速了结 —— 比如安全漏洞、合规违约,或者模型供应商给出的 30 天关闭通知。在这些情况下,上述指南是理想化的,而非操作性的。

对于强制切断的情况,优先级会发生反转:首先是数据删除(消除责任风险),其次是用户沟通(即便不完美也要承认并解释),最后是迁移支持(在时间允许的范围内尽力而为)。记录下导致时间紧迫的所有原因;这份记录能在随后的任何监管或合同纠纷中保护你。

那些成功处理过强制切断的团队给出的教训是一致的:过度沟通,即使你没有什么新消息要宣布。沉默会被解读为无能或不诚实。定期的进度更新,哪怕内容是“暂无变化”,也比一个姗姗来迟的完美公告更能赢得信任。

结语

70% 到 85% 的 AI 项目都没有达到最初的预期。这意味着 AI 功能下线并不是极端情况 —— 它是运营 AI 产品的常规组成部分。处理得好的团队将下线视为头等的工程和产品准则,而不是事后才想起来补救的事情。

建立下线指南的最佳时机是在功能发布之前。其次好的时机,就是现在。

References:Let's stay in touch and Follow me for more thoughts and updates