跳转到主要内容

为什么用户会忽略你花了三个月构建的 AI 功能

阅读需 2 分钟Tian PanTian Pan

你的团队花了三个月时间将 LLM 集成到产品中。模型运行正常,延迟在可接受范围内,演示效果也非常棒。你上线了产品,然后眼睁睁地看着使用率指标停留在 4% 不动了。

这是一个典型的过程。大多数 AI 功能的失败并非发生在模型层面,而是在采用(adoption)层面。其根本原因并非技术问题,而是一系列围绕可发现性(discoverability)、信任和习惯养成而做出(或未做出)的产品决策。理解为什么采用率会失败,以及实际上应该衡量和改变什么,是交付“有用 AI”的团队与仅交付“令人印象深刻的演示”的团队之间的分水岭。

按频率排序的三种失败模式

问问你自己,你的 AI 功能在漏斗的哪个环节出现了断裂。这里有三种截然不同的失败模式,每种模式都需要不同的修复方案。

失败模式 1:用户从未发现该功能的存在。 该功能隐藏在一个用户从未点击过的按钮后面,或者在他们从未打开过的设置面板中,抑或是作为在新手引导(onboarding)过程中仅出现一次且再未露面的工具提示(tooltip)。可发现性不仅是位置问题,也是框架问题。“AI 助手” 毫无意义,而 “帮我起草这封邮件” 则是用户现在就可以采取的具体行动。

失败模式 2:用户尝试了一次该功能便弃之不用。 这属于信任层面的失败。用户运行了一个查询,得到了一个感觉不可靠或完全错误的答案,于是判定验证输出结果的成本超过了亲自动手完成任务的成本。对于许多 AI 功能来说,这是正确的理性计算。如果错误率高到用户必须检查每一个输出,那么你构建的工具只是增加了一个步骤,而不是减少了一个。

失败模式 3:用户使用了该功能但没有再次回访。 该功能产生了一次价值,但未能演变成一种习惯。用户需要重复、可靠的成功体验,行为才能变得自动化。仅仅一次良好的体验是不够的——你需要奖励是一致的,且触发机制是自然的。

每种失败模式在分析数据中都有不同的特征。高激活率但低二次使用率指向失败模式 3。低激活率且激活用户没有明显规律则指向失败模式 1。首次使用后立即出现的高跳出率指向失败模式 2。

部署正确的指标衡量

标准的产品分析并不适用于 AI 功能。页面浏览量和按钮点击次数无法告诉你 AI 是否真的有用。你需要以不同的方式部署埋点。

关键指标分为三类:

交互质量指标:

  • 建议采纳率(suggestion acceptance rate):用户保留、编辑或放弃 AI 建议的百分比。
  • 后续行动率(follow-up rate):用户是否根据 AI 输出采取了行动,还是直接关闭了面板。
  • 重试率(retry rate):用户是否重新输入了提示词(re-prompt),这信号表明第一条回复不令人满意。

下游影响指标:

  • 比较 AI 辅助流与非辅助流的任务完成率。
  • 衡量在有 AI 支持的情况下完成任务所需的时间。
  • 留存率关联性——使用 AI 功能是否能预测 30 天留存率?

采用漏斗指标:

  • 功能激活率(有多少符合条件的用户曾经使用过该功能)。
  • 二次使用率(在那些使用过一次的用户中,有多少人在 7 天内再次使用)。
  • 核心用户占比(每周使用该功能超过 N 次的用户)。

大多数团队只追踪激活率,别无其他。这会产生一种误导性的画面:如果位置显眼,一个功能可能显示出不错的激活率,而由于输出质量不够好,二次使用率仅为 8%。如果没有完整的漏斗分析,你可能会把工程时间浪费在可发现性上,而实际问题却是质量。

在做出任何产品更改之前,先建立一个 4 到 6 周的基准线。按用户群组、获客渠道和角色进行细分——不同类型的用户采用模式差异巨大,汇总数据会掩盖哪些细分市场实际上正在参与其中。

可发现性:不仅是位置问题

本能反应是增加一个显眼的按钮,发起邮件营销,或者增加一个新手引导步骤。这些固然有帮助,但还不够。可发现性有两个维度:用户需要知道该功能的存在,并且他们需要理解该功能对他们的具体作用。

通用的入口点(“试试我们的新 AI!”)的表现一贯不如上下文相关的触发器。在用户正要开始一项 AI 可以提供帮助的任务时准确出现的提示,其转化率远高于侧边栏中的任何按钮。如果你构建了一个可以总结文档的 AI,触发器应该在用户打开长文档时出现,而不是出现在导航栏中。

上下文触发器比静态 UI 需要更多的产品工作,因为它们需要推断用户状态。但其带来的采用率差异足够显著,通常值得投资。从 AI 能提供最清晰、最快价值的两到三个用户任务开始,专门为这些时刻设计触发器。

渐进式披露(progressive disclosure)同样适用于功能传达以及 UI 设计。不要试图在新手引导弹窗中解释 AI 能做的一切。展示它现在能做的一件事,让他们体验到一次成功,并随着他们的深入参与展示更多功能。目标是让能力的揭示与信任的积累相匹配。

信任脚手架:降低验证成本

用户对 AI 的不信任并非源于对 AI 认识论的深思熟虑。他们的不信任是因为曾被“坑”过:他们信任了 AI 的输出,结果输出是错的,导致后续环节出了问题。验证成本的计算非常简单:如果我横竖都要复核每一项 AI 输出,那么 AI 就没有为我节省任何精力。

会员专享

余下内容仅对会员开放。

会员可读完整内容 —— 每一个公开发布的观点背后,那些框架、决策与推理的全貌。

  • 完整文章,包含未公开存档的部分
  • 可落地的工作框架,附带权衡与决策依据
  • 新文章抢先看,先于公开发布

随时取消 · 一次订阅,畅读全部

参考资料

保持联系,关注我获取更多内容

阅读需 11 分钟

用户习以为常的“你确定吗?”确认步骤

AI 智能体中统一的确认提示会导致习惯化:用户会以处理低风险操作的反射动作来点击高风险操作。具备风险意识的摩擦预算、制品预览和量化的点击响应时间可以重建安全层。

insider
ai-agents
阅读需 12 分钟

对话中途耗尽的 Token 预算:为什么免费用户觉得你的模型变笨了

按用户分配的 Token 预算往往在对话中途咬人最狠——静默截断、丢弃工具调用、模型回退都会被用户读成质量退化,而升级转化的对话从未发生。

insider
ai-product
阅读需 8 分钟

解释债务:为什么用户有权知道你的AI做了什么

团队花费数月优化AI输出质量,却在没有解释层的情况下上线——本文分析了这一选择所积累的代价,以及能够解决问题的轻量级归因模式、置信度信号和申诉机制。

insider
ai-engineering
阅读需 9 分钟

构建信任修复流程:当你的 AI 犯下显而易见的错误后该怎么办

一份关于在 AI 系统出现显性错误时设计信任修复流程的实践指南 —— 涵盖软失败与硬失败、优雅降级、撤销流程,以及真正衡量信任是否恢复的指标。

insider
ai
阅读需 8 分钟

AI 审计追踪是产品功能,而非合规勾选项

向用户展示你的 AI 智能体实际做了什么——调用了哪些工具、检索了哪些数据、在何处产生了分支——比任何功能开关实验都能更可靠地提高采用率。以下是构建方法。

insider
ai-agents