跳到主要内容

为什么用户会忽略你花了三个月构建的 AI 功能

· 阅读需 12 分钟
Tian Pan
Software Engineer

你的团队花了三个月时间将 LLM 集成到产品中。模型运行正常,延迟在可接受范围内,演示效果也非常棒。你上线了产品,然后眼睁睁地看着使用率指标停留在 4% 不动了。

这是一个典型的过程。大多数 AI 功能的失败并非发生在模型层面,而是在采用(adoption)层面。其根本原因并非技术问题,而是一系列围绕可发现性(discoverability)、信任和习惯养成而做出(或未做出)的产品决策。理解为什么采用率会失败,以及实际上应该衡量和改变什么,是交付“有用 AI”的团队与仅交付“令人印象深刻的演示”的团队之间的分水岭。

按频率排序的三种失败模式

问问你自己,你的 AI 功能在漏斗的哪个环节出现了断裂。这里有三种截然不同的失败模式,每种模式都需要不同的修复方案。

失败模式 1:用户从未发现该功能的存在。 该功能隐藏在一个用户从未点击过的按钮后面,或者在他们从未打开过的设置面板中,抑或是作为在新手引导(onboarding)过程中仅出现一次且再未露面的工具提示(tooltip)。可发现性不仅是位置问题,也是框架问题。“AI 助手” 毫无意义,而 “帮我起草这封邮件” 则是用户现在就可以采取的具体行动。

失败模式 2:用户尝试了一次该功能便弃之不用。 这属于信任层面的失败。用户运行了一个查询,得到了一个感觉不可靠或完全错误的答案,于是判定验证输出结果的成本超过了亲自动手完成任务的成本。对于许多 AI 功能来说,这是正确的理性计算。如果错误率高到用户必须检查每一个输出,那么你构建的工具只是增加了一个步骤,而不是减少了一个。

失败模式 3:用户使用了该功能但没有再次回访。 该功能产生了一次价值,但未能演变成一种习惯。用户需要重复、可靠的成功体验,行为才能变得自动化。仅仅一次良好的体验是不够的——你需要奖励是一致的,且触发机制是自然的。

每种失败模式在分析数据中都有不同的特征。高激活率但低二次使用率指向失败模式 3。低激活率且激活用户没有明显规律则指向失败模式 1。首次使用后立即出现的高跳出率指向失败模式 2。

部署正确的指标衡量

标准的产品分析并不适用于 AI 功能。页面浏览量和按钮点击次数无法告诉你 AI 是否真的有用。你需要以不同的方式部署埋点。

关键指标分为三类:

交互质量指标:

  • 建议采纳率(suggestion acceptance rate):用户保留、编辑或放弃 AI 建议的百分比。
  • 后续行动率(follow-up rate):用户是否根据 AI 输出采取了行动,还是直接关闭了面板。
  • 重试率(retry rate):用户是否重新输入了提示词(re-prompt),这信号表明第一条回复不令人满意。

下游影响指标:

  • 比较 AI 辅助流与非辅助流的任务完成率。
  • 衡量在有 AI 支持的情况下完成任务所需的时间。
  • 留存率关联性——使用 AI 功能是否能预测 30 天留存率?

采用漏斗指标:

  • 功能激活率(有多少符合条件的用户曾经使用过该功能)。
  • 二次使用率(在那些使用过一次的用户中,有多少人在 7 天内再次使用)。
  • 核心用户占比(每周使用该功能超过 N 次的用户)。

大多数团队只追踪激活率,别无其他。这会产生一种误导性的画面:如果位置显眼,一个功能可能显示出不错的激活率,而由于输出质量不够好,二次使用率仅为 8%。如果没有完整的漏斗分析,你可能会把工程时间浪费在可发现性上,而实际问题却是质量。

在做出任何产品更改之前,先建立一个 4 到 6 周的基准线。按用户群组、获客渠道和角色进行细分——不同类型的用户采用模式差异巨大,汇总数据会掩盖哪些细分市场实际上正在参与其中。

可发现性:不仅是位置问题

本能反应是增加一个显眼的按钮,发起邮件营销,或者增加一个新手引导步骤。这些固然有帮助,但还不够。可发现性有两个维度:用户需要知道该功能的存在,并且他们需要理解该功能对他们的具体作用。

通用的入口点(“试试我们的新 AI!”)的表现一贯不如上下文相关的触发器。在用户正要开始一项 AI 可以提供帮助的任务时准确出现的提示,其转化率远高于侧边栏中的任何按钮。如果你构建了一个可以总结文档的 AI,触发器应该在用户打开长文档时出现,而不是出现在导航栏中。

上下文触发器比静态 UI 需要更多的产品工作,因为它们需要推断用户状态。但其带来的采用率差异足够显著,通常值得投资。从 AI 能提供最清晰、最快价值的两到三个用户任务开始,专门为这些时刻设计触发器。

渐进式披露(progressive disclosure)同样适用于功能传达以及 UI 设计。不要试图在新手引导弹窗中解释 AI 能做的一切。展示它现在能做的一件事,让他们体验到一次成功,并随着他们的深入参与展示更多功能。目标是让能力的揭示与信任的积累相匹配。

信任脚手架:降低验证成本

用户对 AI 的不信任并非源于对 AI 认识论的深思熟虑。他们的不信任是因为曾被“坑”过:他们信任了 AI 的输出,结果输出是错的,导致后续环节出了问题。验证成本的计算非常简单:如果我横竖都要复核每一项 AI 输出,那么 AI 就没有为我节省任何精力。

加载中…
References:Let's stay in touch and Follow me for more thoughts and updates