为什么用户会忽略你花了三个月构建的 AI 功能
你的团队花了三个月时间将 LLM 集成到产品中。模型运行正常,延迟在可接受范围内,演示效果也非常棒。你上线了产品,然后眼睁睁地看着使用率指标停留在 4% 不动了。
这是一个典型的过程。大多数 AI 功能的失败并非发生在模型层面,而是在采用(adoption)层面。其根本原因并非技术问题,而是一系列围绕可发现性(discoverability)、信任和习惯养成而做出(或未做出)的产品决策。理解为什么采用率会失败,以及实际上应该衡量和改变什么,是交付“有用 AI”的团队与仅交付“令人印象深刻的演示”的团队之间的分水岭。
按频率排序的三种失败模式
问问你自己,你的 AI 功能在漏斗的哪个环节出现了断裂。这里有三种截然不同的失败模式,每种模式都需要不同的修复方案。
失败模式 1:用户从 未发现该功能的存在。 该功能隐藏在一个用户从未点击过的按钮后面,或者在他们从未打开过的设置面板中,抑或是作为在新手引导(onboarding)过程中仅出现一次且再未露面的工具提示(tooltip)。可发现性不仅是位置问题,也是框架问题。“AI 助手” 毫无意义,而 “帮我起草这封邮件” 则是用户现在就可以采取的具体行动。
失败模式 2:用户尝试了一次该功能便弃之不用。 这属于信任层面的失败。用户运行了一个查询,得到了一个感觉不可靠或完全错误的答案,于是判定验证输出结果的成本超过了亲自动手完成任务的成本。对于许多 AI 功能来说,这是正确的理性计算。如果错误率高到用户必须检查每一个输出,那么你构建的工具只是增加了一个步骤,而不是减少了一个。
失败模式 3:用户使用了该功能但没有再次回访。 该功能产生了一次价值,但未能演变成一种习惯。用户需要重复、可靠的成功体验,行为才能变得自动化。仅仅一次良好的体验是不够的——你需要奖励是一致的,且触发机制是自然的。
每种失败模式在分析数据中都有不同的特征。高激活率但低二次使用率指向失败模式 3。低激活率且激活用户没有明显规律则指向失败模式 1。首次使用后立即出现的高跳出率指向失败模式 2。
部署正确的指标衡量
标准的产品分析并不适用于 AI 功能。页面浏览量和按钮点击次数无法告诉你 AI 是否真的有用。你需要以不同的方式部署埋点。
关键指标分为三类:
交互质量指标:
- 建议采纳率(suggestion acceptance rate):用户保留、编辑或放弃 AI 建议的百分比。
- 后续行动率(follow-up rate):用户是否根据 AI 输出采取了行动,还是直接关闭了面板。
- 重试率(retry rate):用户是否重新输入了提示词(re-prompt),这信号表明第一条回复不令人满意。
下游影响指标:
- 比较 AI 辅助流与非辅助流的任务完成率。
- 衡量在有 AI 支持的情况下完成任务所需的时间。
- 留存率关联性——使用 AI 功能是否能预测 30 天留存率?
采用漏斗指标:
- 功能激活率(有多少符合条件的用户曾经使用过该功能)。
- 二次使用率(在那些使用过一次的用户中,有多少人在 7 天内再次使用)。
- 核心用户占比(每周使用该功能超过 N 次的用户)。
大多数团队只追踪激活率,别无其他。这会产生一种误导性的画面:如果位置显眼,一个功能可能显示出不错的激活率,而由于输出质量不够好,二次使用率仅为 8%。如果没有完整的漏斗分析,你可能会把工程时间浪费在可发现性上,而实际问题却是质量。
在做出任何产品更改之前,先建立一个 4 到 6 周的基准线。按用户群组、获客渠道和角色进行细分——不同类型的用户采用模式差异巨大,汇总数据会掩盖哪些细分市场实际上正在参与其中。
