聚合指标隐藏的首次用户断崖

你的 AI 功能看起来很健康。周活跃用户持平或微涨,满意度评分为正,仪表板告诉你应该多做这类功能。PM 在下一轮规划会议上引用了这个指标,工程主管点头同意,路线图上又多了一个相邻功能。

然后有人按用户使用时长对图表进行分段,画面瞬间反转。老用户——那些在功能上线时就已存在的用户——每天都在深度使用它。首次用户在两次交互内就跳出了。那条"持平"的曲线其实是两个队列在相互抵消:一条向上倾斜的幂律曲线,和一条向下倾斜的流失曲线,加总成一个谎言。

这就是首次用户断崖,也是看起来在聚合层面尚可的 AI 功能最常见的失败模式。它不是因为模型不好造成的,而是因为你的产品把一个空白文本框丢给新用户,并假设对构建该功能的团队管用的东西,对其他所有人也会管用。

为什么聚合指标会把断崖抹平成一条直线

结构性问题在于:在功能上线后大量使用 AI 功能的人,并不是三个月后会使用它的人的代表性样本。内部用户、早期采用者,以及在上线公告期间注册的那批用户,做过以下事情的某种组合:读过你的发布说明、看过一段 Loom 录屏、和团队里的某个人聊过,或者通过反复试探把功能琢磨出了套路。当你开始测量时,他们已经付过了学习成本。

新队列没有。他们落在同样的 UI 上,但没有那份隐含的教学大纲。当你把他们的行为和老用户平均到一起,得到的数字哪一组都描述不了。

同样的动态会在任何有学习曲线的产品中出现,但 AI 功能因为一个特定的原因把它放大了:输入语法是开放式的。在普通的 SaaS 功能中,UI 的可供性界定了用户能尝试什么。按钮、菜单和表单让错误答案难以表达。在 AI 功能中,输入通常是一个文本框。每一个错误的提问距离每一个正确的提问只差一次按键,而模型会尽职地响应所有提问。新用户失败时不会看到错误提示,他们看到的是一个平庸的答案,而且他们没办法知道这是不是自己的责任。

于是他们离开了。他们的离开不会以堆栈跟踪或工单的形式出现,而是两周后以一个略低的留存数字出现,没人能把它归因到任何具体的事情上。

双峰使用曲线才是真实的形状

如果你按平台使用时长画出每周每用户交互数,一个存在首次用户问题的 AI 功能看起来是双峰的。有一小群人每周做二三十次交互,中间有一条长长的几乎不使用该功能的尾巴,在零的位置还有一团不容忽视的质量。聚合平均值落在中间某处,什么也告诉不了你。

可执行的视图不是平均值,而是队列留存图——按"首次使用 AI 功能的周次"分段,而不是按注册的周次。你要问的是:在第 N 周首次尝试 AI 功能的用户中,有多少在第 N+1、N+2、N+4 周回来了?

要寻找两种模式:

• 微笑形留存。 第一周陡降,然后尾部在零以上趋平。这是用户分裂为"懂了"和"没懂"两群人。尾巴是那些建立了心智模型的用户的稳态;陡降是其他所有人。
• 倒 J 形。 第一周下降,到第四周接近零留存。功能有学习曲线但没有平台期——即使是回访过一次的用户最终也都跳出了。这通常意味着功能交付了一次性的惊艳,但没有反复出现的待办任务。

这两种模式都不会出现在周活跃用户数中。但只要你按首次使用队列拆分,二者立刻可见。

输入语法是没人在教的那部分

接下来是大多数团队低估的部分。该功能需要一个心智模型。心智模型不在 UI 里,它存在于构建该功能的人的脑子里,加上少数几百个有耐心去反向工程它的用户的脑子里。

心智模型包含以下这类内容:

• 模型实际擅长哪类请求,以及它会尝试但失败的那类请求。
• 触发长回答的隐式动词,以及触发短回答的隐式动词。
• 从你的私有上下文中拉取信息的措辞,以及只能得到通用答案的措辞。
• 输入顺序何时重要,以及模型会默默忽略哪些输入。

加载中…