跳到主要内容

2 篇博文 含有标签「product-metrics」

查看所有标签

没有人正确衡量的 AI 功能采用曲线

· 阅读需 10 分钟
Tian Pan
Software Engineer

你的 AI 功能三个月前上线了。DAU 在增长。会话时长在攀升。仪表盘一片绿色。但这里有一个让人不舒服的问题:你的用户到底是在真正采用这个功能,还是仅仅在容忍它?

大多数团队用衡量传统产品功能的相同指标来跟踪 AI 功能采用——日活跃用户数、会话时长、功能激活率。当功能表现是确定性的时候,这些指标运作良好。点击按钮,得到结果,衡量参与度。但 AI 功能有本质区别:它们的输出是变化的,价值是概率性的,用户通过反复接触建立信任(或不信任)。标准指标不仅无法捕捉这一点——它们还在积极地误导你。

AI 功能自相残杀:当你的智能功能悄悄杀死核心产品

· 阅读需 11 分钟
Tian Pan
Software Engineer

你为文档编辑器推出了一个 AI 驱动的摘要功能。采用率很高——第一周就有 40% 的用户激活了它。你的产品经理在 Slack 上写了一条庆祝消息。两个月后,平均会话时长下降了 25%,协作编辑量减少,你的高价值用户正在悄悄流失。没有人将这些趋势与那个闪亮的新功能联系起来,因为跟踪摘要功能的仪表板显示的全是绿色指标。

这就是 AI 功能自相残杀:当 AI 快捷方式解决了用户的即时问题,同时摧毁了让你的产品值得付费的参与循环。这是当今产品开发中最隐蔽的失败模式之一,因为跟踪功能本身的每个指标看起来都很健康,即使产品级别的指标正在衰退。