没有人正确衡量的 AI 功能采用曲线
你的 AI 功能三个月前上线了。DAU 在增长。会话时长在攀升。仪表盘一片绿色。但这里有一个让人不舒服的问题:你的用户到底是在真正采用这个功能,还是仅仅在容忍它?
大多数团队用衡量传统产品功能的相同指标来跟踪 AI 功能采用——日活跃用户数、会话时长、功能激活率。当功能表现是确定性的时候,这些指标运作良好。点击按钮,得到结果,衡量参与度。但 AI 功能有本质区别:它们的输出是变化的,价值是概率性的,用户通过反复接触建立信任(或不信任)。标准指标不仅无法捕捉这一点——它们还在积极地误导你。
为什么传统指标对 AI 功能说谎
DAU 告诉你有多少人打开了一个页面。它没有说明该页面上的 AI 输出是否有用。一个触发 AI 建议、阅读后皱眉、然后手动输入自己答案的用户仍然被计为活跃用户。一个看到 AI 生成的摘要、完全跳过它、直接滚动到原始数据的用户仍然被记录为一次会话。
会话时长更具欺骗性。对于传统功能,更长的会话通常与参与度相关。对于 AI 功能,更长的会话可能意味着相反的情况。一个花十分钟编辑 AI 生成草稿的用户可能在与输出搏斗,而不是从中受益。一个在三十秒内接受草稿然后继续前进的用户产生了更短的会话,但提取了更多的价值。
这种逆转让团队措手不及。微软关于 Copilot 365 推广的内部数据显示,最初参与度最高的组织——第一个月 60% 的活跃用户——到第三个月经常降至 30%。这个峰值是好奇心,不是采用。与此同时,GitHub Copilot 自己的指标显示,开发者实际接受的代码补全建议只有约 30%。其余 70% 被生成、展示然后丢弃。如果你只跟踪"收到建议的用户",你就在把 70% 的浪费和 30% 的价值一起计算。
真正重要的指标
真正的 AI 采用体现在大多数分析管道默认不捕获的行为信号中。三个类别最为重要:
编辑接受比。 当用户收到 AI 输出时,他们怎么处理?完全接受、轻微编辑、大幅改写,还是完全丢弃?这四个类别的分布比任何激活指标都能告诉你更多。一个健康的 AI 功能显示大多数是轻微编辑——用户足够信任输出将其作为起点,但会根据自己的上下文进行优化。一个大多数用户要么盲目接受要么完全丢弃的功能在每种情况下都有不同的问题:盲目接受意味着用户停止了审查(危险),高丢弃率意味着功能没有在交付价值(浪费)。
功能绕过率。 这是遇到 AI 功能并主动选择手动路径的用户百分比。如果你的产品提供 AI 生成的提交信息,而 65% 的用户每次都点击"自己写",那就是绕过。如果你的搜索栏显示 AI 建议的查询,而大多数用户忽略它们自己输入,那也是绕过。这个指标是煤矿中的金丝雀——它在 DAU 下降之前就会上升,因为用户在停止访问页面之前就停止了信任该功能。
覆盖时间。 当用户确实覆盖 AI 输出时,他们多快这样做?一个看到 AI 建议后立即开始输入自己版本的用户已经认定该功能不可靠。一个阅读建议、停顿然后修改的用户实际上在考虑输出。展示和覆盖之间的延迟是信任的代理指标。亚秒级的覆盖意味着用户甚至没有阅读 AI 生成的内容。
新鲜感悬崖:区分好奇心和承诺
每个 AI 功能都遵循一个可预测的采用曲线,它看起来与传统 SaaS 采用的 S 曲线完全不同。以下是实际发生的情况:
第 1-2 周:新鲜感峰值。 所有人都尝试该功能。使用指标看起来非常出色。高管把仪表盘转发给董事会。这个阶段对预测长期采用毫无意义。
第 3-6 周:幻灭期下降。 得到糟糕结果的用户停止尝试。得到尚可结果的用户忘记该功能的存在。DAU 下降 40-60%。这是大多数团队恐慌的时候,要么砍掉功能,要么加倍内部推广。
第 7-11 周:习惯养成窗口。 微软的研究表明,开发者大约需要 11 周时间才能充分实现 AI 编码工具的生产力收益。熬 过幻灭期下降的用户现在正在建立心智模型——AI 什么时候有帮助,什么时候没有。他们发展出选择性信任——在某些任务中使用该功能,在其他任务中绕过它。
第 12 周以后:真正的采用平台期。 这是唯一重要的数字,它通常远低于新鲜感峰值。Jellyfish 2025 年跨工程组织的数据发现,GitHub Copilot 和 Cursor 等工具在度过初始流失期的用户中实现了 89% 的 20 周留存率。但"度过初始流失期的用户中"这个限定词承载着巨大的意义——分母在留存率稳定之前已经大幅缩小。
陷阱在于在峰值时衡量并宣布胜利,或在下降时衡量并宣布失败。任何单一快照都无法告诉你什么。你需要完整的曲线。
- https://jellyfish.co/blog/2025-ai-metrics-in-review/
- https://docs.github.com/en/copilot/concepts/copilot-usage-metrics/copilot-metrics
- https://blog.jetbrains.com/ai/2025/03/ai-code-completion-less-is-more/
- https://whatfix.com/blog/microsoft-copilot-adoption/
- https://mixpanel.com/blog/ai-benchmarks-2026/
- https://www.javacodegeeks.com/2026/04/the-ai-coding-assistant-has-been-on-your-team-for-a-year-what-did-it-actually-change-about-how-we-write-software.html
- https://www.worklytics.co/resources/2025-ai-adoption-benchmarks-employee-generative-ai-usage-statistics
