·tian
你的评估集里只有你已经解决的问题
你的 LLM 评估分数在攀升，是因为幸存者偏差过滤掉了那些再也没有回来的用户。本文将告诉你如何发现你的评估套件无法察觉的失败案例。
evaluation
llmops
survivorship-bias
observability
+1·tian
聚合指标隐藏的首次用户断崖
AI 功能的聚合指标往往看起来健康,但新用户却在一两次尝试后就流失。本文剖析首次用户断崖如何隐藏在你的指标中,以及消除它的几种模式。
insider
ai-product
retention
onboarding
+1·tian
你的提示词专家只有 14 个月的半衰期
掌握你提示词和评估知识的工程师，其市场估值的上涨速度远快于你的薪酬体系调整速度。本文将解释为什么通用 IC 职级晋升标准无法识别他们的价值，以及在他们离开之前你应该做出哪些改变。
ai-engineering
engineering-management
retention
career-ladder
·tian
AI 功能 PMF 信号：为什么你的指标在欺骗你
NPS、点赞评分和激活率等传统信号对 AI 功能而言系统性地具有误导性。以下是真正的产品市场契合度的实际表现——以及如何衡量它。
ai
product
metrics
retention
+1