Dogfooding 不是一种评估策略
· 阅读需 10 分钟
每个构建 AI 产品的团队都会得出同样安逸的结论:“我们每天都在用它,效果非常好。”这句话听起来像是证据。但它不是。它是房间里最具误导性的信号,而且你的团队越优秀,这个信号就越强烈——更具说服力,也更错误。
“吃狗粮”(Dogfooding)只能告诉你产品在运行。它不能告诉你产品是否奏效。这是两个不同的命题,而它们之间的差距正是你产品发布出问题的地方。从统计学上讲,构建系统的人是所有可能用户中最糟糕的样本。他们共享系统的心理模型,知道它的薄弱环节,并且已经花了几个月时间训练自己,用模型喜欢的方式来组织请求。这根本不是测试人群。这是你从未开展过的一项研究的对照组。
