2 篇博文 含有标签「distribution-shift」

你的 AI 功能上线了。它运行良好。用户正在使用。满意度评分在上升。你回头运行了原始的评估套件——依然是绿灯。六个月后，某些事情悄然出了问题，但你的仪表盘还没有显示出来。

这就是协同演化陷阱（co-evolution trap）。在你的 AI 功能部署的那一刻，它就开始改变使用它的用户。他们调整工作流、措辞和预期。这种适应使得你的功能实际处理的输入分布与发布时测量的分布产生偏离。评估套件保持绿灯，是因为它停留在部署前的世界。现实世界的表现以评估套件从未捕捉到的方式发生了漂移。

你的 AI 搜索功能在三个月前上线了。早期的评估结果非常亮眼——你的团队运行了 1,000 次查询，准确率达到了 83%。点赞率（Thumbs-up rates）很高，用户参与度也很好。

然而，在上线六周后，查询重构率（query reformulation rates）开始上升。会话放弃率（session abandonment）也随之增加。定性审查证实了这一点：用户提出的问题与上线前完全不同，而模型的服务质量已不如从前。

模型没有改变。底层数据也没有改变。产品质量下降是因为用户适应了它。

这就是反馈循环陷阱。它与大多数机器学习工程师习惯处理的外部概念漂移（concept drift）有着本质的不同——而且一旦开始，修复起来要困难得多。