1 篇博文 含有标签「shipping」

每个发布 LLM 功能的团队最终都会开同一种会。有人会问：新模型 —— 或者新提示词、新的检索优化 —— 是否已经好到可以发布。整个周末都在进行测试的高级工程师说，感觉效果更犀利了。产品经理（PM）则提到，上周正好有客户投诉过这个问题。团队里的怀疑论者翻出一份对话记录，显示旧版本明显更好。45 分钟后，没人改变主意，最后的决定要么由发言最积极的人做出，要么由职位最高的人拍板。

那场会议是一个症状。它之所以反复出现，是因为团队正试图用轶事（anecdotes）来解决一个实证问题 —— 这次变更究竟是让系统变好了还是变坏了？而轶事是无法收敛的。你可以整天堆砌这些案例。争论永无止境的原因在于，缺乏一个大家都同意受其约束的共享工具。那场本该是 Eval 的会议，就是你发现自己正缺少一个 Eval 的时刻。