TianPan.co 上标记为“measurement”的文章。
查看所有标签
一个同时由人类和 LLM 裁判阅读的评估准则会在两个轴向上同时发生漂移。综合得分掩盖了这种波动。本文介绍了一种测量协议，使每种漂移都变得可追溯。
标准 A/B 测试在应用于 AI 功能时会失效。非确定性输出、新奇偏差和协变量漂移会使结果失效——以下是真正有效的测量方法。
