1 含有标签「offline-evaluation」

Shadow Replay 会惩罚那些本可以改变对话走向的模型

Shadow Replay 评估会悄悄地惩罚更好的模型，因为它根据旧模型引导下的用户对话记录来给新模型评分。本文将探讨其中的原因，以及影子回放仍然可以真实衡量哪些指标。