3 含有标签「llm-judge」

TianPan.co 上标记为“llm-judge”的文章。

查看所有标签

2026年6月2日·tian

被两个漂移向量拉扯的评估准则

一个同时由人类和 LLM 裁判阅读的评估准则会在两个轴向上同时发生漂移。综合得分掩盖了这种波动。本文介绍了一种测量协议，使每种漂移都变得可追溯。

2026年6月2日·tian

先收敛、后悄然崩溃的评估

停滞不前的评估分数并不总是意味着模型达到了天花板。当标注者趋于同质化时，一致性指标会上升，而评估则不再能衡量团队认为它正在衡量的内容。

2026年5月14日·tian

评估员吞吐量是评估流水线中隐藏的瓶颈

在任何重视人工评分的 AI 系统中，评估员的吞吐量都限制了评估速度。本文介绍了一套运营规范——包括校准周期、感知队列的优先级排序以及评分标准反馈循环——旨在将标注产能视为一个 SRE 问题，而非招聘问题。