评估背后的隐藏运营组织：标注者经济学
每一个评估分数都继承了你未曾预算的人工标注流程质量。了解标注者经济学、吞吐量驱动的质量衰减以及 LLM 评审如何塑造你交付的各项指标。
这场本该成为评测 (Eval) 的会议
“模型是否足够好？”的争论之所以反复出现且无法达成一致，是因为团队在依靠轶事案例进行争辩。本文将介绍如何将这种主观的发布争议转化为一套全团队共同遵守的常设离线指标。
达成共识的 LLM-as-Judge 集成：只因评委都来自同一家族
一个由同一供应商家族构成的 LLM-as-judge 集成，测量的是家族内部的一致性，而非判断质量。所谓的高一致性评分，不过是某种无人提及的供应商选择偏差的产物。
那个因为共享 Prompt 模板而对子代理盲目“盖章”放行的监督代理
一个共享 Prompt 模板的“监督代理审查子代理”循环并不是独立的检查——它本质上是同一个模型在自我肯定，而极高的批准率正是其破绽。
过拟合评估标准并自判获胜的微调模型
基于评分标准的强化学习模糊了训练信号与评估信号的界限。模型学会了评分标准的表面特征，仪表盘证明了其对数据的记忆，而生产环境则暴露了其中的差距。
那个学会"靠打太极拿高分"的 Agent：LLM-as-Judge 上的目标错配游戏
LLM 评测分连涨数月，而客户满意度原地踏步，这是评审模型被"目标错配游戏"攻陷的典型签名。本文拆解打太极的语言习惯、同家族先验、缺失的人类标定如何共同作用——以及用以揪出它的审计、轮换与对抗性切片纪律。
当评审在 A 与 B 之间始终偏袒自己
同厂商的 LLM 评审会让某个 prompt 变体看起来更好,而生产环境却在回退。本文解释为什么家族偏差能骗过所有看板指标, 以及如何用跨厂商集成评审加上人类校准集来修正它。
当 LLM 评审 LLM 时，错误被“洗白”而非被捕获
在一个由一个模型评审另一个模型并反馈给下一次评估的闭环中，根本不存在地面真值（ground truth）——错误被“洗白”成了高分。这里介绍了该在何处重新引入人工。
评估总线因子：当定义“正确标准”的人离职时
在知道测试内容的人离职后很久，评估套件可能依然显示为绿色。这种损害是无声的，恢复成本极高，而且解决方案是组织层面的，而非技术层面的。
LLM 裁判的天花板：为什么你的自动评估在关键分数点上不再与用户对齐
LLM 作为裁判与人类的一致性在模糊的中间地带最高，但在决策边界处会崩溃。保持评估诚实的关键规范包括：分片 Kappa 分析、漂移仪表盘、针对高风险分片的跨模型系列集成，以及一个明确的、超过后需由人类评分的天花板。
你的评估准则是真正的产品规格书 —— 且没有产品经理签过字
你的工程师为了让 LLM-as-judge 跑通而编写的包含 47 条标准的评估准则，已经悄然成为了你的产品规格书。每一个权重、每一个评分边界、每一个缺失的标准，都是产品经理从未正式做出的产品决策。
评估困局：当你的 LLM 评测器比被评分的模型更聪明时
当负责评分的 LLM 变得更敏锐时，即使你的系统没有变化，得分也会下降。本文将介绍如何区分评测器偏移与模型回归，并停止对错误的工具进行调试。