用稀疏标注构建 LLM 评估体系：你不需要一万个样本
大多数团队以等待足够标注数据为由，迟迟不投入评估体系建设。已有证据表明，通过主动学习、弱监督和 LLM 自动标注精心挑选的 50–200 个样本，完全能够产生可靠的评估信号。本文介绍如何在数据集尚小时就构建值得信赖的评估体系。
裁判模型独立性：当评分者与被评分者共享盲点时，你的评测为何会失效
使用同一模型家族同时担任产品和裁判会因共享盲点导致评分虚高 8–16%。本文介绍如何构建真正能捕获模型遗漏问题的评测系统。
让合成评估数据保持真实
用 LLM 生成自己的测试用例会制造一个令人满意却具有误导性的反馈循环。以下介绍对抗性注入、人工标注分流和多样性差距分析如何修复合成评估的结构性盲点。
多会话评估设计：捕捉随时间推移而恶化的 AI 功能
单轮评估往往会忽略那些只有在状态累积后才会出现的 AI 故障。本文将探讨如何设计多会话评估框架、衰减曲线和回归方法，在用户流失之前捕捉到质量腐烂。
提示熵预算：将输出方差作为生产环境的核心指标
大多数生产环境的 LLM 系统只追踪准确率，却忽视了方差。衡量相同输入的输出分布——即提示熵预算——是决定用户体验一致性的缺失指标。
为什么你的 AI 演示总是优于最终上线表现
AI 演示在精心挑选的输入下得分很高。而生产环境的流量更杂乱、更广泛，并且充满了团队从未预料到的边缘情况。本文将探讨这种差距产生的原因，并提供在发布前缩小差距的方法论。
你的 LLM 评估在欺骗你：统计功效问题
大多数 LLM 评估套件在 50–200 个样本上运行，却声称具有实际上并不存在的显著性。以下是数学原理，说明为什么你的评估无法检测你正在进行的改进——以及该怎么做。
你的 LLM 评估套件中的古德哈特定律：当优化分数破坏系统时
团队如何在无意中博弈自己的 LLM 评估，为什么基准分数与生产质量的偏差比你预期的更快，以及保持评估套件诚实的元评估实践。
Spec-to-Eval：将产品需求转化为可证伪的 LLM 评估标准
大多数 AI 功能用自然语言描述、也用自然语言评估——这正是为什么团队在站会上达成共识，却在上线时产生分歧。本文介绍一套实用方法，在编写第一个 Prompt 之前，将英文需求转化为具体、可证伪的 LLM 评估标准。
需求鸿沟：当“正确”是一个分布时，如何为 AI 功能编写规格说明
标准的用户故事和验收标准在面对概率性 AI 输出时会失效。本文介绍了一种两层行为规范格式——将硬性策略约束与可协商的质量阈值区分开来，并解释了为什么预先定义这些内容可以将迭代周期缩短 3–5 倍。
第二意见经济学：双模型验证何时真正值得
用第二个LLM来验证第一个看起来显而易见。但实际上，几乎没有团队能做好。这里是一个成本收益框架，告诉你何时值得这么做。
AI 演示跳过的五个关卡：LLM 功能发布就绪清单
为什么“演示效果很好”是 LLM 功能最糟糕的发布标准，以及每个 AI 团队在发布前必须通过的五个生产就绪关卡。