标注员校准差距：当人类评分者悄然失去一致性时
在人类评估项目进行六个月后，评分者间一致性指标实际上是三个不同隐性标准的加权平均值。模型没有发生漂移 —— 而是测量工具发生了漂移。
绕过词汇表：当用户学会用礼貌的英语进行越狱
生产环境中的 AI 产品容易被“假设”、“用于教育目的”、“为了写故事”这类三词构架绕过拒绝策略。了解如何检测和防御你的用户从社交平台学到的绕过词汇。
合规审查员作为评测编写者：为什么法律团队应该为你编写测试用例
合规审查员能发现工程评测系统性遗漏的 LLM 失败模式。将他们从文档审查环节移至回归测试套件中 —— 法律签署将转变为对每次提交时运行的固定测试用例的确认。
你的评估套件就是你拒绝编写的产品需求文档
PRD 中模糊的形容词（如 “有帮助” 和 “简洁”）在模型面前很难生存 —— 评估套件才是这些决策真正落地的场所。请将评估视为产品规格，而非仅仅是测量工具。
冰封提示词：当你的团队不敢修改一个仍然奏效的系统提示词时
一个没人敢动的 4,000 token 系统提示词并非稳定，而是债务。本文探讨提示词如何演变为“冰封”状态、为何迭代会因此陷入僵局，以及如何通过考古与评估规范来解冻它们。
Prompt 修改不只是措辞变动：将 Prompt 视为软件的代码审查规范
Prompt 修改看起来像是英语，但行为表现却像代码。通过配对评估与 Prompt 的 PR、行为差异注释以及划分审查角色等规范，在用户发现之前捕捉行为回归。
服务商侧安全漂移：当你的产品在未发布的情况下发生回退
固定模型 ID 并不代表锁定了行为。拒绝阈值和内容分类器在没有发布说明的情况下于服务器端发生变动，这种回退在安全边界上是非对称的。
拒绝审计：为什么单一拒绝率掩盖了一半的失败分布
拒绝率是一个双边分布，但大多数安全仪表盘只绘制了其中一侧。本文介绍了应如何部署监控、如何采样，以及谁应该负责校准。
会话边界问题：计费、评估和记忆的对话终点在哪里
一个 session_id 列，三种含义 —— 计费、评估和记忆对“对话”的定义各不相同，而单一的默认设置会导致三个根因相同但互不相关的 Bug。
工具目录中的依赖炸弹：为什么增加一个工具会破坏五个智能体
在智能体的工具目录中添加新工具会重新分配规划器在每个条目上的选择概率，从而在静默中重定向那些你的评估套件从未想过要测试的工作流。
当 LLM 为自己批改作业：打破 AI 评估中的反馈循环
LLM 生成的评估集创建了一个反馈循环，导致模型偏见被编码为事实标准 (Ground Truth)。以下是打破该循环的污染信号、跨模型验证策略以及人工采样规范。
选择评估指标是产品决策，而非技术决策
指标选择编码了团队愿意容忍哪些失败模式。以下是为什么工程驱动的指标选择会系统性地优化错误的事情——以及如何修正它。