1 篇博文 含有标签「statistical-process-control」

大多数团队将 LLM 质量评估视为部署前的关卡：运行评估套件，检查分数，然后发布。这种方法大约只能捕捉到用户实际会遇到的 40% 的故障。剩下的故障之所以会溜走，是因为生产环境的流量与你的评估集完全不同——不同的查询分布、不同的会话长度、不同的上游数据，以及并发负载下不同的模型行为。等到用户投诉出现时，问题往往已经发生了好几天。

解决办法不是在部署前增加更多评估，而是针对实时流量进行持续评估。这种评估是基于这样一个现实设计的：你在推理时没有标准答案（ground truth）标签，并且你需要在几分钟内（而不是几周后）获得可操作的信号。