·tian
人工审核队列是你的 P0 SLA:当 HITL 成为瓶颈时
三个月前你为了安全性而设置的人机回环(HITL)升级路径,现在正成为你 AI 功能的无形瓶颈。本文将探讨如何将其视作一个拥有独立 SLO、容量模型和反馈循环的生产系统来对待——在客户向你投诉之前,先发制人。
ai-engineering
hitl
sre
ai-ops
+1·tian
人类注意力预算是你的 HITL 系统在默默透支的约束条件
HITL 系统通常将审核员的时间视为无限,但警觉度下降和自动化偏差正悄悄地将安全网变成“橡皮图章”。请针对真实的人类极限进行设计。
hitl
ai-agents
reliability
ai-engineering
+1·tian
拒绝还是上报:置信度门控 AI 中的双阈值问题
单个置信度阈值将“拒绝”和“上报”这两个截然不同的决策强行合并为一个数字,而这种妥协正是导致你的信任度指标持续下滑的原因,即便在准确率看起来还不错的情况下也是如此。
insider
llm
ai-engineering
calibration
+2·tian
人机回环 (HITL) 是一个队列,而队列具有动态特性
智能体工作流中的审批步骤表现得就像生产环境中的队列 —— 伴随着积压增长、陈旧性、疲劳感和优先级倒置。以下是如何设计能够承受规模化压力的 HITL 的方法。
insider
ai-engineering
hitl
agents
+2