·tian
评估员吞吐量是评估流水线中隐藏的瓶颈
在任何重视人工评分的 AI 系统中，评估员的吞吐量都限制了评估速度。本文介绍了一套运营规范——包括校准周期、感知队列的优先级排序以及评分标准反馈循环——旨在将标注产能视为一个 SRE 问题，而非招聘问题。
insider
evals
ai-engineering
operations
+1·tian
难度浓缩器：AI 客服分流正在让留下的员工精疲力竭
分流率衡量的是避开的难度，而非消除的难度。当 AI 处理了 80% 的简单工单时，人工队列中剩下的就全是 100% 的极端情况 —— 在数据仪表盘察觉之前，团队早已感受到了这种压力。
insider
ai-engineering
customer-support
operations
+2·tian
你的 AI 产品在需要另一个模型之前，更需要一名 SRE
大多数举步维艰的 AI 团队都在用 2012 年时代的运营方式运行前沿模型。解决这一问题的下一个关键员工通常是 SRE，而不是另一位应用科学家。
sre
ai-engineering
reliability
llmops
+1