·tian
挂钟时间截止日期漂移:为什么你的智能体认为它还有时间但实际上没有
透明的工具重试在静默地消耗挂钟时间预算,而规划器却基于过时的截止日期进行推理,从而导致单一层级指标无法捕捉的双峰 SLA 故障。
agents
observability
latency
sla
+1·tian
AI 输出波动性是你可能定价不足的业务风险
在概率系统之上构建定价层级、 SLA 和客户承诺蕴含着未公开的风险。这里介绍了如何量化这些风险并进行对冲。
insider
llm
production-ai
reliability
+2·tian
供应商 99.9% 的 SLA 对你的 Agent 来说衡量边界错了
供应商 99.9% 的可用性是按单次调用衡量的;而你的 Agent 每个任务需要进行 12 次调用。本文将探讨其中的算术逻辑、缺失的合同条款,以及如何在用户察觉之前捕获故障的发散告警。
insider
sla
agents
reliability
+2·tian
当你的模型偶尔出错时,99.9% 的可用性意味着什么
传统的 SLA 对于成功与否具有概率性的 AI 功能而言毫无意义。本文将介绍合同用语和内部 SLO 设计,让工程团队在不承担无限责任的情况下发布 AI 功能。
insider
ai-engineering
reliability
sla
+1·tian
供应商可靠性陷阱:你的 LLM 供应商 SLA 已成为你用户的 SLA
你对外宣称 99.9% 的正常运行时间,但你的关键路径却依赖于一个只有 99.5% SLA 的 API——而供应商故障往往集中发生在流量高峰期。以下是在故障找上门之前弥合差距的方法。
insider
reliability
production-ai
infrastructure
+1