没人会写的 AI 系统 On-Call 运维手册
当故障模式是概率性的模型行为而非服务崩溃时，传统的 SRE 运维手册就会失效。本文将探讨 LLM 驱动系统的事故响应究竟是怎样的，以及哪些信号值得告警。
Prompt 金丝雀：你的 AI 团队缺失的部署原语
代码金丝雀部署可以捕捉崩溃和延迟回归 —— 但它们无法察觉真正损害 LLM 系统的行为失效。这里有弥补这一差距的指标栈、部署清单模式以及自动回滚设计。
Agent 集群可观测性：在千并发 Agent 运行中监控而不陷入仪表盘盲区
单个 agent 运行的 span 树在集群规模下会失效。以下是在运行数百个并发 agent 时真正有效的集群级信号、采样策略和行为指纹技术。
你的智能体追踪在撒谎：LLM 智能体的基数、采样与 Span 层级结构
分布式追踪最初是为每个请求约 10 个 Span 设计的。而单个智能体运行可能会产生数百个 Span，默认的 OpenTelemetry 配置会系统性地漏记工作负载。本文将介绍能够经受住生产环境智能体工作负载考验的 Span 层级、尾部采样策略以及 Payload 处理方式。
AI 辅助故障响应：LLM 如何在不取代 SRE 手册的情况下改变它
值班工作流中的 AI 副驾驶可以浮现关联信号、起草运行手册操作——但它们引入了传统 SRE 没有受过训练去识别的故障模式。这是一份将 LLM 整合进故障响应而不让故障更难处理的实践指南。
AI 功能退役取证：被废弃的功能教给我们的经验，是成功功能无法企及的
你的公司悄悄关停的 AI 功能中，隐藏着你下一次发布时会遇到的失败模式。本文提供了一个取证模板、先行指标目录，以及如何解读被废弃功能留下的证据。
AI 事故严重程度分类法：幻觉何时算作 Sev-0？
传统的严重程度分类法在概率性 AI 系统中失效了。这是一个用于分类 AI 事故的多维框架——超越了二进制的“故障/正常”，旨在捕捉故障范围、可逆性以及复合型损害。
AI On-Call 心理学：为非确定性告警重建运维直觉
AI 系统的 On-Call 打破了标准的 SRE 直觉。本文提供了一套实用的分类法、轮值设计方案和培训课程，帮助你在不导致团队职业倦怠或错过真实回归的情况下，运行随机性生产系统。
不会说谎的 AI 产品指标：行为信号比点赞评分更可靠
聚合满意度评分和点赞率会掩盖 AI 自信出错的情形。以下是能真正告诉你模型改进是否有效的行为信号体系。
凌晨三点调试 AI：LLM 驱动系统的故障响应指南
500 错误有堆栈跟踪，而糟糕的生成结果有概率分布。本文介绍如何在 AI 事故毁掉你的一周之前，对其进行分类、调试和事后复盘。
Eval 异味目录：让你的 LLM 评估套件比没有评估还糟糕的反模式
一份关于毒害 LLM 评估套件的反模式实战指南 —— 包括数据污染、脆弱的断言、评估腐化、评委合谋、虚荣聚合指标 —— 以及在无需重写整个测试框架的情况下恢复有效信号的重构模式。
隐性 API 契约：你的 LLM 供应商没有写在文档里的那些事
LLM 供应商保证正常运行时间和延迟 SLA，但不保证你的提示词下个月仍能产生相同输出。工程师需要了解关于隐性行为契约的哪些内容，以及如何针对它进行测试。