AI 事故响应手册:为什么你的值班 Runbook 对 LLM 不管用
传统值班 Runbook 在 AI 系统中会失效,因为故障是非确定性的、质量下降没有错误码,根本原因排查需要一套完全不同的框架。本文介绍真正有效的做法。
AI 事故复盘:当「模型导致的」成为根本原因
当故障具有随机性时,经典的五问分析法就会失效。本文介绍如何为 AI 事故撰写有价值的事后分析报告、在推理阶段应捕获哪些遥测数据,以及如何构建不止于「加强监控」的运行手册。
AI 事故应对指南:当你的智能体造成现实世界损害时
当 AI 智能体造成现实世界的损害时,你现有的停服应对指南会误导你。这是一份专为随机系统构建的策略:如何在没有堆栈跟踪的情况下界定爆炸半径、在证据消失前进行保全,以及如何在“模型幻觉”之外进行深入调查。
随机系统的值班响应:为何你的 AI 运行手册需要重写
传统故障响应假设故障是可复现的,但 LLM 驱动的系统并非如此。以下是如何针对非确定性 AI 重写告警方案、分类决策树和事后分析模板。
AI 事故复盘中的“责任消失”难题
当 AI 系统性能下降时,责任往往会同时散布在模型、Prompt、检索、评估和基础设施等多个环节。本文提供了一套归因框架,帮助你在复盘演变成简单的“模型变了”这种借口之前,将事故精准锁定到具体层级。
AI 值班手册:当 Bug 是一次错误预测时的故障响应
传统运行手册在症状是'输出感觉不对'时会失效。这是一套专为生产环境中 AI 系统设计的实用分诊决策树、升级标准和复盘格式。
调试的倒退:AI 生成的代码如何改变故障响应成本曲线
AI 代码生成确实带来了前期的开发速度,但成本在下游显现 —— 比如凌晨 3 点,当值班工程师缺乏心智模型来调试那些他们既没有编写也几乎没有审查过的代码时。
AI 轮值:当你的系统在“思考”时,该针对什么发告警
如何为非确定性 AI 系统设计告警,AI 事件与传统故障的区别,以及在凌晨 2 点能真正帮到轮值工程师的 Runbook 结构。
LLM 服务商故障手册:当 AI 基础设施宕机时如何保持服务在线
当 LLM 服务商宕机时,你只有几分钟时间做出决策。这份操作手册涵盖多服务商故障切换、优雅降级以及用户沟通策略,帮助你的产品在危机中屹立不倒。
AI 系统值班:当 Bug 是模型时的事故响应手册
当故障源于非确定性的模型行为时,标准的值班手册就会失效。本文提供了一个实用的框架,用于检测、分类和遏制 AI 事故 —— 从护栏绕过到成本爆炸 —— 这些手册专为工程师而非 ML 研究人员打造。
没人会写的 AI 系统 On-Call 运维手册
当故障模式是概率性的模型行为而非服务崩溃时,传统的 SRE 运维手册就会失效。本文将探讨 LLM 驱动系统的事故响应究竟是怎样的,以及哪些信号值得告警。
AI 辅助故障响应:LLM 如何在不取代 SRE 手册的情况下改变它
值班工作流中的 AI 副驾驶可以浮现关联信号、起草运行手册操作——但它们引入了传统 SRE 没有受过训练去识别的故障模式。这是一份将 LLM 整合进故障响应而不让故障更难处理的实践指南。