Page 53
12 articles持续生产环境评估：实时 LLM 流量的统计质量监控
部署前的评估只能捕获约 40% 的生产环境故障。通过使用无参考信号、SPC 控制图和 SLO 消耗率告警的持续监控技术栈，可以在用户发现之前捕获剩余的故障。
副驾驶陷阱：为什么全自动驾驶交付更快但失败更惨
全自动化交付虽快，但其失败往往是系统性的。本文提供了一个决策框架，用于在自动化频谱上定位每个 AI 功能，并探讨了为什么“直接做成智能体”是错误的默认选择。
复制粘贴传染病：AI 辅助开发如何传播架构反模式
AI 编程工具生成的代码局部连贯但全局不一致。当开发者接受建议并进行复制粘贴时，架构反模式正以机器速度传播，且缺乏代码所有权的问责机制。
动态系统提示词组装：请求时可组合的 AI 行为
如何在请求时根据用户角色、功能开关和任务上下文，从模块化组件构建系统提示词——以及由此带来的安全风险。
评估与生产环境的差距：检测生产级 LLM 中的行为模式切换
生产环境中的 LLM 在评估上下文中的表现通常与实际流量中的表现不同 —— 而大多数团队从未察觉到这一点。本文将介绍如何在差异侵蚀系统信任之前将其识别出来。
专业知识悬崖：AI 编码智能体为何在成熟代码库中失效
AI 编码智能体在全新代码上能带来真实的速度提升——但在成熟系统中却悄然积累损害。核心差距在于隐性知识：那些存在于工程师脑中却从未进入代码库的未记录约束、被否决的替代方案以及架构决策依据。
反馈溯源鸿沟：为什么你的训练信号可能并非你所采集的原始数据
当反馈进入你的 AI 改进循环时，它会经过过滤、加权和上采样等步骤，而往往缺乏审计追踪。本文探讨如何构建溯源基础设施，使训练信号损坏在悄然降低模型性能之前变得可追溯。
第一个 AI 功能难题：为什么你首先交付的内容决定了用户接下来的接受度
用户对 AI 的信任建立在第一次失败而非第一次成功之上。你发布 AI 功能的顺序比单个功能的质量更重要 —— 且一旦出错，其恢复难度超乎大多数团队的预料。
LLM 中的图推理缺陷：为那些令序列训练模型困惑的关系任务构建脚手架
基于序列训练的 LLM 在处理图结构推理任务时存在系统性失效。本文介绍了一种用于补偿的工程模式：结构化编码、基于工具的遍历，以及一个用于在编写第一个提示词之前，检测你是否正在挑战底层架构局限性的预构建诊断程序。
推理集群：将SRE规范应用于多供应商LLM依赖管理
生产AI技术栈如今横跨多个供应商、微调端点和自托管模型。管理它们需要SRE风格的集群纪律：服务目录、按供应商的SLO追踪、容量规划以及清晰的所有权模型。
长对话中的意图漂移：为什么你的智能体目标表征会失效
在长会话中，用户意图会发生偏移，而累积的上下文往往将其平铺为单一的静态目标。本文将探讨智能体如何被早期信号锁定、误将纠正视为澄清，以及应对这些问题的策略。
隐形的交接：为什么生产环境中的 AI 故障集中在组件边界上
大多数生产环境中的 AI 故障并不是发生在模型内部，而是发生在不可见的缝隙中 —— 即一个组件的输出变成另一个组件输入的交界处。本文将探讨如何发现并强化这些边界。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
