Page 48
12 articlesAI 值班手册：当 Bug 是一次错误预测时的故障响应
传统运行手册在症状是'输出感觉不对'时会失效。这是一套专为生产环境中 AI 系统设计的实用分诊决策树、升级标准和复盘格式。
没人会提前搭建的AI运维仪表盘
延迟和错误率覆盖的LLM功能故障空间不足20%。以下是你的APM仪表盘默默忽略的五种生产故障模式，以及真正能发现问题的信号层级体系。
聊天机器人、Copilot 还是 Agent：改变你架构决策的分类学
选错 AI 交互范式——聊天机器人、Copilot 还是 Agent——会造成无法靠调整提示词来修复的架构债务。本文深入分析应在写下第一行代码之前就驱动这一决策的信任模型、上下文窗口策略和错误恢复需求。
AI 个性化的冷启动问题：在拥有数据之前如何提供价值
新用户没有历史记录，你的模型没有上下文，而你正在与“AI 不了解他们”的固有印象竞争。这是弥补这一差距的工程实践指南。
为什么 “准确率 92%” 几乎总是一个谎言
单一的准确率数字掩盖了真正重要的错误。这里有一个包含四个维度的分类法 —— 正确、可恢复、有害、弃权 —— 以及一个单页格式，为非技术领域的利益相关者提供足够的信息，从而做出正确的产品、法律和投资决策。
数据飞轮并非免费：构建真正提升 AI 产品的工程反馈闭环
大多数团队只是收集点赞或踩就自称拥有反馈闭环。真正的基础设施在于隐性信号提取、弱监督流水线以及闭环架构，能够在不陷入标注成本泥潭的情况下，将生产数据导回训练环节。
AI数据版本控制：团队发现得太晚的数据集-模型耦合问题
模型回退了通常意味着上游数据变了——本文介绍血缘图模式，让你在浪费一周重新调优提示词之前，就能将生产降级追溯到数据根因。
隐性反馈陷阱：为什么参与度指标在 AI 质量上具有误导性
点赞评价、点击率和满意度得分通常会系统性地偏向听起来自信的 AI 输出，而非准确的输出。本文将探讨为什么参与度指标会随着时间的推移让 AI 变得更糟，以及哪些行为信号才能真正追踪质量。
知识图谱 vs. 向量存储：选择你的检索原语
向量相似度和图遍历解决的是不同的问题。了解向量存储在多跳推理中何时失效，知识图谱在结构化查询中何时胜出，以及如何构建能够处理两者的混合检索系统。
LLM 本地开发循环：在不耗尽 API 预算的情况下实现快速迭代
如何使用录制回放模式、确定性 Fixtures 和分层测试策略，为 LLM 应用构建快速的内部循环 —— 且无需在每次代码变更时耗费大量 API 预算。
LLM 流水线单体 vs. 链式架构的权衡：任务分解何时有益，何时有害
大多数团队在没有测量链式调用是否优于单次大上下文调用的情况下就默认选择了链式架构。以下是关于何时链式、何时单体的实证依据。
模型弃用就绪：在 90 天倒计时之前审计你的行为依赖
当一个模型被弃用时，最难的部分不是更新 API 调用，而是发现系统所假设的所有隐形行为契约。以下是在时间耗尽前审计这些契约的方法。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
