Page 86
12 articlesAI 审计追踪是产品功能，而非合规勾选项
向用户展示你的 AI 智能体实际做了什么——调用了哪些工具、检索了哪些数据、在何处产生了分支——比任何功能开关实验都能更可靠地提高采用率。以下是构建方法。
AI 代码审查实践：自动化 PR 分析真正能发现什么，又持续遗漏什么
AI代码审查工具在拼写错误和空指针检查方面的准确率为70-85%，但遗漏语义错误的概率高达85-90%。本文提供实证数据分析，并介绍避免自动审批沦为橡皮图章的工作流设计。
受监管行业的 AI 合规基础设施：大语言模型框架没能提供给你的东西
金融、医疗和法律领域的部署需要不可变的审计日志、输出血缘、拒绝跟踪和可解释性钩子，而大多数大语言模型框架并不能开箱即用地提供这些功能。本文介绍了填补这一空白的架构。
没人用的 AI 功能：团队为何交付了无人采用的能力
大多数 AI 功能的采用率只有 2-6%。差距不在模型，而在用户根本找不到这个功能。本文解释为什么传统发现模式对 AI 无效，以及真正有效的方法。
为什么 AI 功能开关不同于普通功能开关
部署 AI 模型时，传统的金丝雀分析会失效——错误率保持平稳，而质量却在悄无声息地下降。本文介绍了应该监测哪些指标，以及如何为概率性系统构建真正有效的回滚触发器。
AI 功能生命周期衰减问题：如何在用户发现之前捕捉到性能下降
91% 的机器学习模型会随时间降级，但大多数团队只会在用户投诉后才发现。以下是如何在分布偏移演变为危机之前，对你的 AI 功能进行监控。
AI功能下线手册：如何在不损害信任的前提下淘汰表现不佳的AI
团队擅长上线AI功能，却不擅长下线它们。本文提供一套诊断框架，帮助判断何时应淘汰还是修复表现不佳的AI，克服沉没成本偏见，并优雅地完成废弃过渡。
AI 事故响应手册：为什么你的值班 Runbook 对 LLM 不管用
传统值班 Runbook 在 AI 系统中会失效，因为故障是非确定性的、质量下降没有错误码，根本原因排查需要一套完全不同的框架。本文介绍真正有效的做法。
AI 事故复盘：当「模型导致的」成为根本原因
当故障具有随机性时，经典的五问分析法就会失效。本文介绍如何为 AI 事故撰写有价值的事后分析报告、在推理阶段应捕获哪些遥测数据，以及如何构建不止于「加强监控」的运行手册。
对齐税：当安全功能让你的 AI 产品变得更糟
安全护栏和过于保守的拒绝会在完全无害的查询上降低用户满意度。这里介绍如何衡量误报率，并根据实际部署场景校准阈值。
摊销上下文：持久化智能体记忆 vs 长上下文窗口
长上下文模型诱使你将所有内容都塞进去 —— 但这会导致成本增加 15 倍，且生成的答案质量更差。本文介绍了一套决策框架，帮助你确定哪些内容应存入外部记忆、哪些内容需重新检索，以及哪些内容应保留在窗口内，并配合压缩模式，让记忆增强智能体在大规模应用中更便宜、更准确。
真正衡量AI产品用户满意度的行为信号
点赞/点踩率只是噪声。本文介绍隐式行为信号的埋点方案——重试率、无编辑复制事件、下游操作完成情况——这些才是真正预测用户是否认可AI产品价值的指标。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
