Page 60
12 articles为非确定性 AI 功能编写验收标准
当你的系统是概率性的时，标准的验收标准就会失效。本文介绍了评估阈值协议、基于示例的规范以及衡量模式，帮助产品和工程团队在 AI 功能的“完成”定义上达成一致。
追踪规划层：为什么你的智能体追踪只记录了一半的故事
智能体可观测性工具能为你提供完整的工具调用日志和耗时，但驱动这些决策的规划与推理过程往往是不可见的。本文将探讨什么是规划层追踪，为什么它能捕捉到完全不同的失败类型，以及如何在今天就开始实施。
大规模代理式网页数据提取：当智能体取代爬虫时
AI 智能体解决了传统爬虫无法解决的实际问题，但“LLM 读取页面”的原型在每小时 1,000 页的规模下会崩溃。本文介绍了在生产环境中真正起作用的混合架构、成本模型和监控设计。
AI 界面中无人关注的可访问性鸿沟
逐个 Token 的流式输出会以大多数团队从未测试过的方式破坏屏幕阅读器的体验。本文将探讨为什么 WCAG 对此没有现成的解决方案，以及哪些设计模式是真正有效的。
CI 流水线中的 AI 智能体：如何为无法单元测试的部署设置质量关口
传统的 CI/CD 基础设施并非为非确定性软件而设计。本文介绍如何为 LLM 驱动的功能添加有意义的部署质量关口，同时避免将流水线变成烧钱的评估农场。
沉默的回归：如何在不失去用户信任的情况下传达 AI 行为变化
当你悄悄更新模型或提示词时，高级用户会感受到真实的回归——即便整体指标有所改善。本文介绍如何检测行为漂移，并在不破坏用户信任的前提下传达 AI 变更。
调试的倒退：AI 生成的代码如何改变故障响应成本曲线
AI 代码生成确实带来了前期的开发速度，但成本在下游显现 —— 比如凌晨 3 点，当值班工程师缺乏心智模型来调试那些他们既没有编写也几乎没有审查过的代码时。
大规模 AI 代码审查：当你的机器人带来的工作量超过它节省的工作量时
探讨决定 AI PR 审查器是加速还是耗尽你的团队精力的误报率逻辑，AI 审查器能可靠捕获与经常遗漏的问题类别，以及如何衡量你的代码审查代理是否产生了正向收益。
大规模 AI 辅助代码库迁移：自动化处理那些没人想碰的升级
探讨 AI agent 如何处理批量代码迁移——包括过时的 API、框架升级、语言版本演进。分析在何处收益巨大，何处可能事倍功半，以及让这些方法都变得安全可靠的验证策略。
AI 工程师职级体系：为什么你的 SWE 晋升框架在骗你
标准软件工程晋升框架系统性地误判 AI 工程师的表现。当模型承担大部分编码工作时，初级与高级工程师之间究竟区别在哪里？
AI 泛滥反模式：过度使用 LLM 只会让你的流水线更糟
在流水线的每个环节都加 LLM，是让系统变慢、变贵、难以调试的最快方式。这里是一个决策框架，帮你判断 AI 真正有用的场景，以及什么时候查找表才是正确答案。
1% 错误率，1000 万用户：规模化 AI 故障的数学逻辑
为什么在离线评估中看起来正常的准确率指标，在生产规模下会变成灾难；如何为考虑尾部行为的 AI 功能设置 SLO；以及当模型已经足够好，但每月仍有数百万次错误时，该如何做出产品决策。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
