Page 12
12 articles你的评估套件就是你拒绝编写的产品需求文档
PRD 中模糊的形容词（如 “有帮助” 和 “简洁”）在模型面前很难生存 —— 评估套件才是这些决策真正落地的场所。请将评估视为产品规格，而非仅仅是测量工具。
回退路径萎缩：你的降级方案在三个月前就失效了
你在九个月前编写的回退方案已经悄悄失效了。探讨 AI 平稳降级路径是如何发生位衰减的，为什么集成测试会漏掉它，以及如何通过故障注入规范来保持降级模式的可用性。
强制一致性偏见：当模型将你的意图向分布众数取整时
经过对齐的大模型会悄悄地将不寻常的请求向训练分布的众数取整。本文将探讨为什么标准评估会忽略这一点，以及捕捉这一现象的离模态约束方法。
冰封提示词：当你的团队不敢修改一个仍然奏效的系统提示词时
一个没人敢动的 4,000 token 系统提示词并非稳定，而是债务。本文探讨提示词如何演变为“冰封”状态、为何迭代会因此陷入僵局，以及如何通过考古与评估规范来解冻它们。
隐藏的 SDK 重试机制：为什么你付了两倍的钱却浑然不知
主流 LLM SDK 默认附带两次自动重试。如果在调用侧再叠加一层重试，当提供商出现短暂故障时，单个请求可能会扇出为九次推理调用 —— 这在你的追踪日志中难以察觉，却会实实在在地体现在账单上。
内部工具代理：当你杠杆率最高的 AI 功能却零客户时
面向客户的 AI 功能占据了大部分预算，但你公司中杠杆率最高的 AI 投资却是那个无人运维的内部 Slack 机器人。这里有背后的数学逻辑、失败模式以及捕捉这些价值所需的纪律性。
负面提示词是代码异味：为什么系统提示词中的每个 “不要” 都是技术债
生产环境系统提示词中的每一个 “不要” 子句，都是对行为不匹配的补丁。跟踪负面提示词的密度，将每个否定项重构为正面规范，并将残留的否定项作为一种信号，表明提示工程可能并不是解决该问题的正确工具。
MCP 中的 OAuth：在工具服务器中传递用户身份
MCP 标准化了智能体如何获取工具服务器令牌的方式，但将更棘手的问题——这些服务器如何将用户身份传递给下游 API——留给了实现者。本文探讨了哪些方案能够通过严格的审计。
幻影技能：当你的智能体展示出你从未测试过的能力
当用户基于未经测试验证的 AI 智能体行为构建工作流时，你发布的正是你无法维护的能力。在下一次模型升级悄然移除这些“幻影技能”之前，你需要一套发现它们的学科方法。
策略文件：为什么你不应该把拒绝规则写在系统提示词里
生产环境的系统提示词就像是披着一件风衣的三个配置文件——对话语气、输出格式和拒绝策略被塞进同一个工件中，共用同一个评审人和发布节奏。每一次策略修改都会导致无关任务的行为回归。这里有一种能显著获益的解耦方案。
生产环境偏差审计：在用户发现之前捕捉 AI 歧视
预发布的公平性审计在模型接触到真实流量的那一刻就会失效。这是一份关于指标、切片级审计、回归闸门以及监控基础设施的实用指南，旨在 AI 偏差漂移影响用户之前将其捕捉。
Prompt 修改不只是措辞变动：将 Prompt 视为软件的代码审查规范
Prompt 修改看起来像是英语，但行为表现却像代码。通过配对评估与 Prompt 的 PR、行为差异注释以及划分审查角色等规范，在用户发现之前捕捉行为回归。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
