Page 36
12 articles幻影技能：当你的智能体展示出你从未测试过的能力
当用户基于未经测试验证的 AI 智能体行为构建工作流时，你发布的正是你无法维护的能力。在下一次模型升级悄然移除这些“幻影技能”之前，你需要一套发现它们的学科方法。
策略文件：为什么你不应该把拒绝规则写在系统提示词里
生产环境的系统提示词就像是披着一件风衣的三个配置文件——对话语气、输出格式和拒绝策略被塞进同一个工件中，共用同一个评审人和发布节奏。每一次策略修改都会导致无关任务的行为回归。这里有一种能显著获益的解耦方案。
生产环境偏差审计：在用户发现之前捕捉 AI 歧视
预发布的公平性审计在模型接触到真实流量的那一刻就会失效。这是一份关于指标、切片级审计、回归闸门以及监控基础设施的实用指南，旨在 AI 偏差漂移影响用户之前将其捕捉。
Prompt 修改不只是措辞变动：将 Prompt 视为软件的代码审查规范
Prompt 修改看起来像是英语，但行为表现却像代码。通过配对评估与 Prompt 的 PR、行为差异注释以及划分审查角色等规范，在用户发现之前捕捉行为回归。
服务商侧安全漂移：当你的产品在未发布的情况下发生回退
固定模型 ID 并不代表锁定了行为。拒绝阈值和内容分类器在没有发布说明的情况下于服务器端发生变动，这种回退在安全边界上是非对称的。
RAG 中的新鲜度与相关度权衡：为什么你无法在查询时同时优化两者
纯语义检索会忽略时间，而基于新鲜度权重的检索则更看重活跃度而非正确性。本文将深入探讨针对每个查询的时间敏感度分类器、针对每个文档的波动性评分，以及如何通过双轴评分让 RAG 在处理稳定型和时变型问题时都能保持正确。
解读智能体堆栈跟踪：在模型、工具与 Harness 之间定位故障
大多数智能体漏洞存在于模型、工具与 Harness 的结合部——单层日志无法识别它们。构建统一追踪、OpenTelemetry GenAI span 表面、因果假设面板以及复现包络，像对待分布式系统一样调试你的智能体。
拒绝审计：为什么单一拒绝率掩盖了一半的失败分布
拒绝率是一个双边分布，但大多数安全仪表盘只绘制了其中一侧。本文介绍了应如何部署监控、如何采样，以及谁应该负责校准。
检索级联失效：文档删除如何毒害你的 RAG 流水线
当源文档消失时，它们的嵌入仍滞留在向量索引中，并持续返回貌似正确的错误答案。这是一份关于墓碑机制、级联失效以及检索时新鲜度检查的实战指南。
会话边界问题：计费、评估和记忆的对话终点在哪里
一个 session_id 列，三种含义 —— 计费、评估和记忆对“对话”的定义各不相同，而单一的默认设置会导致三个根因相同但互不相关的 Bug。
“展示过程”的 UX 陷阱：当推理链只是披着产品外壳的调试输出
大多数 AI 功能之所以带有可见的推理过程，仅仅是因为模型输出了它，而将其隐藏似乎很浪费。这是一个团队从未真正做出的产品决策——也是信任流失的一个可衡量的来源。
小模型，大账单：为什么单 Token 成本更低反而更贵
为了降低单 Token 成本而切换到更小的模型，可能会在不知不觉中增加你的 LLM 账单。正确的衡量单位是“每次成功任务的成本”，而大多数仪表板从未测量过这一指标。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
