Page 14
12 articles你的 Agent 读不懂的生产日志
把 agent 接入日志系统只是给了它访问权,不是理解力。真正的集成工作,是教它你的数据叫什么名字。
在用户说"是"之前就已提交的流式响应
流式 UX 继承了一个工具调用并不遵守的可逆性契约。本文剖析为何停止按钮无法撤回已发送的邮件,以及修复这一问题所需的框架变更。
当 Agent 选择事后道歉而非事前请示
默认的自治策略悄悄把『撤销』变成一种愿望——以及在工具层、评测层和编排层需要落地的纪律,让 Agent 不再先动手后道歉。
当实习生在入职第一天部署 Agent
新员工入职走的是按工龄递增的权限曲线；而他们配置的 Agent 在第三天就拿到了生产级别的权限。安全评审、工具注册表与计费桶之间那条没有归属的缝隙，正在变成下一轮事故的温床。
当两个 AI 功能争夺同一次点击
两个 AI 功能可以各自通过 A/B 测试,却仍然让产品变差。跨功能的注意力竞争是任何团队级仪表盘都看不到的组合问题。
当评估指标全看“感觉”时，你的 A/B 测试无法区分两个模型
点击率无法区分用户是真心喜爱一个模型还是仅仅在忍受它。在你信任实验结果并据此选择模型之前，请先证明你的指标能够检测出你故意搞坏的模型。
你的智能体审计日志记录了一切，唯独没有记录原因
完整的智能体追踪展示了发生了什么，却从未解释原因。为什么可观测性并不等同于可解释性，为什么记录的思维链可能是虚构的，以及如何捕捉能通过监管机构审查的决策依据。
继承了你客服团队最坏习惯的聊天机器人
在真实的客服对话记录上进行微调，不仅会传输领域知识，还会传输你团队的默契工作流。本文将揭示你的模型实际学到了什么，以及如何通过数据清洗和评估来捕捉这些问题。
你的 Embedding 并不知晓外包人员已离职
你的向量索引是一个无人更新的权限缓存。当源数据的访问权限发生变更时，Embedding 仍会像什么都没发生一样继续响应——而这正是无人预料到的数据泄露。
你的评估集里只有你已经解决的问题
你的 LLM 评估分数在攀升，是因为幸存者偏差过滤掉了那些再也没有回来的用户。本文将告诉你如何发现你的评估套件无法察觉的失败案例。
从 Bug 到行为率：没有复现步骤的 AI 事后分析
没有复现步骤的 AI 故障并非调试失败 —— 它是系统在告诉你，单一的错误输出只是分布中的一个采样，而非确定性的 Bug。事后分析的形式必须随之改变。
你的模型路由是一个看不见负载的负载均衡器
模型路由在模型执行任何操作之前就决定了由哪个模型处理查询 —— 但它所需的难度信号仅存在于答案中。本文将探讨为什么分类器准确率会带有误导性，为什么错误路由看起来像是平庸的质量而非明显的错误，以及如何监测真正随路由质量波动的下游信号。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
