Page 19
12 articles上下文长度是安全边界，而不仅仅是成本线
足够长的对话会将你的系统提示词埋在更新的 Token 之下，直到防护栏悄然失效。为什么上下文长度属于威胁模型——以及如何控制它。
上下文窗口是公地，而每个团队都在过度放牧
Agent 的上下文窗口是一种共享的、可耗尽的资源，且缺乏分配机制。本文将探讨为什么单个功能的增加在局部是合理的，但在全局却是毁灭性的，以及如何通过归因、配额和审计来进行治理。
智能体从未接收到的服务降级信号
调用下游 API 的智能体只能看到其最后一次请求的响应——没有状态页面、没有变更日志、没有警告横幅。本文探讨了为什么智能体会直接陷入服务部分故障（brownouts）和速率限制，以及如何构建侧信道，以传递那些智能体从未被赋予收听方式的运维信号。
那个设定了你跑不起的基准的 Demo
一个 Agent Demo 在前沿模型上运行，使用精心挑选的输入且没有负载——然后悄然变成了管理层预期的基准。本文将告诉你如何在 Demo 变成承诺之前，为其从演示到生产的差距进行估价。
演示到生产的悬崖：为什么准确率 90% 的智能体发布率为 0%
每步成功率为 90% 的智能体是一个完美的演示，但却是一个无法发布的产品。这种差距不是打磨问题，而是高昂失败成本的长尾效应，而解决方案是降低这些失败的成本。
Dogfooding 不是一种评估策略
你的团队每天使用产品只是冒烟测试，而不是评估。为什么开发者是自己产品最糟糕的样本，以及如何针对真正导致产品崩溃的流量来衡量 AI 产品的质量。
那些在悄无声息中重新排列你整个语料库的嵌入模型升级
将你的嵌入模型更换为基准测试更高的模型会使你存储的每一个向量失效。本文探讨了为什么升级会悄悄降低检索质量，以及如何像处理数据库 Schema 变更一样进行迁移。
那些在你没留意时变简单的评估集
一个全员通过的 LLM 评估套件已经失去了衡量意义。探讨为什么静态评估集会趋于饱和、如何识别这一现象，以及如何保持有效的评分梯度。
Eval 测试集是滞后指标：你的绿色仪表盘只反映上季度的失败
仅基于故障复盘（Postmortems）建立的评估套件只能验证你的 AI 系统在过去是安全的。本文将探讨为什么全绿的通过率会在模型迁移当天“撒谎”，以及如何构建探索性评估的覆盖范围。
你的评测集是一张用户早已离开的流量快照
基准测试的提升衡量的是用户早已离开的分布上的进展。本文探讨评测集陈旧、幸存者陷阱以及单一聚合指标如何掩盖无声的衰退 —— 以及你如何让评测始终紧跟流动的动态。
那个没人同意却成了规范的评估套件
大多数 Agent 团队没有需求文档 —— 评估套件默认成为了规范。为什么全绿的评估运行结果只证明了一个工程师的假设，以及如何以 API Schema 的评审严谨度来对待评估集。
那个你从未进行过负载测试的备用模型
配置好的备用模型只能证明你的路由机制有效 —— 却无法证明你的应用是否能在次要模型的输出下生存。本文探讨了为什么名义上的备用方案在真实流量下会失败，以及如何在供应商出故障前先行测试你的故障转移机制。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
