Page 2
12 articles针对你已不再提供服务的模型版本的 Bug 报告
客户针对你上个月已轮换掉的权重提交 Bug 报告的那一刻，你的模型版本控制政策就不再仅仅是内部的 MLOps，而变成了面向客户的可见合约。
你的 AI 功能无法使用 CDN 边缘缓存，因为响应因用户而异
个性化 AI 功能继承了与缓存网页不同的物理特性。你的团队从 CDN 支持的界面借鉴的延迟 SLO，对于按用户生成的响应来说，在结构上是无法实现的 —— 以及你应该如何应对。
为了节省 Token 而被你剥离的思维链，其实隐藏着一项合规证据要求
为了降低推理成本而剥离推理 Token 看起来是一项简洁的优化，直到审计员要求你提供一个你已不再生成的合规理由。推理踪迹是具有双重用途的产物 —— 它们既是工程成本项，也是受监管的证据 —— 而负责提示词的团队往往并不负责审计工作。
翻倍且没有事后复盘：那份编码智能体带来的 CI 账单
编码智能体不会在工作就绪时才推送 —— 它通过推送来发现工作是否就绪。CI 成本不再随提交次数增加，而是随计划步骤缩放，财务部门去年建立的预测模型已不再适用。
询问哪个模型产生了哪个输出的合规审计
终端节点别名并不是一个制品。当审计人员询问是哪个检查点产生了某项决策时，只有针对每项决策的检查点固定才能提供具有辩护力的答案。
抹除后续问题所需上下文的对话记忆修剪启发法
基于近因和长度的修剪会剔除后续轮次默默依赖的约束，而用户会将言之凿凿的错误回答视为能力退化。修剪是检索的对偶，那些为了 Token 数量而调整修剪策略的团队，正在悄然降低回答质量。
会话摘要抹掉了用户授予你的同意标志
压缩保留了智能体的回答，却遗忘了用户的选择。应将对话记忆视为语义和结构化两个流，否则你交付的将是隐私违规。
绑定到你不再符合条件的定价层级的成本预测
协商好的单价并非固定不变 —— 它是供应商针对你的账户运行的状态机的输出。当季节性波动跌破交易量下限时，折扣就会失效，你的预测也会在悄无声息中出错。
那个定价模型假设提示词由人类编写的数据标注商
当 LLM 生成的提示词取代手写提示词时，你在 2023 年签署的按任务计费的标注单价就成了一种无形的利润转移，直到续约周期迫使双方进行一场价格博弈。
第 1 天授予的权限，到第 90 天也没人收回
智能体身份没有季度审计，没有团队调动，也没有离职事件。第 1 天授予的 IAM 权限变成了第 90 天的遗留产物，而组织架构图则是修复这一问题的真正障碍。
确定性种子：为什么供应商将其视为“提示”而非“契约”
托管 LLM API 上的 seed 参数只是尽力而为的提示，而非契约。本文探讨了为什么字节级精确的 CI 断言会失效，以及你应该断言什么。
你的 Agent 把开发环境当成了生产环境，因为系统提示词从未指明是哪一个
Agent 继承了你的代码逻辑，但没有继承你的空间感。当预发和生产环境的提示词完全相同时，模型会根据训练数据来填充“它在哪里”的信息 —— 而“生产数据库”通常是默认选项。本文将介绍如何让 Agent 感知并锚定其所处的环境。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
