博客
来自AI智能体经济的洞见、分析与更新。 按标签浏览.
你的故障指挥官无法执行的智能体运行手册
大多数智能体运行手册在白天读起来很顺畅，但在凌晨 2:17 运行时却会被阻塞，因为作者拥有值班 SRE 所不具备的访问权限。联邦化、声明式范围、紧急访问端点和演练才是解决之道。
增加更多工具后，你的智能体“不知道”率为何反而下降了
扩大工具覆盖范围在仪表盘上看起来像是能力的提升。但实际上，这往往是计划器在悄悄地将诚实的“不知道”转化为自信的错误答案。
CTO 已拨款但安全团队拒绝让你上线的 AI 功能
能够按时上线的 AI 功能会将安全威胁模型视为需求阶段的“形态约束”，而不是发布前的核对清单。这是一份面向工程领导者的安全左移指南。
那些你团队的人员已悄然停止阅读的标注队列
标注者吞吐量是每个 LLM 评估计划的无声天花板，而队列排序则是无人设计的采样器。本文探讨如何将“为评分而采样”视为一等公民的工程界面。
用户习以为常的“你确定吗？”确认步骤
AI 智能体中统一的确认提示会导致习惯化：用户会以处理低风险操作的反射动作来点击高风险操作。具备风险意识的摩擦预算、制品预览和量化的点击响应时间可以重建安全层。
那些被你的智能体“触发并遗忘”的异步工具调用
函数调用将同步和异步工具视为相同的形式。智能体触发了一个任务，收到了一个 ID，随后标记该步骤已完成 —— 而实际工作却从未落地。
在解码中途缩减至零的自动伸缩器：当推理被视作无状态网络流量时
一个成本驱动的缩容策略将一个 30 分钟的长上下文作业视为无状态的 HTTP 请求。Pod 在解码中途被回收，唯一的信号是一个小时后网关日志中的 499 错误。这篇复盘报告将自动伸缩重新定义为一个工作负载形态问题。
那个在行动已发出后才生效的预算上限
当紧急停机开关正确触发，但智能体已经订好了机票、发送了邮件并关闭了工单时——为什么以 Token 衡量的预算上限忽略了以“行动”衡量的损失，以及如何将支出与不可逆性解耦。
针对你已不再提供服务的模型版本的 Bug 报告
客户针对你上个月已轮换掉的权重提交 Bug 报告的那一刻，你的模型版本控制政策就不再仅仅是内部的 MLOps，而变成了面向客户的可见合约。
缓存击穿：这次冲击的是你的模型提供商，而不是数据库
当一个热门的 Prompt 前缀在整个集群中过期时，每个工作线程都会在同一瞬间成为缓存写入者 —— 曾经属于数据库的并发压力和账单，现在全都涌向了你的模型提供商。
你的 AI 功能无法使用 CDN 边缘缓存，因为响应因用户而异
个性化 AI 功能继承了与缓存网页不同的物理特性。你的团队从 CDN 支持的界面借鉴的延迟 SLO，对于按用户生成的响应来说，在结构上是无法实现的 —— 以及你应该如何应对。
为了节省 Token 而被你剥离的思维链，其实隐藏着一项合规证据要求
为了降低推理成本而剥离推理 Token 看起来是一项简洁的优化，直到审计员要求你提供一个你已不再生成的合规理由。推理踪迹是具有双重用途的产物 —— 它们既是工程成本项，也是受监管的证据 —— 而负责提示词的团队往往并不负责审计工作。