Page 23
12 articles温池与冷真相：Serverless LLM 推理中隐藏的延迟底线
将 GPU 推理缩容至零会将稳定的资金成本转化为隐藏在 p99 尾部延迟中的尖峰延迟成本。本文将为你介绍盈亏平衡计算方法和缓解工具集。
当升级请求无人响应时：人机回环是一个人员配置问题
人机回环（Human-in-the-loop）的前提是有人响应升级请求。在生产环境中，这是一个包含到达率、服务时间和放弃率的队列——而无人响应的升级请求比没有升级请求更糟糕。
当廉价模型变得更昂贵时
将流量路由到较小的模型虽然降低了每 token 的成本，但可能会增加每个完成任务的成本。本文将分析节省的成本是如何流失的 —— 以及你如何在发布前进行衡量。
当 Agent 出错时谁会被呼叫：针对非确定性系统的轮值制度
Agent 的故障难以复现、无法回滚，且在所有的基础设施仪表板上都显示正常。本文将教你如何针对无法单步调试的系统，重写运行手册、警报规则和轮值预期。
AI 功能的闲置成本该由谁承担
无论是否有流量，预置吞吐量、预留 GPU 以及热启动的向量索引都会产生费用。闲置成本之所以不断增长，是因为它处于产品、基础设施和财务之间的组织缝隙中 —— 本文将探讨如何让这一差距变得透明并明确归属。
谁该为模型的错误买单：在智能体产品中设计责任机制
智能体错误不仅仅是客服升级——它们是带有明确责任方的计费事件。本文将探讨如何在收到第一张愤怒的工单之前，设计责任模型、来源追踪、可逆性层级以及错误成本评估。
你无法通过邮件给模型发送变更日志：为什么当调用者是 LLM 时，API 弃用机制会失效
LLM 调用者没有收件箱，没有稳定的身份，也没有义务阅读你的迁移指南。本文将探讨为什么沿用了 15 年的 API 弃用策略在 Agent 面前会失效，以及我们应该如何改进工具 Schema、错误信息和网关。
你的提示词专家只有 14 个月的半衰期
掌握你提示词和评估知识的工程师，其市场估值的上涨速度远快于你的薪酬体系调整速度。本文将解释为什么通用 IC 职级晋升标准无法识别他们的价值，以及在他们离开之前你应该做出哪些改变。
Agent 记忆是一个没有失效策略的缓存
长期记忆通常被作为一项功能发布，但它本质上是一个关于不断变化的世界的事实缓存。如果没有失效、溯源和冲突规则，它就会变成一个缓慢发生的正确性 Bug。
置信度分数税：为什么询问模型它有多确定比直接出错成本更高
在 LLM 输出中添加置信度字段看起来是免费的。但事实并非如此。本文将介绍它所带来的单次请求“税”、为什么该数字很少经过校准，以及在根据它进行生产流量路由之前需要衡量什么。
删除评估用例是决策，而非清理
为了提升速度或降低成本而裁剪评估套件表面上是维护，但每删除一个用例都意味着放弃了一项团队不再能直观看到的保证。借鉴 API 弃用生命周期，有计划地退役评估用例。
PM 与评测之间的翻译鸿沟：当发布决策超越了词汇表
评测分数是 AI 质量的一种有损压缩，而负责发布的产品经理往往无法将其解压缩。本文将为你提供一座扫盲桥梁，让发布决策锚定在数据之上，而不是取决于谁的声音最大。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
