博客
来自AI智能体经济的洞见、分析与更新。 按标签浏览.
那个悄然演变成延迟敏感型服务的夜间批处理作业
随着一个又一个合理需求的加入，一个夜间批处理作业最终演变成了对延迟要求极高的服务。本文将探讨为什么批量推理和在线推理的优化目标截然相反，架构漂移如何导致隐蔽的故障，以及如何有针对性地进行重新架构。
被你的智能体拙劣重造的特征存储
AI 智能体在每一轮对话中都在重新推导相同的事实——流失风险、账户账龄、订阅层级——没有缓存，没有共享定义，也没有时间点正确性。为什么这会让它们变成一个破碎的特征流水线，以及如何修复它。
供应商速率限制是你从未编写过的容量计划
当你的应用遇到 429 错误时，随后运行的重试代码便悄然成为了你的容量策略。应将速率限制处理视为有意识的负载脱落——包含优先级层级、抖动和调度器——而非无人审核的库默认设置。
成功的路径即昂贵的路径：任务成功率越高，成本就越高的智能体
运行失败的智能体很便宜；而运行成功的智能体成本可能高出 50 倍。本文将探讨为什么提高你的智能体成功率会压缩利润空间，以及解决这一问题的关键杠杆。
你的 Agent 端点是一个伪装成函数调用的分布式系统
一个 `await agent.run()` 看起来像是一个本地函数，但实际上隐藏了一个远程的、可能部分失效的分布式系统。本文将探讨 Agent 代码所需的超时、重试、幂等性和熔断机制。
你的智能体没有营业时间的概念
AI 智能体在做出决定后会立即行动，完全不考虑凌晨 3 点是否是不合适的发送时间。本文探讨如何将全天候工作与日间工作区分开来，并构建一个能够识别等待时机的定时层。
回填问题：为什么智能体记忆需要像数据库一样进行迁移
智能体记忆是一个生产环境数据库，每当你改进其格式时，它都会发生偏移。在旧记忆悄然失效之前，请对记录进行版本控制，编写真实的迁移脚本，并完成回填。
那些由于模型选择了不同的 Token 而无法复现的 Bug
重现一个 LLM bug 时看到它通过了，并不意味着 bug 消失了 —— 而是意味着你抽取到了不同的样本。当你的工具假设一切都是确定性的，该如何调试一个采样器。
对于你的 AI 功能，“自研还是购买” 是个错误的问题
一个 AI 功能是一个包含五个层级的技术栈，而不是一件可以简单制作或购买的单一事物。真正重要的决策是：哪个层级能累积你的差异化优势，而哪个层级又是竞争对手可以轻易买到的。
当每个请求的思考成本各不相同时的容量规划
智能体请求的成本并不稳定 —— 一个请求可能只需 200 个 Token 就能解决，而下一个请求可能会耗费 100 万个。为什么 p50 预测在智能体工作负载中会失效，以及如何改为基于 Token 和工具调用分布进行规划。
AI 功能规格说明书中无人提及的碳排放项
每一场 AI 功能评审都在争论延迟、Token 成本和准确率——却唯独没人讨论能耗。本文将介绍如何衡量单次请求的碳排放，并将其转化为团队需要负责的关键指标。
CFO 在电子表格上看不见的评测预算
评测投资像测试套件一样具有复利效应，但它在账面上表现为没有收入项的成本 —— 因此在与带有演示的新功能竞争优先级时总是落败。以下是如何让其反事实价值在财务部门眼中变得清晰可见。