Page 37
12 articles你的 LLM 网关缺少的长尾容错重试策略
将微服务默认的重试机制应用于 8 秒的 LLM 调用，会显著拉高 P99 延迟，在供应商故障期间白白消耗 Token，并掩盖一个用户可见的延迟悬崖，而网关仪表盘对此却毫无察觉。
为什么 Token 预测在上线后会发生偏移 —— 以及如何在财务发现前捕捉到异常峰值
上线前的成本模型假设的是合成流量组合。当功能真正上线，现实情况就会发生偏移。账单是最糟糕的探测器 —— 这里告诉你如何实时捕捉这种偏移。
工具 Schema 设计即是你的爆炸半径：当函数定义成为安全边界
在你的 Agent 可以调用它的那一刻起，工具注册表就不再仅仅是文档了。为什么每个参数类型都是一种安全控制，以及如何设计能够抵御提示词注入的 Schema。
双钟问题：当模型供应商的迭代节奏打乱你的路线图
AI 供应商每季度都会发布能力跃迁，而产品路线图的规划周期通常为 6 到 12 个月。这种不匹配会让路线图变成过时的“陈列品” —— 本文介绍了一种能够紧跟节奏的规划结构。
为什么每周会话记录审查优于你的 AI 仪表板
每周花一小时阅读生产环境的会话记录，可以发现提示词漂移、未分类的意图以及被仪表板平均值掩盖的敷衍措辞。本文将介绍如何主持会议、参会人员、采样方法，以及使其可持续发展的隐私规范。
Abandon 原语：为什么你的智能体循环需要一个一等公民的方式来终止计划
大多数智能体框架都提供了 continue、return 和 retry，但却没有一种一等公民的方式来抛弃一个注定失败的计划。这种缺失的原语能将浪费的预算转化为转机。
Agent IAM 不等于 Service IAM：为什么当意图在运行时构建时 OAuth 会失效
OAuth 和 IAM 是为具有稳定意图的调用者设计的。Agent 的意图是在运行时根据提示词、检索到的文档和工具输出构建的 —— IAM 层永远看不到决定调用内容的大部分输入。
为什么你的 AI 路线图不应该有 12 个月的计划
前沿模型的能力每 90 天就会发生更替。一份为期 12 个月的功能路线图会让你陷入过时的博弈中。请将其替换为具有明确终止标准的能力组合。
物理隔离 LLM 蓝图：无出站流量部署的真正需求
云端 AI 栈将出站 HTTPS 视为一种免费的原语。拔掉网线后，每一层（从模型溯源、评估到集群管理和遥测）都必须被迫重新构建那些在云端版本中被悄悄隐藏的原语。
Brownout 模式：当你的 LLM 供应商响应迟缓而非宕机时
供应商的可用性是连续的，而非二元的。你的回退链条能处理显而易见的宕机，却往往忽略了那些在数小时内悄悄消磨用户信任的 Brownout 现象（响应迟缓）。
澄清预算：你的智能体何时应该询问而非猜测
大多数智能体要么过度询问让用户精疲力竭，要么过度猜测并失去信任。解决方法是建立基于任务的澄清预算，并增加一个模型在结构上无法独自承担的策略层。
你的 Embedding 模型选择决定了 RAG 的上限，而 LLM 无法突破它
Embedding 模型决定了 RAG 质量的上限，而更换 LLM 无法提升该上限。本文提供了一个实用的选择框架：领域匹配、维度选择、多语言表现和指令微调。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
