Page 67
12 articles结构化输出重试循环：你被忽视的算力浪费
98.4% 的结构化输出成功率背后，可能隐藏着一个悄悄消耗了 12–18% 推理预算的 2% 重试循环。本文提供了一份实用指南，涵盖重试 Token 预算、分字段失败仪表盘以及确保账单透明的备用路径。
Token-Per-Watt：你的仪表盘无法计算的 AI 可持续性指标
幻灯片上显示的总 GWh 并不是 AI 可持续性指标。与产品遥测数据结合的任务瓦特 (Task-watts) 才是 —— 而你的首席财务官 (CFO) 即将要求的仪表盘目前还无法计算它。
分词器漂移：你的本地计数在撒谎，账单才说真话
本地分词器与供应商计费计数在 CI 从未测试的长尾内容上存在 5%–15% 的差异。这一差距正在吞噬你用户实际使用场景下的安全边界。
工具重入：你的函数调用层尚未察觉的 Bug 类别
函数调用层默认采用“即发即弃”模式，既没有调用栈也没有环路检测器——其代价体现在随着工具库的增长，单个请求的 Token 消耗量会不断攀升。
你的工具结果缓存是一份你从未签署过的过期数据契约
链路追踪中看似正常的缓存工具结果，正在悄无声息地产生言之凿凿的错误答案。请将缓存视为一种单工具的新鲜度契约 —— 根据波动性设置 TTL、在结果中包含新鲜度元数据、建立绕过层，并增加过期缓存评估切片。
工具 Schema 是提示词，而非 API 合约
从 OpenAPI 规范自动生成的 LLM 工具 Schema，本质上是将你的 API 文档作为提示词发布 —— 而你的智能体将为此付出代价，在测试中难以察觉的误用会频频发生。
翻译并非本地化：多语言 AI 正面临的文化校准债务违约
仅仅发布翻译后的提示词和评估集并不等同于多语言产品的上线。失败的模式往往是文化层面的，而非语言层面的，且你的仪表盘无法识别这些风险。
12 个月的 AI 功能悬崖：为什么你的生产模型在无人标记的日历上悄然衰减
AI 功能发布时通过率为 92%，但在没有进行任何更改的情况下，12 个月后却下滑至 78%。五个复合时钟——模型弃用、权重轮换、输入漂移、提示词补丁债务、评判模型校准——产生了一个大多数团队只有在模型弃用截止日期前才会发现的悬崖。这是你必须在产品发布前就列入日历的维护节奏。
双语问题：为什么类型安全会在提示词边界失效
静态类型系统在提示词边界会失效。本文探讨了三种失败模式——插值、描述式 Schema、输出解析——以及当编译器无法识别接缝时，弥合这一差距的工程规范。
两个 PM 的难题：当提示词所有权与产品所有权发生偏离时
大多数 AI 团队将提示词所有权与产品所有权分开，并在无人负责的回归问题中支付协调税。本文介绍了这种失败模式以及让这种分工得以存续的仪式——共享发布日历、统一仪表板、联合事故频道以及包含四个产出物的 RACI 模型。
你的向量数据库也有热点 Key：为什么 ANN 索引在生产成本上“撒了谎”
公开的 ANN 基准测试通常运行均匀的查询负载，但在生产环境中检索是齐夫分布（Zipfian）的 —— 这种差异表现为分片过载、RAM 浪费以及超出预期的 p99 延迟。
厂商基准测试是你的天花板，而非预测
厂商基准测试数据描述的是受控环境下的表现，而非你的技术栈。你的产品所获得的实际增益在结构上会更小——而唯一值得据此批准预算的预测，是你自己的影子评估。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
